브라우저에서 290MB 1-bit LLM, LocalLLaMA의 흥분과 현실 체크

LocalLLaMA post에는 local inference 커뮤니티다운 반응이 모였다. 절반은 감탄, 절반은 benchmark 요구였다. 글은 약 290MB 크기의 1-bit Bonsai 1.7B model이 WebGPU를 통해 browser에서 local로 실행되는 Hugging Face Space demo를 가리켰다. 작은 model이 평범한 browser tab 안에서 돈다는 사실은 quantization 논문을 매번 따라가지 않는 사람에게도 바로 이해되는 장면이다.

그래서 top comment들은 분석보다 감정에 가까웠다. 어떤 사용자는 10년 전 AI research를 하던 시절에 이런 것을 보여줬다면 믿기 어려웠을 것이라는 식으로 반응했다. 다른 사용자들은 바로 테스트해 보고 싶다고 했다. Browser-based inference에는 특유의 매력이 있다. server account도, API meter도, 복잡한 local install도 없고, WebGPU가 닿는 범위 안에서는 거대한 GPU workstation도 필요하지 않다. 교육용 실험, offline prototype, privacy-sensitive demo에는 특히 눈에 들어오는 형태다.

하지만 LocalLLaMA는 감탄에서 멈추지 않았다. 여러 사용자는 tokens-per-second 수치를 요구했고, llama.cpp의 CPU, Metal, Vulkan, CUDA path 지원을 비교했다. 더 큰 Bonsai variant를 써 본 사람들은 품질에 대해 꽤 냉정했다. Thread에는 자신 있게 틀린 답을 내놓은 예시도 있었고, 8B Bonsai조차 general task에는 hallucination이 너무 많다는 우려도 있었다. 이 회의론은 중요하다. 290MB browser LLM은 인상적인 engineering이지만, size reduction이 usefulness 측정을 대신하지는 못한다.

이 post가 좋은 신호인 이유는 local AI가 두 방향으로 동시에 움직이는 장면을 보여주기 때문이다. 한쪽은 model compression과 WebGPU runtime이 얼마나 멀리 왔는지에 놀라고, 다른 한쪽은 local model에도 task-specific evaluation, latency number, quality check가 필요하다고 요구한다. Bonsai에 붙은 에너지는 바로 그 두 반응이 동시에 나왔기 때문에 컸다.