ブラウザで290MBの1-bit LLM、LocalLLaMAは驚きつつ性能を見た

LocalLLaMA postには、local inferenceコミュニティらしい反応が集まった。半分は驚き、半分はbenchmark要求だった。投稿は、約290MBの1-bit Bonsai 1.7B modelがWebGPU経由でbrowser内にlocal実行されるHugging Face Space demoを示していた。小さなmodelが普通のbrowser tabで動くという絵は、quantization論文を追っていない人にもすぐ伝わる。

だからtop commentは、まず分析より感情に近かった。あるユーザーは、10年前にAI researchをしていた頃にこれを見せられたら信じにくかっただろう、という趣旨で反応した。すぐ試したいという声も多かった。Browser-based inferenceには独特の引力がある。server accountも、API meterも、面倒なlocal installもなく、WebGPUが届く範囲なら巨大なGPU workstationも要らない。教育、offline experiment、privacy-sensitive prototype、短いdemoにはかなり魅力的な形だ。

ただしLocalLLaMAは感心だけで終わらなかった。複数のユーザーがtokens-per-secondの数字を求め、llama.cppのCPU、Metal、Vulkan、CUDA pathのsupportを比べた。大きいBonsai variantを試した人は品質についてかなり率直だった。Threadには自信満々に間違う回答例もあり、8B Bonsaiでもgeneral taskにはhallucinationが多すぎるのでは、という懸念も出た。この疑いは大事だ。290MB browser LLMは印象的なengineeringだが、size reductionだけではusefulnessの測定にはならない。

このpostが面白いのは、local AIが二つの方向へ同時に進んでいることを見せる点だ。一方ではmodel compressionとWebGPU runtimeの進歩に驚き、もう一方ではlocal modelにもtask-specific evaluation、latency number、quality checkが必要だと求める。Bonsaiの周りに生まれた熱量は、その両方が同時に出たからだ。