#bonsai

27Bモデルがスマホで動くなら、非公開データをクラウドへ出さないAI利用の幅が広がる。RunAnywhereはBonsaiが1-bit重みで3.9GBに収まり、自社評価で全精度品質の約90%を保つと述べた。

LocalLLaMAは1.58-bit modelの約束に反応したが、threadはすぐに厳しい問いへ向かった。比較相手がquantized Qwen peersではなくfull-precision baselineなら公平なのか。

r/LocalLLaMAの反応は、PrismML Bonsai の発表が単なる compression headline 以上に受け止められていることを示している。会社の end-to-end 1-bit 設計の主張と、実際の利用者が感じた使い勝手の改善が同時に語られている。