#model-compression

LocalLLaMAは1.58-bit modelの約束に反応したが、threadはすぐに厳しい問いへ向かった。比較相手がquantized Qwen peersではなくfull-precision baselineなら公平なのか。

r/LocalLLaMAで注目を集めたPrismMLの1-bit Bonsaiは、8.2Bパラメータのモデルを1.15GBに収めるend-to-end 1-bit設計を前面に出している。焦点は単なる圧縮ではなく、オンデバイスでのthroughputとenergy efficiencyの実用化だ。