低速PCでGLM-5.2を動かすColibri、焦点はGPUではなくメモリ移動

Colibriは、744Bパラメータ級のMixture-of-ExpertsモデルであるGLM-5.2を、約25GB RAMの一般的なPCで動かすための実験だ。発想は、MoEが各トークンで全パラメータを使うわけではないという性質にある。dense部分はRAMに置き、routed expertsはディスク上に置いて必要な分だけ読み出す。

面白いのは「低速PCで巨大モデル」という見出しより、どこで妥協するかという設計だ。READMEでは、PythonやBLAS、GPUを実行時に必要としない純Cの小さなエンジン、transformers実装との検証、int4化したdense部分、レイヤーごとのLRU cache、OS page cacheの利用が説明されている。巨大MoEをGPUメモリだけの問題ではなく、ディスクとメモリの移動問題として扱っている。

HNの議論もそこに集中した。実用時の速度はtokens per secondなのか、それとも1分に1 tokenに近いのか。llama.cppのmmap、量子化、Apple Siliconのunified memoryとの比較も出た。焦点は、巨大MoEを動かせるかではなく、メモリ移動が支配的になったときにどの用途ならまだ価値が残るかだ。

Colibriは完成した推論基盤というより、Local AIの限界を測るための良い実験に近い。モデルを小さくするのではなく、活性化する部分だけをどれだけ安く読めるかを試している。今後の改善点は、GPUの大きさだけでなく、storage layout、cache policy、compressed KV-cache、routingの細部にあるかもしれない。

HN discussion · Source