低速PCでGLM-5.2を動かすColibri、焦点はGPUではなくメモリ移動
Original: Show HN: Getting GLM 5.2 running on my slow computer View original →
Colibriは、744Bパラメータ級のMixture-of-ExpertsモデルであるGLM-5.2を、約25GB RAMの一般的なPCで動かすための実験だ。発想は、MoEが各トークンで全パラメータを使うわけではないという性質にある。dense部分はRAMに置き、routed expertsはディスク上に置いて必要な分だけ読み出す。
面白いのは「低速PCで巨大モデル」という見出しより、どこで妥協するかという設計だ。READMEでは、PythonやBLAS、GPUを実行時に必要としない純Cの小さなエンジン、transformers実装との検証、int4化したdense部分、レイヤーごとのLRU cache、OS page cacheの利用が説明されている。巨大MoEをGPUメモリだけの問題ではなく、ディスクとメモリの移動問題として扱っている。
HNの議論もそこに集中した。実用時の速度はtokens per secondなのか、それとも1分に1 tokenに近いのか。llama.cppのmmap、量子化、Apple Siliconのunified memoryとの比較も出た。焦点は、巨大MoEを動かせるかではなく、メモリ移動が支配的になったときにどの用途ならまだ価値が残るかだ。
Colibriは完成した推論基盤というより、Local AIの限界を測るための良い実験に近い。モデルを小さくするのではなく、活性化する部分だけをどれだけ安く読めるかを試している。今後の改善点は、GPUの大きさだけでなく、storage layout、cache policy、compressed KV-cache、routingの細部にあるかもしれない。
Related Articles
HNで伸びた理由は、ローカルLLMを誰が許可し、誰が止められるのかという実務的な不安にあった。
RTX PRO 6000を5枚と5090を使った構成は、ローカルLLMの魅力と同時に電力、VRAM、予算の重さを示した。
2026年3月26日、NVIDIAの`gpt-oss-puzzle-88B`モデルカードを扱ったr/LocalLLaMA投稿は、クロール時点で284 pointsと105 commentsを集めた。NVIDIAはこの88B MoEモデルがPuzzle post-training NASを用いてparameter数とKV-cache負荷を削減しつつ、reasoning accuracyを親モデル並みかそれ以上に保つと説明している。