製造終了のIntel OptaneメモリでローカルLLM(1兆パラメータ)を毎秒4トークンで動作

ビルドの概要

r/LocalLLaMAに投稿されたこのビルドは、Intel Optane Persistent Memory(PMem)を使用して1兆パラメータモデルKimi K2.5をローカルで毎秒4トークン以上で動作させることに成功した。677票超を集め、廃番ハードウェアの独創的な活用として注目を集めた。

Intel Optane PMem とは

Intel Optane PMem はDIMMフォームファクターのメモリモジュールで、DRAMとSSDの中間的な特性を持つ。Intelが製品ラインを終了したため、中古市場で同容量のDRAMより大幅に安く入手できる。

モデルの動作方法

Kimi K2.5のMoEアーキテクチャがこの構成に適していた。llama.cppのGPU/CPUハイブリッド推論を使用し、アテンション重みと密な層を12GB GPUに配置、スパースエキスパートの重みをOptane PMem上に置いた。768GBの実効RAMにより1兆パラメータモデルを収容できた。

意義

兆パラメータモデルのローカル実行は従来データセンター級ハードウェアが必要だった。廃番ハードウェアの創意工夫による活用が、より多くの研究者や愛好家にフロンティア規模モデルへのアクセスを開く可能性を示した。