製造終了のIntel OptaneメモリでローカルLLM(1兆パラメータ)を毎秒4トークンで動作
Original: Computer build using Intel Optane Persistent Memory - Can run 1 trillion parameter model at over 4 tokens/sec View original →
ビルドの概要
r/LocalLLaMAに投稿されたこのビルドは、Intel Optane Persistent Memory(PMem)を使用して1兆パラメータモデルKimi K2.5をローカルで毎秒4トークン以上で動作させることに成功した。677票超を集め、廃番ハードウェアの独創的な活用として注目を集めた。
Intel Optane PMem とは
Intel Optane PMem はDIMMフォームファクターのメモリモジュールで、DRAMとSSDの中間的な特性を持つ。Intelが製品ラインを終了したため、中古市場で同容量のDRAMより大幅に安く入手できる。
モデルの動作方法
Kimi K2.5のMoEアーキテクチャがこの構成に適していた。llama.cppのGPU/CPUハイブリッド推論を使用し、アテンション重みと密な層を12GB GPUに配置、スパースエキスパートの重みをOptane PMem上に置いた。768GBの実効RAMにより1兆パラメータモデルを収容できた。
意義
兆パラメータモデルのローカル実行は従来データセンター級ハードウェアが必要だった。廃番ハードウェアの創意工夫による活用が、より多くの研究者や愛好家にフロンティア規模モデルへのアクセスを開く可能性を示した。
Related Articles
RTX PRO 6000を5枚と5090を使った構成は、ローカルLLMの魅力と同時に電力、VRAM、予算の重さを示した。
LocalLLaMAの投稿は、最近の llama.cpp 修正により Gemma 4 GGUF を再取得する価値があると指摘し、ローカル推論利用者が見るべき変更点をまとめている。
最近のr/LocalLLaMA投稿は、Qwen3.5 27Bがqualityとdeployabilityのバランスに優れたlocal modelだと主張する。投稿者はRTX A6000 48GBとllama.cppで約19.7 tokens/secを報告し、commentsではdense 27BとMoEのVRAM economicsが詳しく議論された。