ローカルLLMに空いた80-160Bの中間層、unified memory勢の現実的な要望

LocalLLaMAの投稿は、ローカルLLM市場に空いた実用上の隙間を指摘している。最近のモデルは、27B-35B級の高速で小さめのモデルか、GLM 5.2、DeepSeek V4 Pro、Kimi、MiniMaxのような巨大MoEに寄りやすい。その間にいる80-128GB級メモリ環境のユーザーには、新しい選択肢が少ない。投稿では、96GB超のAppleデバイス、Ryzen AI 395系、DGX Spark、RTX 6000 Pro、4枚の3090、128GB DDR4/5構成などが例に挙げられた。

小型モデルが役に立たないという話ではない。QwenやGemma級の進歩で、ローカル推論はcoding、private docs、automationにかなり使いやすくなった。問題は、メモリ容量だけ見ると35Bより大きいモデルを動かせるのに、最新の超大型モデルは重すぎるという中間層だ。結果として、古い80B-120B級を使うか、最新だが小さいモデルへ戻るかの選択になりやすい。

投稿者の要望は具体的だ。100B total、10B active前後のsparse model、あるいは64GB VRAMや80-128GB unified memoryで品質差を感じられるモデルが欲しいというものだ。ここで見えてくるのは、ローカルAI需要の成熟である。ユーザーは「入るかどうか」だけでなく、tokens per second、長いcontextの扱いやすさ、quantization後の品質、日常作業での待ち時間までまとめて見ている。

コメントではattention構造とmemory bandwidthが論点になった。hybridやlinear attentionならcontext memoryを大きく下げられるという期待がある一方、unified memoryは容量があっても速度の制約を受けるという現実的な指摘もあった。モデル開発がhosted APIやベンチマークだけを見ていると、この需要は拾いにくい。80-160B級の新しい実用モデルは、小型daily driverと最大級open weightsの間を埋める重要な橋になる。

Source: r/LocalLLaMA.