NVIDIA、長文脈LLMの速度はattention設計で決まると指摘

128K時代の推論速度は訓練前に決まる

長文脈LLMの速度は、あとから高速なカーネルを入れれば済む話ではなくなっている。NVIDIA AIは2026年8月3日、Xで長文脈モデルのserving speedは学習開始前のattention設計に大きく左右されると述べた。

A long-context model's serving speed is largely decided before training starts.

リンク先のNVIDIA Technical Blogは、DeepSeek-R1のprefill時間に占めるattentionの比率が、4Kコンテキストで18%、128Kでは85%まで上がる例を示している。attentionが支配的になると、実装だけでなくモデル構造そのものが上限を決める。記事はgroup size、head dimension、KV-cacheの有効サイズ、並列化戦略の4点を設計チェックリストとして挙げる。

prefillはプロンプト全体を並列処理するため計算律速になりやすい。一方、decodeは1トークンずつ生成し、そのたびにKV cacheをHBMから読むためメモリ律速になる。NVIDIAはgroup sizeを高めること、head dimensionを128または256にそろえること、sparse attentionやsliding-window attentionで有効KV状態を減らすことを推奨している。

NVIDIA AIの投稿は、GPU最適化だけでなくモデル共同設計の方向を示すものだ。次に見るべきなのは、Nemotron 3以外の公開モデルや企業向けモデルがこの制約をどれだけ早く取り込むかである。エージェントやコード検索で128K以上が前提になるほど、この設計差は利用者が感じる遅延に直結する。 Source tweet