LLMの「形」が推論コストを変える

LLMの推論性能は、モデルの大きさだけでなく、行列寸法がGPUに合っているかで大きく変わる。NVIDIA AIは7月13日のX投稿で「shaping a model matters just as much as its size」と述べ、AI Model Co-Designシリーズの初回記事を紹介した。元の投稿はこちら。

リンク先のNVIDIA Technical Blogは、LLM運用を正確性、処理量、応答性の3軸で捉える。処理量はシステム全体のtokens/sec、応答性はfirst-token latencyとinter-token latencyで決まる。正確性を保つ前提では、システム設計は処理量とユーザー体感遅延のPareto frontierを広げる作業になる。

具体策は、transformerのhidden dimension、intermediate projection dimension、layer数をGPUの実行単位に合わせることだ。NVIDIAは線形層の行列をnear-squareに近づけ、寸法を少なくとも128の倍数にそろえるよう勧める。clusterMMAやCGAを考えると、256または512の倍数がさらに望ましい。GB300の例では、projectionやreduction dimensionが小さいと、token数が多くてもGEMMがmemory-boundのままになり、計算器を十分に使えない。

固定パラメータ予算では、深いモデルより幅のあるモデルが有利になる場合もある。幅を増やすと算術強度が上がり、逐次的な処理経路も短くなるため、処理量と遅延の両方に効く。ただし深さは品質にも関係するため、正確性を保てる範囲で幅を優先するという条件付きの指針だ。記事はさらにNVFP4 quantization、TensorRT Model Optimizer、LLM Compressor、TensorRT-LLMのexpert parallelism、pipeline parallelism、Helix Parallelismにも触れている。

NVIDIA AIのXアカウントは、GPU、inference stack、開発者向け技術資料を中心に発信している。今回の投稿は新製品の露出ではなく、Blackwell世代でLLMを効率よく動かすための設計チェックリストに近い。次に注目すべき点は、公開モデルや商用モデルが128・256整列、NVFP4対応、MoE並列化前提をどこまでarchitecture説明に含めるようになるかだ。

#tensorrt

NVIDIA、LLM寸法の128・256整列でBlackwell推論の遅延とGPUボトルネックを削る設計指針