Nemotron 3.5 Lightning、3B稼働でエージェント出力を最大4倍高速化する公開モデル

常駐エージェントの実行層を小型化

長時間動くAIエージェントでは、難しい計画よりもツール呼び出し、結果検証、形式変換、タスク委譲といった反復処理がコストの多くを占める。NVIDIA Nemotron 3.5 Lightningは、その実行層を担う30BのMixture-of-Expertsモデルだ。各トークンで稼働するのは3Bパラメータに限られ、大きなモデルの容量と小さなモデルの計算量を両立させる。

“An open 30B MoE model with 3B active parameters, built for always-on agents.”

NVIDIAの元投稿は、同規模モデルと比べて最大4倍の出力速度を掲げた。続く投稿では、PinchBenchの1万タスクで86%の精度に達し、同程度の精度を持つQwen3.6 35Bより短時間で完了したとしている。単なる毎秒トークン数ではなく、エージェントが有用な仕事を終えるまでの時間を重視した比較だ。

モデル本体とルーターを同時公開

NVIDIAの技術解説は、LightningをNemotron 3 Ultraのような大規模推論モデルと組み合わせる構成を示す。大きなモデルが計画と難しい判断を行い、LightningがGit操作、ツール出力の検査、定型処理を受け持つ。新しい公開ライブラリNeMo Switchyardは、要求ごとに適切な公開・非公開モデルへ振り分ける。

BF16とNVFP4のチェックポイントに加え、複数トークン予測と投機的デコード用のドラフトモデルも提供される。重み、学習データ、レシピはOpenMDW-1.1条件で公開され、コーディングエージェントの後学習に使ったNemotron-RL Agentic Terminal Pivotデータセットも含まれる。対象環境はDGX Sparkからデータセンターまでで、Ollama、llama.cpp、LM Studio、Unslothなどに対応する。

NVIDIAのアカウントはGPU基盤、推論ソフトウェア、自社ハードウェア向けモデルを継続的に扱う。今回の要点は、モデルルーティングを製品構成の中心に置き、高価な推論能力を必要な工程だけに割り当てる設計にある。

次の検証項目

最大4倍という数値は、ハードウェア、同時実行数、デコード設定で変わる。実運用では、タスク完了までの総時間、長い処理での誤りの蓄積、ルーティング自体の負荷を測る必要がある。3B稼働の構造が独自ツールや専門データでも精度を保てるかが採用の分岐点になる。