NVIDIA、Dynamo 1.0をproduction展開　AI factory向けinference operating systemを前面化

NVIDIAはMarch 16, 2026のGTCで、Dynamo 1.0をgenerative AIとagentic AI inferenceを大規模productionで動かすためのopen source software stackとして打ち出した。NVIDIAはこれを、単一コンピュータのoperating systemがhardwareを調整するのと同じように、AI factory全体でGPUとmemory resourceを分散制御するlayerだと説明している。

今回の発表はBlackwell platformと密接に結びついている。NVIDIAによれば、Dynamoは最近のbenchmarkでBlackwellのinference performanceを最大7x引き上げ、token costを下げながらAI infrastructureの収益機会を広げられるという。inference需要がchatbot中心からalways-on agentやenterprise serviceへ広がる中で、運用効率を左右するsoftware layerの重要性を強調する内容だ。

主なポイント

• NVIDIAはDynamo 1.0でBlackwell inference performanceを最大7x改善できると説明した。
• TensorRT-LLMに加え、LangChain、LMCache、SGLang、vLLMなどと統合される。
• DynamoはAI factory向けのdistributed operating systemとして位置づけられている。
• 主要cloud provider、AI-native company、inference provider、enterpriseが採用または協業先として列挙された。

Dynamo 1.0は既存のopen source ecosystemと競合するというより統合を狙っている。NVIDIAは、DynamoとTensorRT-LLMの最適化がLangChain、llm-d、LMCache、SGLang、vLLMなどと連携すると説明した。さらにKVBM、NIXL、Groveといったcore building blockも単独moduleとして提供し、infrastructure teamが必要な部品から採用しやすい構成にしている。

NVIDIAはAWS、Microsoft Azure、Google Cloud、OCIのほか、CoreWeave、Together AI、Nebius、Cursor、Perplexity、Baseten、Fireworks、ByteDance、PayPal、Pinterestなどを採用企業・協業先として挙げた。この長い採用リストは、Dynamoを実験的なtoolではなく、商用inference workloadを支える共通runtimeとして位置づけたいという狙いを示している。

より大きなポイントは、inference orchestrationがAI infrastructureの独立した競争領域になってきたことだ。model trainingが重要であり続ける一方で、agentやapplicationが本番運用に入ると、memory movement、request routing、cache reuse、tool latencyが直接コストに跳ね返る。NVIDIAはDynamo 1.0を通じて、GPUの上で動くinference software layerも同じくらい戦略的だと訴えている。

出典: NVIDIA