NVIDIA, Dynamo 1.0 production 전환… AI factory용 inference OS 본격화

NVIDIA는 March 16, 2026 GTC에서 Dynamo 1.0을 전면에 내세우며 generative AI와 agentic AI inference를 대규모 production 환경에서 운영하기 위한 open source software stack을 공개했다. 회사는 Dynamo를 단일 컴퓨터의 operating system처럼 AI factory 전체에서 GPU와 memory resource를 조정하는 distributed orchestration layer로 설명했다.

이번 발표는 Blackwell platform과 강하게 연결돼 있다. NVIDIA는 최근 benchmark 기준으로 Dynamo가 Blackwell inference performance를 최대 7x까지 높일 수 있으며, 그 결과 token cost를 낮추고 AI infrastructure의 수익 기회를 키울 수 있다고 주장했다. inference 수요가 chatbot에서 always-on agent와 enterprise service로 이동하는 시점이라는 점을 감안하면, 이는 단순한 소프트웨어 업데이트가 아니라 운영 economics에 대한 메시지이기도 하다.

핵심 내용

• NVIDIA는 Dynamo 1.0이 Blackwell inference performance를 최대 7x까지 높일 수 있다고 밝혔다.
• TensorRT-LLM과 함께 LangChain, LMCache, SGLang, vLLM 등과 통합된다.
• NVIDIA는 Dynamo를 AI factory용 distributed operating system으로 설명했다.
• 주요 cloud provider, AI-native company, inference provider, enterprise가 채택 또는 협력 생태계에 포함됐다.

NVIDIA는 Dynamo 1.0이 기존 open source inference 생태계를 대체하기보다 그 위에 통합되도록 설계됐다고 강조했다. Dynamo와 TensorRT-LLM 최적화는 LangChain, llm-d, LMCache, SGLang, vLLM 같은 framework와 연결되며, KVBM, NIXL, Grove 같은 핵심 building block도 별도 module로 제공된다. 인프라 팀 입장에서는 전체 stack을 한 번에 바꾸지 않고 필요한 부분부터 도입할 여지를 남기는 구성이다.

NVIDIA는 AWS, Microsoft Azure, Google Cloud, OCI와 같은 cloud provider뿐 아니라 CoreWeave, Together AI, Nebius 같은 partner, Cursor와 Perplexity 같은 AI-native company, Baseten과 Fireworks 같은 inference provider, ByteDance, PayPal, Pinterest 같은 enterprise adoption 사례도 함께 제시했다. 이 긴 채택 목록은 Dynamo가 실험적 소프트웨어가 아니라 상용 inference runtime으로 자리 잡으려는 전략의 일부다.

핵심은 inference orchestration이 이제 AI infrastructure의 독립된 경쟁 축이 되고 있다는 점이다. model training이 여전히 중요하지만, agent와 application이 실제 서비스로 배포된 뒤에는 memory movement, request routing, cache reuse, tool latency가 곧 비용과 수익으로 연결된다. NVIDIA는 Dynamo 1.0을 통해 GPU 아래의 hardware뿐 아니라 그 위에서 돌아가는 inference software layer도 전략 자산이라고 주장하고 있다.

출처: NVIDIA