NVIDIA가 공개한 내용

2026년 3월 12일, NVIDIA는 TensorRT Edge-LLM의 최신 릴리스를 소개하며 autonomous vehicle과 robotics를 위한 edge-first physical AI 실행 환경을 강화했다고 밝혔다. 발표의 중심은 단순한 on-device inference가 아니다. NVIDIA는 power와 latency 제약이 큰 embedded platform에서도 high-fidelity reasoning, multimodal interaction, trajectory planning을 동시에 돌릴 수 있는 runtime 계층을 만들고 있다고 설명한다.

공식 글에 따르면 이번 업데이트는 NVIDIA DRIVE AGX Thor와 NVIDIA Jetson Thor를 겨냥해 MoE, NVIDIA Nemotron 2 Nano, Qwen3-TTS/ASR, Cosmos Reason 2 지원을 추가한다. 즉 cloud 중심 모델을 edge에 일부 축소해 가져오는 것이 아니라, edge 하드웨어의 memory footprint와 latency budget 안에서 reasoning system 자체를 재구성하려는 방향이다.

이번 릴리스의 핵심 기능

MoE와 hybrid reasoning: TensorRT Edge-LLM은 Qwen3 MoE와 Nemotron 2 Nano의 Hybrid Mamba-2-Transformer 구조를 최적화하며, /think와 /no_think 같은 모드 전환도 지원한다. NVIDIA는 deep reasoning mode에서 MATH500 97.8%를 언급했다.
Native voice interaction: Qwen3-TTS와 Qwen3-ASR를 통해 ASR-LLM-TTS를 따로 잇는 파이프라인 대신 end-to-end speech interaction을 chip 위에서 처리할 수 있다고 설명한다.
Physical reasoning: Cosmos Reason 2 지원으로 spatio-temporal reasoning, 2D·3D localization, reasoning explanation, 최대 256K input token long context를 edge에서 활용할 수 있다고 밝혔다.
Autonomous driving: NVIDIA는 end-to-end VLA 방향의 Alpamayo 1 workflow도 예고하며, multicamera context와 FP8 가속을 활용한 trajectory planning을 설명했다.

또한 NVIDIA는 TensorRT Edge-LLM을 pure C++ 기반 open-source runtime으로 설명하며, Python dependency 없이 예측 가능한 memory footprint를 제공한다고 강조했다. mission-critical robotics와 automotive 환경을 염두에 둔 설계라는 뜻이다.

왜 중요한가

physical AI 경쟁은 이제 cloud에서만 큰 모델을 돌리는 단계가 아니라, 실제 차량과 로봇 안에서 reasoning을 언제, 얼마나 안정적으로 실행할 수 있는지가 핵심이 되고 있다. voice, planning, world reasoning, MoE 효율화를 하나의 edge runtime 안에 묶는 시도는 그 변화를 잘 보여준다.

특히 NVIDIA는 GPU, runtime, model family, physical AI dataset과 simulation까지 함께 갖고 있기 때문에, TensorRT Edge-LLM은 단순 inference library가 아니라 physical AI stack의 배포 표준을 선점하려는 수단으로 읽힌다. Jetson과 DRIVE 생태계를 쓰는 팀에게는 개발 자유도보다 runtime 표준화가 더 중요해질 수 있다는 신호이기도 하다.

출처: NVIDIA Technical Blog

#tensorrt-edge-llm

NVIDIA, TensorRT Edge-LLM로 edge-first physical AI 강화… MoE·Cosmos Reason 2·voice model 지원