가중치 이동이 서빙 속도의 병목으로 부상

LLM 서빙에서 새 복제본을 띄우는 시간은 모델 품질만큼 운영비에 직접 영향을 준다. NVIDIA AI는 2026년 7월 24일 X에서 ModelExpress를 통해 DeepSeek-V4 Pro 시작 시간을 “8 minutes to under 2 minutes”로 줄였다고 밝혔다.

“8 minutes to under 2 minutes” — NVIDIA AI

연결된 NVIDIA Technical Blog는 더 정확한 수치를 제시한다. ModelExpress는 DeepSeek-V4 Pro 가중치와 JIT 커널 캐시 아티팩트를 기존 서빙 복제본에서 새 복제본으로 옮겨 전체 시작 시간을 8분에서 1분 44초로 낮췄다. 핵심은 모델 가중치가 이미 GPU 메모리에 있는 복제본을 찾아, NIXL을 통한 GPU 간 P2P RDMA로 직접 전송하는 방식이다.

클러스터가 같은 모델을 반복 다운로드하지 않게 하기

기존 방식에서는 새 워커가 원격 저장소, 로컬 디스크, 또는 호스트 메모리를 거쳐 가중치를 가져와야 했다. 수백 GiB에서 1TiB급 체크포인트가 흔해지면, 오토스케일링과 롤링 업데이트 때 같은 데이터를 계속 움직이는 비용이 커진다. NVIDIA는 806GiB DeepSeek-V4 Pro 모델을 10개 복제본이 동시에 내려받는다면 약 8TiB의 중복 네트워크 유입이 생길 수 있다고 설명한다.

NVIDIA AI 계정은 보통 기술 블로그와 개발자 워크플로를 연결해 AI 인프라 개선점을 알린다. 이번 트윗은 Dynamo 안의 가중치 분산과 캐시 관리 서비스인 ModelExpress를 전면에 세웠고, vLLM과 SGLang 같은 서빙 프레임워크 연동도 블로그에서 다뤘다. 다음 관전점은 이 방식이 B200 기반 실험 환경을 넘어 혼합 GPU 클러스터와 RL 후학습 워크로드에서 얼마나 일관된 절감 효과를 내는지다.

#modelexpress

NVIDIA ModelExpress, DeepSeek-V4 Pro 기동 시간을 8분에서 1분대로 단축