NVIDIA, LLM 차원 128·256 정렬로 GPU 추론 병목과 지연시간 줄이는 설계 원칙

LLM 크기보다 모양이 GPU 성능을 좌우하는 지점

LLM 추론 성능을 높이려면 파라미터 수뿐 아니라 행렬 차원의 모양까지 GPU에 맞춰야 한다는 NVIDIA의 기술 글이 공개됐다. NVIDIA AI는 2026년 7월 13일 X에서 “shaping a model matters just as much as its size”라고 쓰며 AI Model Co-Design 시리즈의 첫 글을 공유했다. 원문 트윗은 여기에서 확인할 수 있다.

핵심 메시지는 모델 개발자가 초기에 정하는 hidden dimension, intermediate projection dimension, layer 수가 추론 처리량과 사용자 지연시간을 모두 바꾼다는 것이다. NVIDIA의 기술 블로그는 LLM 배포를 정확도, 처리량, 상호작용성의 균형 문제로 정의한다. 같은 정확도를 유지한다고 가정하면 시스템은 tokens/sec를 높이는 방향과 첫 토큰·토큰 간 지연을 줄이는 방향 사이에서 Pareto frontier를 넓혀야 한다.

구체적인 설계 지침은 매우 하드웨어 중심이다. 선형층의 행렬을 가능한 near-square에 가깝게 만들고, 차원을 최소 128의 배수로 맞추며, clusterMMA와 CGA tile을 고려하면 256 또는 512 배수를 선호하라는 것이다. NVIDIA는 GB300에서 작은 projection 또는 reduction dimension이 있으면 token 수가 커도 GEMM이 memory-bound로 남을 수 있다고 설명한다. 예시로 H'=512, H=8192인 FFN-2는 큰 token count에서도 메모리 이동 시간이 계산 시간을 넘어선다.

또 다른 축은 wider 모델과 deeper 모델의 선택이다. 고정된 파라미터 예산에서는 더 넓은 모델이 산술 강도를 높이고 순차 경로를 줄여 처리량과 지연시간 모두에 유리할 수 있다. 다만 깊이가 모델 품질에 주는 효과가 있으므로, 정확도를 해치지 않는 범위에서 폭을 우선하라는 조건이 붙는다. NVFP4 quantization, TensorRT Model Optimizer, LLM Compressor, TensorRT-LLM의 expert·pipeline·Helix parallelism도 같은 문맥에서 언급됐다.

NVIDIA AI 계정은 GPU, inference stack, 개발자 도구를 중심으로 기술 자료를 공유하는 채널이다. 이번 글은 새 칩 공개보다는 frontier model을 실제 데이터센터에서 빠르게 돌리기 위한 설계 체크리스트에 가깝다. 다음 관전 포인트는 이 지침이 공개 모델 architecture 선택에 얼마나 반영되는지, 그리고 Blackwell 세대에서 128·256 정렬과 NVFP4가 실서비스 비용을 얼마나 줄이는지다.