NVIDIA Vera, agent loop용 CPU에서 x86 대비 1.8배 per-core 성능

AI agent의 속도는 GPU만으로 결정되지 않는다. 모델이 다음 행동을 고르면 CPU가 도구 호출, 코드 실행, 데이터 처리, KV-cache 주변 작업, 결과 검사를 처리하고 다시 모델로 넘긴다. NVIDIA가 Vera CPU를 agentic AI 시대의 CPU로 밀고 나오는 이유가 여기에 있다.

핵심 주장은 “많은 코어”보다 “부하가 걸린 상태에서도 빠른 단일 코어”다. agent loop는 이전 단계 결과가 다음 단계 입력이 되는 순차 작업을 계속 반복한다. 코어 수를 늘리면 동시에 처리할 작업은 많아지지만, 한 agent의 다음 단계가 빨라지지는 않는다. NVIDIA는 기존 데이터센터 CPU가 임대 가능한 코어 수와 비용 효율을 우선하면서 per-core 성능과 메모리 접근에서 타협해 왔다고 봤다.

Vera의 중심에는 Olympus 커스텀 CPU 코어가 있다. NVIDIA는 Olympus가 Grace 대비 instructions per cycle을 50% 높였고, 1.2TB/s LPDDR5X 메모리 대역폭, 40W 미만 메모리 전력, 3.4TB/s core-to-core 대역폭을 갖춘 단일 compute die로 88개 코어를 먹여 살린다고 설명했다. agentic 실행을 대표하는 부하에서 x86 대비 지속 per-core 성능은 1.8배라고 밝혔다.

현장 수치도 붙었다. Perplexity는 저장소를 clone하고 sandbox에서 test suite를 돌리는 실제 coding workflow에서 Vera가 x86보다 약 1.5배 빠르게 작업을 끝냈고, 동시 sandbox 시작은 최대 1.9배 빨랐다고 NVIDIA에 전했다. Starburst는 대규모 SQL analytics 3배 향상, Redpanda는 real-time streaming 지연 최대 6배 감소를 측정했다. agent가 많아질수록 GPU 대기 시간을 줄이는 CPU 쪽 병목이 비용 문제로 바뀐다. Vera는 그 병목을 AI factory 설계의 전면으로 끌어올린 제품이다.