AI agent 인프라 경쟁이 토큰 처리량이 아니라 동시 작업 수와 전력 효율로 옮겨가고 있다. NVIDIA는 Artificial Analysis의 새 AA-AgentPerf에서 GB300 NVL72가 H200보다 MW당 동시 coding agent 처리량을 최대 20배 높였다고 밝혔다.

2026년 6월 13일 1분 소요 39

#nvidia #agentperf #benchmark

LLM

DiffusionGemma, 26B open model이 토큰 병목을 4배로 압축

Google DeepMind가 26B MoE open model DiffusionGemma를 공개했다. 256-token 블록을 병렬로 다듬는 text diffusion 방식으로 전용 GPU에서 최대 4x 빠른 생성을 노린다.

2026년 6월 12일 1분 소요 30

#google #deepmind #gemma

LLM 해커뉴스

Tiny-vLLM, C++와 CUDA로 LLM inference를 끝까지 따라가는 교재형 엔진

관심은 성능 자랑보다 README의 학습 설계에 모였다. vLLM의 핵심을 작은 코드와 수업 흐름으로 재구성한 점이 반응을 얻었다.

2026년 5월 31일 1분 소요 35

#llm #cuda #inference

LLM 해커뉴스

OpenRouter 1,1300만 달러 Series B, multi-model gateway 수요의 숫자

토큰 사용량과 투자자 구성이 함께 주목을 받았다. HN 댓글의 관심은 “모델 라우터가 독립 인프라로 남을 수 있나”에 모였다.

2026년 5월 31일 1분 소요 36

#openrouter #llm #inference

LLM X/Twitter

DynoSim, 2.41초에 60.1분 추론 트래픽을 재현한 NVIDIA의 배치 탐색 방식

NVIDIA가 Dynamo serving stack을 빠르게 실험하는 DynoSim을 공개했다. 기술 블로그 기준 Apple M4 MacBook Air에서 23,608개 요청, 60.1분 분량 트래픽을 2.41초에 재현해 약 1,500배 빠른 시뮬레이션을 보였다.

2026년 5월 31일 1분 소요 36

#nvidia #dynosim #inference

LLM

DynoSim, LLM serving 실험을 1,500배 빠른 simulation 문제로 전환

LLM inference 운영에서 비싼 GPU 실험을 먼저 돌릴 필요가 줄어든다. NVIDIA DynoSim은 23,608개 request trace를 Apple M4 MacBook Air에서 2.41초에 재생하며 real time 대비 약 1,500배 빠른 serving simulation을 제시했다.

2026년 5월 30일 2분 소요 36

#nvidia #dynosim #llm-serving

Mistral, 10MW inference 거점과 산업용 physics AI를 한 묶음으로

새로운 초점은 챗봇이 아니라 항공기, 자동차, 반도체 장비 설계다. Mistral은 Airbus, BMW, ASML 사례와 Q3 2026 개소 예정인 10MW Les Ulis inference 시설을 함께 제시하며 산업용 AI stack을 전면에 세웠다.

2026년 5월 30일 2분 소요 34

#mistral #physics-ai #manufacturing