OpenAI 자체 칩 Jalapeño, NVIDIA 대비 최대 4배 빠른 추론 성능

자체 칩으로 AI 인프라 독립 가속

OpenAI가 Broadcom과 공동 설계한 첫 번째 자체 추론 전용 반도체 Jalapeño의 벤치마크 결과를 공개했다. SemiAnalysis의 InferenceX 테스트에서 NVIDIA GB200/GB300 시스템 대비 와트당 AI 처리량이 1.5~1.9배 높고, 엔드투엔드 지연 시간은 1.7~3.6배 낮았다. 대화형 워크로드에서는 속도 차이가 2.1~4.1배까지 벌어졌다.

설계 철학: 데이터 이동 최소화

Jalapeño는 AI 추론의 병목 구간인 프리필(prefill)과 KV 캐시 처리를 최적화하도록 설계됐다. 각 추론 단계별로 컴퓨팅, 메모리, 네트워킹을 자체 조율해 데이터 이동량을 최소화한다. OpenAI는 자사 모델을 칩 개발 과정에 직접 활용해 하드웨어-소프트웨어 풀스택 최적화를 달성했다.

배포 계획과 차세대 로드맵

Jalapeño는 2026년 말 소규모 운영 환경 배포를 시작하며 2027년부터 본격 확대될 예정이다. 2세대 설계가 이미 진행 중이고 3세대도 기획 단계에 있다. OpenAI VP Richard Ho는 이 결과가 현 세대 최고 수준 대비 매우 중요한 성능 진전이라고 평가했다.

NVIDIA 의존도 절감과 경쟁 구도

2025년 10월 처음 발표된 Jalapeño는 OpenAI의 인프라 독립 전략의 핵심이다. GPU 조달 비용 절감과 모델 서빙 단가 인하로 직결되며, Google TPU와 AWS Trainium과 나란히 독자 AI 실리콘 생태계를 구축하려는 OpenAI의 움직임이 본격화됐다.