샘 알트만 '칩을 만들었고, 빠르다' — OpenAI 첫 자체 추론 칩 Jalapeño의 CEO 선언
OpenAI CEO 샘 알트만이 X에 단 한 문장을 올렸다: 'we made a chip and it is fast.' 이 트윗은 48시간 만에 좋아요 4만8천 개, 조회수 840만 회를 기록했다. Jalapeño는 NVIDIA 대비 와트당 최대 1.9배 많은 AI 연산을 처리한다.
Insights
기사 130개
OpenAI CEO 샘 알트만이 X에 단 한 문장을 올렸다: 'we made a chip and it is fast.' 이 트윗은 48시간 만에 좋아요 4만8천 개, 조회수 840만 회를 기록했다. Jalapeño는 NVIDIA 대비 와트당 최대 1.9배 많은 AI 연산을 처리한다.
NVIDIA가 Vera Rubin 플랫폼 확장형 추론 가속기 Groq 3 LPX의 양산을 8월 24일 선언했다. Gemma 4 31B 모델 기준 초당 3,400 토큰으로 역대 최고 추론 속도를 기록하며 에이전트 AI 인프라의 새 기준을 제시한다.
OpenAI가 Broadcom과 공동 개발한 첫 자체 추론 칩 '할라페뇨'를 공개했다. Nvidia GB200·GB300 대비 처리량 최대 1.9배, 응답 지연 최대 3.6배 단축을 달성했으며 2026년 말 배포 예정이다.
OpenAI가 Broadcom과 공동 개발한 첫 번째 자체 추론 전용 칩 Jalapeño의 벤치마크 결과를 공개했다. InferenceX 테스트에서 NVIDIA GB200/GB300 대비 와트당 처리량이 1.5~1.9배, 지연 시간이 1.7~3.6배 개선됐으며, 대화형 워크로드에서는 최대 4.1배 빠른 속도를 기록했다.
Intel이 Hot Chips 2026에서 Crescent Island 추론 전용 가속기의 세부 사양을 공개했다. 최대 480GB LPDDR5X, 350W 공랭 방식으로 기존 데이터센터 랙에 별도 냉각 없이 탑재 가능하다.
모델 라우터가 왜 결제 회사에 중요한가. 931점을 받은 논의는 단순한 인수 소식보다 inference 사용량의 측정·청구·정산을 한 흐름으로 묶을 가능성을 파고들었다.
AI 추론 칩 스타트업 Etched가 $700M을 조달하며 기업가치를 한 달 만에 $10.3B에서 $21B로 끌어올렸다. 새 라운드를 이끈 Jane Street는 실제 하드웨어를 시험하고 첫 랙을 자사 데이터센터에 설치했다.
17GB짜리 로컬 모델이 코딩과 비전 작업을 해내자 관심은 성능표보다 ‘얼마나 오래 생각하게 둘 것인가’에 모였다. Qwen 3.8 27B는 소비자 하드웨어에서 강한 결과를 내지만 기본 xhigh 추론 설정이 간단한 요청에도 수만 개 토큰을 쓰는 운영 문제를 드러낸다.
KV 캐시 전체를 HBM에 두지 않는 OasisKV가 장문 LLM 서빙의 메모리 병목을 겨냥했다. 요청당 KV 요구량을 6.5~9.7배 줄이면서 다중 GPU 처리량을 최대 2.1배 높였다.
지식 저장과 추론 연산을 분리한 Mobius가 7B Transformer와 비슷한 성능을 학습 데이터 62.6%로 달성했다. Qwen3.5-35B에서 이어 학습한 버전은 종단 간 추론 속도를 약 4배 높였다.
27B 모델이 노트북에서도 까다로운 추론과 코딩을 해냈다는 경험담이 이어졌지만, 관심은 곧 긴 추론 시간과 VRAM 비용으로 옮겨갔다. Qwen3.8-27B의 진짜 시험대는 벤치마크보다 reasoning_effort를 어떻게 다루느냐에 가깝다.
긴 컨텍스트 모델의 속도는 학습 전 attention 설계에서 사실상 결정된다. NVIDIA는 4K에서 128K로 갈수록 attention 비중이 18%에서 85%까지 커진다고 설명했다.