AI 칩 비용의 63%가 HBM, 병목은 연산보다 메모리

Epoch AI의 새 분석은 AI 칩 비용에서 메모리가 차지하는 비중이 얼마나 빠르게 커졌는지 보여준다. Nvidia, AMD, Google, Amazon이 설계한 AI 칩을 생산량으로 가중해 보면, HBM은 2024년 1분기 전체 부품 지출의 52%에서 2025년 4분기 63%까지 올라갔다. 같은 기간 logic die는 약 13% 근처에 머물렀고, advanced packaging은 19%에서 15%로 내려갔다.

숫자로 보면 변화가 더 선명하다. 네 회사의 HBM 지출은 2024년 약 120억 달러에서 2025년 약 320억 달러로 늘었다. 전체 AI 칩 부품 지출도 약 220억 달러에서 520억 달러로 커졌는데, 증가분의 상당 부분을 HBM이 가져갔다. AI 칩을 이야기할 때 흔히 연산 성능과 공정 노드가 먼저 나오지만, 실제 비용 압박은 메모리 공급과 가격에서 더 크게 나타나는 셈이다.

HN 댓글은 이 분석을 소비자 PC와 서버 시장의 체감 가격으로 연결했다. RAM 가격이 몇 년 사이 크게 올랐다는 경험담, DDR4와 DDR5 업그레이드를 미루는 사용자, hyperscaler가 자체 fab까지 고민해야 하는 것 아니냐는 질문이 이어졌다. 커뮤니티의 관심은 “AI 수요가 메모리 시장 전체를 밀어 올리면, 비AI 사용자도 비용을 나눠 부담하게 되는가”에 가까웠다.

Epoch AI는 HBM 공급이 2026년에도 타이트하게 유지되면 비중이 더 커질 수 있다고 본다. Microsoft와 Meta의 capex 전망에서도 부품 가격 상승이 별도 항목으로 언급된다. 이는 모델 경쟁이 데이터센터 전력이나 GPU 확보만의 문제가 아니라, HBM3와 HBM3e 같은 메모리 스택의 제조 능력, CoWoS 패키징, 공급 계약까지 이어지는 산업 문제라는 뜻이다.

원문은 Epoch AI 데이터 인사이트이며, HN 논의는 해당 스레드에서 확인할 수 있다.