Google-Marvell 협상, inference가 AI chip 전장의 중심임을 드러냈다

TNW는 The Information을 인용해 Google이 Marvell Technology와 AI model을 더 효율적으로 실행하기 위한 두 가지 chip을 논의하고 있다고 보도했다. 하나는 기존 Tensor Processing Unit과 함께 쓰이는 memory processing unit이고, 다른 하나는 inference에 특화된 새로운 TPU다. 다만 협상은 아직 signed contract로 이어지지 않았다.

이 이야기가 중요한 이유는 Broadcom을 대체한다는 단순한 그림이 아니기 때문이다. Google의 primary custom chip partner인 Broadcom은 며칠 전 TPU와 networking component를 2031년까지 design and supply하는 장기 계약을 확보했다. TNW는 Google이 Broadcom, MediaTek, Marvell, TSMC를 함께 쓰는 multi-supplier architecture를 구축하는 쪽에 가깝다고 해석했다.

핵심은 inference다. Training은 frontier model을 만들 때 거대한 compute를 몇 주 또는 몇 달 동안 쓰는 일회성 이벤트에 가깝다. Inference는 사용자의 모든 query에 계속 반응해야 하므로 demand와 함께 비용이 커진다. Google Search, Gemini, Cloud AI API가 대규모로 돌아갈수록 cost per inference를 낮추는 chip 설계는 전략 자산이 된다.

Google은 이미 Ironwood를 inference 시대를 겨냥한 7세대 TPU로 내세웠다. TNW에 따르면 Ironwood는 TPU v5p 대비 peak performance가 10배이고, 9,216개의 liquid-cooled chip으로 구성된 superpod에서 42.5 FP8 exaflops를 낼 수 있다. Marvell과의 논의는 이 라인을 대체하기보다 workload profile이나 cost point가 다른 silicon을 보완하는 방향으로 읽힌다.

Marvell도 단순한 후보가 아니다. 이 회사는 Amazon Trainium, Microsoft Maia AI accelerator, Meta data processing unit 등 cloud provider용 custom silicon 경험을 쌓아 왔고, Google Axion ARM CPU에도 관여했다. Nvidia의 20억 달러 투자와 Celestial AI 인수까지 더하면, Marvell은 GPU ecosystem과 ASIC ecosystem 사이에서 협상력을 키우고 있다. Google 입장에서는 inference volume이 커질수록 single supplier risk를 낮추고, silicon cost를 세밀하게 조절하는 능력이 중요해진다.