Google-Marvell交渉、inferenceがAI chip競争の主戦場になった

TNWはThe Informationを引用し、GoogleがMarvell Technologyと、AI modelをより効率的に動かすための2種類のchipを協議していると伝えた。1つは既存のTensor Processing Unitと組み合わせるmemory processing unitで、もう1つはinferenceに特化した新しいTPUだ。ただし、この協議はまだsigned contractには至っていない。

重要なのは、これはBroadcomを単純に置き換える話ではないことだ。Googleのprimary custom chip partnerであるBroadcomは、数日前にTPUとnetworking componentを2031年までdesign and supplyする長期契約を確保したばかりだ。TNWは、GoogleがBroadcom、MediaTek、Marvell、TSMCを組み合わせるmulti-supplier architectureへ進んでいると見ている。

重心はinferenceにある。Trainingはfrontier modelを作るために巨大なcomputeを数週間から数カ月使うが、一定の終わりがある。Inferenceはすべてのuser queryに継続して応答するため、需要が増えるほど費用も膨らむ。Google Search、Gemini、Cloud AI APIにAIが深く入るほど、cost per inferenceを下げるchip設計が戦略的な意味を持つ。

Googleはすでに第7世代TPUのIronwoodを、この変化に向けた製品として位置づけている。TNWによれば、IronwoodはTPU v5pの10倍のpeak performanceを持ち、9,216個のliquid-cooled chipで構成されるsuperpodでは42.5 FP8 exaflopsに達する。Marvell設計のinference chipは、この計画を置き換えるよりも、異なるworkload profileやcost pointを補う選択肢になる可能性が高い。

Marvellにも交渉材料がある。同社はAmazon Trainium、Microsoft Maia AI accelerator、Meta data processing unit、Google Axion ARM CPUなど、cloud provider向けcustom siliconで実績を積んできた。Nvidiaによる20億ドルの投資とCelestial AI買収も、GPU ecosystemとASIC ecosystemの双方に近い位置を与えている。Googleにとっての狙いは明確だ。single supplier riskを下げ、これから最も大きくなるinference costを細かく制御することだ。