TPU 8tと8i、HNが見た本質は「学習用と推論用を分けたこと」

大きな数字より役割分担が効いていた

Googleの第8世代TPUの話がHacker Newsで刺さったのは、121 exaflops の大きさだけが理由ではない。コミュニティが本当に注目したのは、TPU 8t を学習向け、TPU 8i を推論向けとして切り分けた設計だった。エージェント型ワークロードが増えるほど、学習と提供ではまったく別のボトルネックが前に出る。その違いをシリコンの段階で認めたことが重要だと見られた。

公開情報もかなり具体的だ。TPU 8t は大規模学習向けで、1つの superpod を 9,600 チップ、2PB の共有高帯域メモリ、121 exaflops まで拡張する。さらに pod あたり計算性能は前世代比で約3倍、ストレージアクセスは10倍、高い productive compute time を狙う goodput 目標は 97%超。TPU 8i は推論向けで、288GB HBM、384MB のオンチップ SRAM、19.2 Tb/s の相互接続を持ち、performance-per-dollar を前世代比で80%改善したという。両方とも performance-per-watt は最大2倍、Axion Arm ホストと第4世代液冷も使う。

HNのコメントが面白かったのは、その設計の意味をすぐに読みにいったことだ。Gemini の省トークン傾向と結び付ける声もあれば、学習用と推論用を明確に分けたこと自体が本題だと見る声もあった。巨大AIインフラは、もう一つの設計で全部まかなうふりをしていない。

• 学習クラスターでは scale-up bandwidth と productive compute time が効く
• 推論クラスターでは遅延、メモリ帯域、通信コストが直撃する
• エージェント系ワークロードは小さな無駄も段階ごとに増幅する

だからこの投稿は単なるデータセンター自慢では終わらなかった。HNは TPU 8t と 8i を、reasoning 重視の本番ワークロードに合わせてインフラが分岐し始めた場面として受け取った。これからの競争は最大の学習数値だけではなく、推論と提供の各段階をどこまで最適化できるかで差がつきそうだ。