Blackwell Ultra、DeepSeek-V3学習でGPU当たり1,648 TFLOPs

大規模モデル学習の競争で、GPU当たりの実効throughputが再び重要な指標になっている。NVIDIA AIは、Blackwell UltraがDeepSeek-V3 671Bの事前学習でGPU当たり1,648 TFLOPsを達成し、世界記録を更新したと述べた。

投稿が前面に出した数字は「1,648 TFLOPs per GPU」と「about 3x」だった。

NVIDIA AIの公式アカウントは、GPU、AI framework、robotics、インフラ最適化に関する更新を発信している。この投稿は2026年7月21日15:03 UTCに公開され、取得時点で約9万回表示されていた。添付画像はGB200 NVL72とGB300 NVL72のthroughputを比較し、約3倍の伸びとして見せている。

DeepSeek-V3 671BはMoE型の大規模モデルであり、事前学習ではrouting、通信、メモリ移動、並列化、障害耐性が同時に問われる。単体GPUの理論性能だけではこの数字は出ない。NVIDIAはMegatron-Core、TorchTitan、JAXを含むframework側の継続的なsoftware最適化と、hardwareとの共同設計が結果につながったとしている。

関連するCoreWeaveのMLPerf Training v6.0資料では、8,192個のNVIDIA Blackwell Ultra GPUでDeepSeek-V3 671Bベンチマークを2.02分で実行したと説明されている。4,096 GPUでは3.09分、2,048 GPUでは5.54分だった。これはGPU数だけでなく、ネットワーク、storage、scheduler、observabilityを含むcluster運用能力の数字でもある。

次に見るべきなのは、顧客の長時間学習jobでこの効率がどこまで維持されるかだ。企業が見るのはピーク値だけではなく、queue待ち、復旧、data loading、総コストである。元の投稿はこちら。