MegaTrain、単一GPUで100B+パラメータLLMのfull precision学習を狙うHN注目論文

最近の Hacker News thread で目立っていたのが、MegaTrainという論文だ。見出しはかなり強い。「single GPUで100B+ parameter LLMをfull precisionで学習する」というものだ。2026年4月9日時点でこのHN投稿は160 points、35 commentsを集めており、単なるpaper dumpではなくsystemsの話として読まれていた。リンク先の arXiv abstract によれば、MegaTrainはparametersとoptimizer statesをCPU memoryに保存し、GPUをpersistent stateの置き場ではなくtransient compute engineとして扱うmemory-centric systemだという。

面白いのは、発想の軸が典型的なGPU-centric trainingと逆なことだ。layerごとにweightsをGPUへstreamして計算し、gradientsを外へ戻す。abstractではCPU-GPU bandwidth bottleneckに対して二つの最適化を挙げている。第一に、parameter prefetching、computation、gradient offloadingをmultiple CUDA streams上で重ねるpipelined double-buffered execution engine。第二に、persistent autograd graphを持たず、streamされたweightsをその場でbindingするstateless layer templatesだ。これによりpersistent graph metadataを減らしつつ、scheduling flexibilityを確保する狙いがある。

HNで刺さったのは「single GPU」の意味をずらした点だ

論文はsingle H200 GPUと1.5TB host memoryの構成で最大120B parameter modelを安定的に学習できると主張する。さらに14B model trainingではDeepSpeed ZeRO-3 with CPU offloadingより1.84倍のthroughputを達成し、single GH200では7B modelを512k contextで学習できたとしている。これはconsumer GPUでfrontier modelを気軽に学習できるという意味ではないが、「大規模trainingはmulti-GPU clusterが前提」という常識に別の切り口を与える。

もちろん必要なhost memory量は大きく、CPU-GPU interconnectとschedulerの質にも強く依存する。つまりMegaTrainはcheap trainingの話ではなく、LLM trainingをmemory hierarchyの観点から再設計する論文だ。それでもHNで価値があったのは、precisionを落とすかGPUを増やすか以外の選択肢として、state placementとstreamingを正面から扱っているからだ。出典は Hacker News discussion と MegaTrainのarXiv abstract である。