Hacker NewsがNanoGPT Slowrunのデータ効率10倍主張を追跡、固定データ時代の新実験

HNが見ていたのはモデルそのものよりスケーリング前提だった

2026年3月19日、Hacker NewsのスレッドでNanoGPT Slowrunの投稿はクロール時点で162ポイントと43件のコメントを集めた。Q Labsが打ち出した中心主張はかなり強い。合計18B parameterに相当する1.8B parameter ensembleを100M tokenで学習させ、通常なら1B tokenを必要とするstandard language model baselineに匹敵する結果を得たというものだ。要するに、追加のcomputeと別のtraining structureによって、新しいデータの一部を置き換えられるという主張である。

本文はこの実験を既存のscaling guidanceへの正面からの挑戦として描いている。100M tokenなら普通はChinchilla的な直感で5M前後のmodelを想定するが、ここではそれよりはるかに大きい過剰パラメータ領域へ踏み込んでいる。Q Labsが重要だったと説明する軸は、ensemble、1つ前のmodelだけをteacherにするchain distillation、標準よりかなり強いregularization、そして一部layerを1回のforwardで何度も通すlooped transformerだ。さらにexclusive self attention、EMA、tuned residual lambda、U-Net style skip connection、SwiGLUなどのarchitectural tweakも列挙されている。

どこを重く見るべきか

ここで重要なのは、「新しいscaling lawが確定した」という話ではない。そうではなく、fixed-data条件でoverparameterized modelとensemble dynamicsを使ってgeneralizationを取り戻す、別のregimeを真剣に試す研究が出てきているという点だ。もしこの利得がlabの外でも再現されるなら、GPUの確保速度が良質tokenの調達速度を上回るようなfrontier teamにはかなり重要な方向になる。

ただし、このページはpeer-reviewed benchmark paperではなくlab write-upだ。途中結果、PR単位の実験、1年以内に100x data efficiencyを目指すといった将来主張が同じ文書に混在している。したがって丁寧な読み方は、「結論済みの研究」ではなく「Hacker Newsが強く反応した有力なresearch thesis」だろう。それでも注目に値するのは、データ不足が次のbottleneckになり得るという見立てと、aggressiveなensemble-first trainingがその回避策として具体的に提示されている点だ。