#data-efficiency

2026年3月19日にHacker Newsへ投稿されたNanoGPT Slowrunスレッドは、クロール時点で162ポイントと43件のコメントを集めた。Q Labsは、100M tokenで学習した1.8B parameter ensembleが通常1B tokenを要するbaselineに匹敵したと主張している。

2026年3月4日のHNでQ LabsのSlowrunが注目を集めた。100M FineWeb tokensを固定し、computeを使ってdata efficiencyを高める設計が焦点になっている。