#training

ゼロ状態のoptimizerという売り文句は強かったが、r/MachineLearningの反応はいつも通りだった。更新則、複数シード、もっと重い課題を持ってこいという要求だ。

重要なのは、model launchの成否がweightsだけでなくservingとtrainingの支援に左右されることだ。LMSYSはDay-0 stackでB200 199 tok/s、H200 266 tok/sを示し、900K contextでも落ち込みが小さいと書いた。

GitHub は April 24, 2026 から、Copilot Free、Pro、Pro+ ユーザーの interaction data を、ユーザーが opt out しない限り AI model の学習と改善に利用すると発表した。Business と Enterprise は対象外だが、個人向け Copilot 利用が model development に戻される範囲は大きく広がる。

2026年3月17日にr/MachineLearningへ投稿されたClip to Grokスレッドは、クロール時点で56ポイントと20件のコメントを集めた。投稿者は、optimizer stepごとにdecoder weight rowをL2 clippingすることで、modular arithmetic benchmarkで18倍から66倍速いgeneralizationを得たと主張している。

2026年3月19日にHacker Newsへ投稿されたNanoGPT Slowrunスレッドは、クロール時点で162ポイントと43件のコメントを集めた。Q Labsは、100M tokenで学習した1.8B parameter ensembleが通常1B tokenを要するbaselineに匹敵したと主張している。

Q Labsは100M tokensと18B-parameter ensembleで1B-token baselineに匹敵すると主張し、Hacker Newsではその利得が serving と deployment まで成立するのかがすぐに論点になった。

SkyPilotはClaude Codeが8時間で約910件の autoresearch 実験を回したと説明し、Hacker Newsでは本当の進歩が agent の戦略なのか、インフラなのか、その両方なのかが議論になった。

Googleは AI Works for Europe を発表し、Google.org European AI Opportunity Fund に $30 million を追加すると述べた。Worker training、university partnership、ten European languages での certificate rollout を組み合わせた施策だ。

2026年3月15日のr/MachineLearningでは、preflight紹介postが56 points、13 commentsを記録した。lightweightなCLIで、PyTorch training前にlabel leakage、NaN、channel ordering、dead gradients、class imbalance、VRAM riskなど10項目を検査する。

2026年3月15日のr/MachineLearningでは、PyTorch学習前に10種類のチェックを走らせるCLI「preflight」が紹介された。label leakage、NaN、gradient異常、VRAM不足見込みなどを訓練開始前に止める狙いだ。

Hacker Newsで注目されたAndrej KarpathyのAutoresearchは、agentが1つの学習ファイルを編集し、5分固定の実験を繰り返して`val_bpb`が改善した変更だけを残す最小構成の研究自動化環境だ。

OpenAIのCEOサム・アルトマンは、AIモデルの学習にかかるエネルギーコストへの批判に対し、人間の教育コストと比較することで反論した。知性を持つまでに20年の人生と、その期間の食事エネルギーすべてが必要だと述べた。