深層学習の理論化宣言にr/MachineLearning反応、誇張より研究計画

r/MachineLearningは「There Will Be a Scientific Theory of Deep Learning」を、また一つのAGI宣言としては消費しなかった。lead authorが投稿した紹介文は、14人の共著によるperspective paperをもとに、深層学習の理論がtraining dynamics、巨視的な法則、hyperparameter、universal phenomenaを軸に一つの科学としてまとまりつつあると主張する。反応が集まった理由は言葉が大きいからではなく、散らばった理論研究を研究計画として束ねようとした点にあった。

論文が付けた名前はlearning mechanicsである。worst-caseの保証や孤立したtoy proofだけを追うのではなく、モデルが実際にどう学び、どんなrepresentationを作り、どの巨視的な統計が設定をまたいで現れるのかを説明する科学を作ろうという提案だ。好意的な読者も、壮大さそのものを褒めたわけではない。理論研究に共通のvocabularyと数理的なdisciplineを与えようとしている点を評価していた。mechanistic interpretabilityとどう噛み合うかも興味深い接点として読まれていた。

コメント欄の押し返しも有益だった。最初の不満の一つは社会的なものだ。重要な論文なら、Xのスレッドを経由させずに論文リンクと説明を前面に出してほしいという指摘である。もっと本質的な問いは範囲に向けられた。learning mechanicsはneural trainingそのものだけを説明するのか、それともlabel qualityやdeployment shiftやdecision systemの層とも、いずれ接続すべきなのか。何がfalsificationになるのかを示してこそ、研究計画は強くなるという注文も出た。

この投稿が上がった理由もそこにある。r/MachineLearningには、AIが何になるかという大きな断言が毎日のように流れる。だがこのスレッドは、既存研究の地図と、他の研究者がすぐに突っ込める問いを一緒に持ち込んだ。空気は信仰ではなく好奇心に近い。learning mechanicsという名前が残るなら、こうした公開の検証がその出発点になる可能性が高い。出典はarXiv論文とRedditの議論である。