Anthropic、Claudeでweak-to-strong研究を回しPGR 0.97へ押し上げる

Anthropicの最新Xスレッドが重いのは、alignmentを人間だけのボトルネックとして扱わず、モデル自身を研究ループの中に入れたからだ。元ツイートでは「Automated Alignment Researcher」を前面に出し、短い研究解説と長い技術レポートの両方へリンクしている。焦点は単なる話題作りではない。Claudeを整列させる対象として見るだけでなく、weak-to-strong supervisionを改善する研究者役として動かしてみた、という点にある。

“New Anthropic Fellows research: developing an Automated Alignment Researcher.”

注目すべきは具体的な数字だ。Anthropicの研究概要によると、人間研究者2人が7日かけて作ったベースラインはperformance-gap recovery、つまりPGR 0.23だった。その後Anthropicは、Claude Opus 4.6を9体並列で動かし、サンドボックス、共有フォーラム、コード保存領域、スコア計測サーバーを与えた。さらに5日、累積約800時間の研究の末に最終PGR 0.97へ到達したという。held-out課題でも最良手法は数学で0.94、コードで0.47を記録し、コード側は人間ベースラインの約2倍だと説明している。

AnthropicAIのXアカウントは、ふだんから安全性研究やモデル更新を短いスレッドに要約し、一次資料へ送る導線として使われることが多い。今回も同じで、完全版レポートには重要な但し書きがある。Claude Sonnet 4を使ったproduction-scaleの試験では、統計的に有意な改善は確認できなかった。つまり、今すぐ「モデルが汎用alignment scientistになった」と読むのは早い。ただ、限定された監督課題で、frontier modelが仮説立案から実験、比較、改良まで回し、人間の小規模ベースラインを上回ったのは事実だ。

次に見るべきなのは転移性だろう。別の研究チームが別系統のモデルやデータセットでも、数学0.94やコード0.47に近い改善を再現できるのか。あるいはAnthropicがこの手法を実運用の学習基盤へ持ち込めるのか。そこまで進めば、この投稿は高得点の社内実験ではなく、自動化されたsafety researchの初期マイルストーンとして位置づけられるはずだ。元ツイート: AnthropicAI on X via Nitter.