METR追試アップデート: 「20%減速」からAI加速の可能性へ

Redditの r/singularity投稿 が、METRの公式記事 uplift update を拡散している。注目点は、広く引用された「経験あるOSS開発者はAI使用で約20%遅くなった」という過去結果が、現在のtool環境でどう見えるかだ。

更新で示された内容

METRはまず、2025年前半データで観測されたdownlift結果を維持している。そのうえで、2025年後半から2026年初頭にかけては状況が変わったと述べる。Claude CodeやCodexのようなagentic toolの普及で、開発者が課題を選ぶ行動自体が変化し、同じ実験設計で効果を測る難易度が上がったという説明だ。

raw resultsではspeedup方向の推定が示される。既存参加者では-18%（信頼区間-38%〜+9%）、新規参加者では-4%（信頼区間-15%〜+9%）。METRの文脈では負の値が加速方向を意味する。ただし、この数値をそのまま一般化すべきではないというのが記事全体のトーンだ。

なぜ解釈が難しいのか

• 選択バイアス: AIなしでやりたくないtaskを提出しない開発者が増加（調査で30%〜50%）
• 参加条件の変更: 報酬が$150/hrから$50/hrへ低下
• 計測上の問題: multi-agent利用時に実作業時間の記録が不安定

METRは、現在の推定は「真の生産性効果の下限(lower-bound)になっている可能性」がある一方、同時に信号の信頼性は弱いと明記する。つまり「加速の可能性は高まったが、倍率を断定できる段階ではない」という整理だ。

実務上の示唆は明確で、外部研究の単一値をそのまま採用せず、各チームのtask構成・tool chain・品質基準で分解計測することが重要になる。今回のReddit投稿が有益なのは、結論の断言ではなく、評価設計そのものを更新する必要性を示している点にある。

組織で使う際の読み方

今回の更新が示すのは、AI生産性の議論を賛否から測定設計へ移す必要性だ。同じmodelでも、task難度、review基準、品質要求、context switchの多さで実効upliftは大きく変わる。したがって組織側は外部平均値をそのまま使わず、自社の開発フローに合わせて実験設計を再構築する必要がある。

さらにagentic workflowでは、従来の「作業時間」指標が価値創出を十分に表さない場面が増える。agentが処理している間に人間が別taskを進めると、単純な時間記録は実態を取りこぼす。METRが指摘する計測難は、多くの現場でも再現される可能性が高い。だからこそ今回の投稿は、結論を断言する材料というより、評価フレームを更新する材料として有用だ。