ARC-AGI-3がinteractive reasoning benchmarkの焦点を塗り替える

コミュニティが反応した理由

Hacker NewsでARC-AGI-3は確認時点で238 points、163 commentsを集めた。ARC Prize Foundationは2026年3月24日、これを frontier agentic intelligence のための新しい benchmark として公開した。見出しだけを見ると新しいAGI指標の追加に見えるが、実際に重要なのは評価対象が static task から interactive reasoning に移っていることだ。

公式 docs は ARC-AGI-3 を、novel で unseen な environment における generalization を測る interactive reasoning benchmark と説明している。Quickstart が挙げる要素は exploration、percept-plan-action、memory、goal acquisition、alignment だ。つまり既知の正解を取り出せるかではなく、未知の環境でルールを発見し、行動を修正しながら進めるかを見ている。

評価設計のポイント

technical report によれば、ARC-AGI-3 は language や external knowledge を避けた abstract な turn-based environment で構成される。agent は明示的な指示なしに探索し、目標を推測し、environment dynamics の内部モデルを作り、行動系列を計画しなければならない。calibration では human が 100% の environment を解いた一方、2026年3月時点の frontier AI system は 1% 未満の score にとどまった。

• score は単純な成功率ではなく、human baseline に対する効率で計算される。
• 後半 level ほど重みが大きく、表面的な攻略より継続的な理解が重視される。
• toolkit と REST API が用意され、agent 研究者が再現実験を始めやすい。

この構成の価値は、agent の失敗を細かく見分けやすい点にある。perception はできても exploration が弱いのか、goal の推定が遅いのか、world model が安定しないのか、といった差が見えやすくなる。

なぜ重要か

ARC-AGI-1 と ARC-AGI-2 が reasoning model の進歩を捉える役割を果たしたなら、ARC-AGI-3 はその先で agent behavior を直接見る段階に入ったと言える。browser、tool、simulation のような開いた環境で働く system にとって、この変化はかなり実務的だ。HN の議論でも、単一の leaderboard 数値より、現在の agent stack が task-specific scaffolding なしで novelty を処理できるかが主な論点になっていた。

Original sources: ARC Prize overview, ARC-AGI-3 docs, technical report