AI reasoningは正しい答えを出しても、理由まで正しいのか

Quantaの分析は、AI reasoningをめぐる議論を一つの緊張関係にまとめている。large reasoning modelが難しい数学、論理、パズルを解ける場面は増えている。一方で、モデルが出力するchain-of-thoughtが、その答えに至った内部過程を忠実に説明しているとは限らない。

記事が扱う証拠はかなり揺れている。Apple系の研究は、reasoning modelが単純な条件でもaccuracy collapseを起こすと批判した。Santa Fe Instituteの研究は、モデルがよく作られたbenchmarkをsurface-level shortcutで解けることを示した。反対側には、OpenAIモデルによる数学研究問題の一発解答や、Google DeepMindとTerence TaoがAIで67件の数学問題の解法を再発見または改善した事例がある。

焦点は中間のtextが何を意味するかだ。Melanie Mitchellは、reasoning modelが性能を改善すること、生成されたchain-of-thoughtが内部で起きていることを必ずしも忠実に表さないこと、そのtextの一部はなくても性能が保たれることを並べて説明する。Arizona State、NYU、Northeastern、UC Berkeleyの研究も、無関係なtrace、意味のないfiller token、削除されたthinking stepが答えを大きく変えない場合を示している。

HNのコメントも同じ論点を追った。古い「Clever Hans」の比喩が出たのは象徴的だ。馬が計算したのではなく周囲の手がかりを読んだように、モデルも正答していても人間が想定する理由とは違う経路を通る可能性がある。別のコメントは、reasoningという語の定義争いより、実際にどの条件で信頼できるかを見るべきだとした。

実務上の結論は慎重なものになる。reasoning modelは難しい問題を解く力を持つ。ただしchain-of-thoughtは監査済みの証明ではなく、モデルが生成した出力の一部だ。医療、セキュリティ、金融、法務のように説明可能性が重要な領域では、きれいなreasoning traceより独立した検証と因果的なテストが必要になる。