AI reasoning 논쟁, chain-of-thought를 믿어도 되는가

Quanta의 긴 분석은 AI reasoning 논쟁을 한 문장으로 좁힌다. large reasoning model이 어려운 수학과 퍼즐을 잘 푸는 것은 사실이지만, 그 과정에서 출력하는 chain-of-thought가 실제 내부 계산을 설명하는지는 아직 별개의 문제다. HN 댓글도 성능 자체보다 “맞았지만 이유가 틀린 경우”를 어떻게 볼 것인지에 오래 머물렀다.

기사의 출발점은 2025년 이후 엇갈린 연구 결과다. Apple 쪽 연구는 reasoning model이 단순한 조건에서도 accuracy collapse를 보일 수 있다고 비판했고, Santa Fe Institute 연구는 모델이 benchmark를 surface-level shortcut으로 풀 수 있음을 보였다. 반대로 OpenAI 모델의 수학 성과와 Google DeepMind, Terence Tao가 AI로 67개 수학 문제 해법을 재발견하거나 개선한 사례는 “그렇다면 reasoning이 아니라고만 할 수 있나”라는 반문을 만든다.

핵심 쟁점은 reasoning trace의 신뢰도다. Melanie Mitchell은 reasoning model이 성능을 개선한다는 점, 생성된 chain-of-thought가 내부에서 실제로 벌어지는 일을 충실히 보여주지 않을 수 있다는 점, 그리고 그 text 중 상당 부분이 없어도 성능이 유지될 수 있다는 점을 나란히 둔다. Arizona State, NYU, Northeastern, UC Berkeley 쪽 연구도 비슷한 의심을 보탠다. 의미 없는 filler token이나 잘못된 trace가 답의 정확도를 크게 흔들지 않는다면, trace를 감사 가능한 설명으로 보기 어렵다.

댓글에서는 오래된 “Clever Hans” 비유가 다시 등장했다. 말이 산수를 한 것이 아니라 주변 신호를 읽었듯, classifier와 LLM도 정답에 도달하더라도 인간이 기대한 이유와 다른 경로를 택할 수 있다는 지적이다. 다른 댓글은 reasoning이라는 단어 자체가 너무 철학적인 싸움으로 번졌다고 보며, 실제 기능과 신뢰 한계를 나눠 보자는 쪽이었다.

이 논쟁의 실용적 결론은 단순하다. reasoning model은 더 어려운 문제를 풀 수 있다. 다만 chain-of-thought는 영수증이 아니라 출력물이다. 특히 의료, 보안, 금융, 법률처럼 설명 가능성이 중요한 영역에서는 “모델이 그렇게 말했다”보다 독립 검증과 causal test가 더 중요해진다.