수학자들, AI에 증명 과정 공개 요구하는 첫 시험 출제

AI 수학 능력 평가의 새로운 기준

AI 기업들의 불투명한 수학적 성과 발표에 불만을 느낀 주요 수학자들이 AI 능력을 객관적으로 평가할 수 있는 통제된 테스트 프레임워크 '퍼스트 프루프(First Proof)'를 개발했습니다.

퍼스트 프루프란?

이 시험은 필즈상 수상자를 포함한 11명의 저명한 수학자들이 기여한 미해결 수학 문제들로 구성되어 있습니다. 이 문제들은 '보조정리(lemma)'로, 더 큰 증명에서 징검다리로 사용되는 작은 정리들입니다. AI 시스템은 일주일 동안 이 문제들을 풀어야 하며, 암호화된 정답은 2월 13일에 공개됩니다.

왜 중요한가?

투명성 문제: 이전의 AI 수학 성과는 엄격한 감독이 부족했습니다. 한 스타트업이 축하받았던 증명은 기존 문헌에서 재활용한 것을 독창적인 것처럼 제시한 것으로 밝혀졌습니다.

더 나은 측정 기준: 수학적 증명은 주관적 평가와 달리 객관적인 진위 값을 제공합니다. MIT의 한 수학자는 "이것들은 어떤 LLM의 훈련 데이터에서도 찾을 수 없는 완전히 새로운 문제들입니다. 지금까지 본 것 중 훨씬 더 나은 실험인 것 같습니다"라고 말했습니다.

실용적 잠재력: 진정한 가치는 획기적인 문제를 푸는 것이 아니라, 현직 수학자들의 일상에서 "수학 연구의 더 지루한 부분"을 위한 유용한 도구로 AI를 입증하는 것입니다.

이는 학계가 업계의 자기 홍보를 받아들이기보다 신뢰할 수 있는 벤치마크를 확립하려는 노력을 나타냅니다.