Science One, AI 논문 환각을 21%→0으로 줄인 증거 사슬 실험

AI가 논문을 쓰는 시대의 병목은 글솜씨가 아니라 증거다. Google Research가 2026년 7월 30일 공개한 Science One Framework는 autonomous research agent가 만든 논문에 모든 주장별 evidence chain을 붙이는 실험적 prototype이다. 함께 제시된 CoE Audit은 참고문헌, 점수, 방법 설명, 코드 정합성을 따로 검사해 AI-generated paper가 실제 근거와 연결돼 있는지 측정한다.

문제의식은 분명하다. 최근 연구 agent들은 문헌 검토, 가설 생성, 실험 실행, 원고 작성까지 end-to-end로 수행하지만, 표면적으로 그럴듯한 manuscript가 늘수록 검증 가능성은 더 중요해진다. Google Research는 기존 시스템에서 존재하지 않는 citation, 코드와 맞지 않는 방법 설명, 재실행해도 나오지 않는 experimental score가 생긴다고 지적했다. Science One은 뒤늦게 근거를 붙이는 방식이 아니라, claim이 만들어지는 순간부터 evidence tag를 붙이는 구조를 택했다.

구성은 세 부분이다. Problem Investigator는 Semantic Scholar API와 최대 100개의 full-text PDF를 활용해 citation graph와 research brief를 만든다. Discovery engine은 여러 branch에서 solution을 구현하고 evaluator로 점수를 매긴 뒤, raw output을 읽기 전용 record로 모은다. Paper writer와 Claim Verifier는 manuscript 작성 전에 사실 주장마다 workspace artifact를 연결하고, 근거보다 앞서간 표현은 더 보수적으로 고친다.

결과 수치가 이 발표의 핵심이다. Google Research는 75개 AI-generated paper를 다섯 가지 systems-optimization task에서 비교했고, baseline이 phantom reference를 최대 21% 만들었지만 Science One은 0을 기록했다고 밝혔다. score verification과 method-code alignment에서도 가장 높은 무결성을 보였고, MLE-Bench의 다섯 Kaggle competition에서는 Gold Medal 2개와 Silver Medal 2개를 얻었다. 다만 Google은 이 framework가 production-ready tool이 아니라 experimental research prototype이라고 선을 그었다.