NeurIPS 논문 178편 탈락시킨 AI 판별기…운영진 논문도 24~69% 판정 논란

AI가 쓴 글을 걸러내려던 학술대회가 판별기의 오탐 문제를 그대로 심사 절차에 들였다는 비판이 나왔다. r/MachineLearning 게시물은 NeurIPS 2026 Position Paper Track이 상용 판별기 Pangram을 사용해 전체 제출작의 18.4%, 178편을 사전 탈락시켰다고 주장한다. 사람의 추가 검토와 이의 제기 절차가 없었다는 대목에 관심이 집중됐다.

게시자가 정리한 자료에 따르면 판별기의 기본 설정은 전체 제출작 가운데 42.7%를 AI 작성 확률 90~100%로 표시했다. 운영진은 검사할 텍스트 구간을 줄여 표시 비율을 12.7%까지 낮췄다고 한다. 또 22편은 판별 점수가 0.5를 넘으면서 저자가 AI를 쓰지 않았다고 체크했다는 이유로 탈락 대상이 됐다. 불투명한 점수가 저자의 허위 진술을 입증하는 근거로 쓰였다는 비판이다.

가장 눈에 띄는 반례는 트랙 운영진의 기존 논문이다. 독립 연구자들이 같은 판별기로 세 운영진의 최근 논문을 검사했더니 24~69% 범위의 점수가 나왔다는 것이 게시물의 설명이다. 이 결과가 실제 탈락 기준에 어떻게 대응하는지는 원자료를 함께 봐야 하지만, 판별 결과만으로 저자 의도를 단정하기 어렵다는 문제는 남는다.

비영어권 연구자에게 불리할 수 있다는 우려도 제기됐다. 형식이 엄격한 학술 영어는 문장 구조의 예측 가능성이 높아 AI 문장으로 오인될 가능성이 있다. 커뮤니티 토론은 오래된 문학 작품도 높은 AI 확률을 받는 사례를 떠올리며, 문체의 낮은 변동성을 생성 흔적으로 취급하는 방식이 심사 기준이 될 수 있는지 파고들었다.

다만 현재 공개된 핵심 수치는 Reddit 게시자와 게시자가 운영하는 인용 검증 서비스의 분석에 크게 의존한다. 해당 게시자는 이해관계를 직접 밝혔고, 댓글에서도 근거가 된 연구와 Pangram 설정을 더 분명히 제시하라는 요구가 나왔다. 따라서 178편, 42.7%, 24~69%를 확정된 독립 조사 결과처럼 읽어서는 안 된다. NeurIPS와 판별기 업체의 원문 설명, 탈락 저자들이 받은 통지를 대조할 필요가 있다.

이 사건이 던지는 질문은 판별 정확도 하나보다 절차에 가깝다. 오류 가능성이 있는 자동 도구를 강한 제재에 연결한다면 사람의 재검토, 기준 공개, 이의 제기 통로, 언어권별 보정 자료가 필요하다. 주장과 토론의 전체 맥락은 원 게시물에서 확인할 수 있다.