SWE-Bench Pro 30% 결함, OpenAI가 coding benchmark 권고 철회

Coding eval의 기준선이 흔들린다

AI coding model을 비교할 때 자주 쓰이던 SWE-Bench Pro가 OpenAI의 공개 감사에서 직접 타격을 받았다. OpenAI는 X에 올린 글에서 SWE-Bench Pro가 frontier coding capability를 더 이상 안정적으로 측정하지 못한다고 썼고, 공개 과제의 30%가 broken 상태라고 밝혔다. 이에 따라 연구 커뮤니티가 이 벤치마크를 leading coding eval로 쓰라는 이전 권고도 철회했다.

"30% of SWE-Bench Pro tasks to be broken"

OpenAI가 든 문제는 단순한 점수 편차가 아니다. 후속 글에서는 숨은 요구사항, 서로 모순되는 지시, 지나치게 엄격한 테스트, 불완전한 채점 기준 때문에 올바른 해법도 실패로 처리될 수 있다고 설명했다. coding agent 평가에서 이런 결함은 특히 치명적이다. 모델이 실제로 문제를 풀었는지보다, benchmark harness가 어느 실패를 허용하고 어느 실패를 막는지가 순위에 섞이기 때문이다.

OpenAI 공식 계정은 모델 출시뿐 아니라 평가 체계와 안전 연구를 공개하는 채널이다. 이번 글에는 OpenAI의 세부 분석 페이지 링크도 포함됐지만, 현재 작업 환경에서는 해당 페이지가 JavaScript와 cookie gate 뒤에 있어 본문을 확인할 수 없었다. 따라서 여기서 확인 가능한 근거는 tweet의 원문, 공개 timestamp, engagement, 그리고 OpenAI가 직접 제시한 30% 수치와 철회 문구다.

이 사안은 새 모델 launch만큼 중요하다. frontier coding model 경쟁은 SWE-Bench류 과제의 작은 차이로 순위가 갈리는 경우가 많다. 만약 대표 평가셋 일부가 숨은 요구사항이나 불완전한 grading 때문에 정답을 틀리게 본다면, 연구자는 잘못된 목표를 최적화하고 기업 구매자는 과장된 성능표를 보게 된다.

다음 관전점은 SWE-Bench Pro 유지관리자가 결함 과제를 어떻게 표시하거나 제외하는지, 다른 benchmark가 같은 감사를 통과하는지, 그리고 OpenAI가 대체 평가셋이나 수정된 scoring protocol을 내놓는지다.

Source tweet