#death:retracted

OpenAI가 SWE-Bench Pro 공개 과제의 30%가 깨져 frontier coding 역량을 안정적으로 재지 못한다고 밝혔다. 숨은 요구사항, 충돌하는 지시, 과도한 테스트가 정답을 실패로 처리할 수 있다는 지적이다.

정부가 AI를 규제하려는 순간에도 문서 작성 검증은 더 엄격해야 한다는 점을 이 사건이 드러냈다. 남아공은 가짜 참고문헌이 드러나자 첫 국가 AI 정책 초안을 거둬들였고, 여기에 담겼던 3개 신규 기구와 인센티브 구상도 함께 멈췄다.

HN은 이번 글을 벤치마크 보고서보다 사실상의 부고장처럼 읽었다. 누가 몇 점을 찍었는지보다, 오염된 문제와 틀어진 테스트가 코딩 리더보드를 얼마나 빨리 무력화하는지가 더 큰 이야기였다.