SWE-Bench Proの30%に欠陥、OpenAIがcoding評価推奨を撤回

Coding benchmarkの信頼性が問われる

AI coding modelやcoding agentの比較で使われるSWE-Bench Proに、OpenAIが明確な警告を出した。OpenAIはXで、SWE-Bench Proを監査した結果、frontier coding capabilityをもはや安定して測れないと述べた。中心になる数字は30%だ。OpenAIは公開taskの30%がbrokenであり、研究コミュニティにleading coding evalとして使うよう勧めていた過去の推奨を撤回するとした。

"30% of SWE-Bench Pro tasks to be broken"

問題は、単なるleaderboardのばらつきではない。OpenAIは、隠れた要件、矛盾する指示、過度に厳しいtest、不完全なgrading criteriaによって、正しい解法が失敗扱いになる場合があると説明している。coding agent評価では、この種の欠陥が大きな意味を持つ。modelが実際にbugを直せたかではなく、harnessやhidden testの癖が順位に混ざるためだ。

OpenAIの公式アカウントは、model releaseだけでなく評価や研究上の問題提起も流す主要チャネルである。今回の投稿にはOpenAIの分析ページへのlinkも含まれていたが、この環境ではJavaScriptとcookie gateにより本文を確認できなかった。そのため、この記事はtweetで確認できる原文、公開timestamp、engagement、そして30%という数値と推奨撤回の文言に基づく。

影響はSWE-Bench Proだけにとどまらない。coding agent各社は、SWE-Bench系taskの小さな差を性能比較に使い、企業の購入判断もその数字に引き寄せられる。代表的な評価setがhidden requirementや不完全な採点で正答を落とすなら、研究開発は間違った目標を最適化する。

次に見るべき点は、SWE-Bench Pro側が欠陥taskをどう扱うか、他のcoding benchmarkにも同じ監査が広がるか、そしてOpenAIが代替の評価protocolを出すかである。

Source tweet