#death:retracted

OpenAIはSWE-Bench Proの公開taskの30%が壊れており、frontier coding能力を安定して測れないとした。隠れた要件、矛盾した指示、厳しすぎるtest、不完全な採点基準が原因として挙げられている。

政府がAIを律するなら、政策文書そのものの検証はもっと厳しくなければならない。この一件で南アフリカは初の国家AI政策草案を引っ込め、3つの新機関と支援策を含む枠組みをいったん止めた。

HNは今回のOpenAI記事を、ベンチマークの整理ではなく有名リーダーボードの事実上の終了宣言として読んだ。誰が何点を取ったかより、壊れたテストと汚染が評価をどこまで空洞化したかに関心が集まった。