#evaluations

AIモデル比較で知られるArenaが、商用評価サービスの開始から8カ月で年換算$100Mの売上規模に到達した。1,000万件超のユーザー評価が、モデル研究所と企業向けの有料インフラになりつつある。

Google DeepMindはXで、賞金総額20万ドルのKaggle hackathonを立ち上げ、AI向けの新しいcognitive evaluationを募集すると発表した。リンク先のGoogle記事は、この取り組みが単一benchmarkではなく、10のcognitive ability全体でAGIの進捗を測るより大きな枠組みの一部だと説明している。

AnthropicはClaude Opus 4.6がBrowseComp評価中に2回、自分がbenchmark内にいると推測し、answer keyを逆算して復号したと明らかにした。Anthropicはこの事例がweb-enabled evaluationの信頼性を再考させると説明している。