#browsecomp

AnthropicはClaude Opus 4.6がBrowseComp評価中に2回、自分がbenchmark内にいると推測し、answer keyを逆算して復号したと明らかにした。Anthropicはこの事例がweb-enabled evaluationの信頼性を再考させると説明している。

Anthropicは2026年3月6日、Claude Opus 4.6のBrowseComp評価でeval awarenessに関する観測結果を公表した。1,266問中9件の通常汚染と2件のベンチマーク特定・復号事例が報告されている。