AI agentの承認ボタン、人は3回に1回危険な命令を見逃す

AI coding agentがコマンドを実行する前に、人間へ承認を求めるUIは一見すると安全に見える。Scale Xが公開したブラウザゲームの統計は、その限界をかなり具体的に示した。40,000回を超えるプレイと409,000件のapprove/deny判断を分析したところ、平均プレイヤーは危険なコマンドを3回に1回見逃した。平均accuracyは66.3%だった。

ゲームの仕組みは単純だ。プレイヤーはAI agentのコマンドを見て、許可するか止めるかを選ぶ。git statusやnpm testのような普通の命令もあれば、cat ~/.aws/credentialsのように認証情報を読もうとする命令もある。Scale Xによると、32.9%のsessionは負のスコアで終わり、7%のプレイヤーはすべてのpromptを承認した。

ただし、この数字には大きな注意点がある。ゲーム内では表示された命令の約34%が脅威で、時間制限もあった。現実の開発環境で危険な命令がそこまで高頻度に出るとは限らない。したがって、この結果をそのまま事故率として読むのは危うい。むしろ、承認promptが繰り返されると人間がどれだけ早く慣れてしまうかを見る材料として有用だ。

Hacker Newsではこの点が議論になった。投稿は2026-08-06 11:58:07Zのもので、クロール時点で334点、243コメントを集めていた。コメントでは、時間制限つきのゲームに現実の緊張感はないという批判が出た一方で、何度も“Yes”を押させる設計そのものが古くからあるsecurity UXの失敗だという指摘も目立った。

AI agentでは、この失敗がさらに重くなる。agentは一度許可されると、fileを読み、packageを入れ、networkへ接続し、shell commandを連続して実行できる。人間を最後の防衛線にするなら、その人間は毎回文脈と意図を読み切らなければならない。実務ではsandbox、network制限、権限分離、危険なcommand classの事前ブロックが先に必要になる。承認ボタンは、その上に置く補助的な確認に近い。