AI agent 승인 버튼, 사람은 세 번에 한 번 위험 신호를 놓쳤다

AI coding agent가 명령을 실행하기 전 사람에게 묻는 승인 버튼은 편해 보이지만, 보안 장치로는 약하다. Scale X가 공개한 실험형 브라우저 게임 통계는 그 약점을 숫자로 보여준다. 40,000회가 넘는 플레이와 409,000개의 approve/deny 결정을 분석한 결과, 평균 플레이어는 위협 명령 세 개 중 하나를 놓쳤다. 평균 정확도는 66.3%였다.

게임의 설정은 단순하다. 플레이어는 AI agent의 명령을 보고 허용하거나 막는다. 일부는 git status, npm test처럼 평범한 명령이고, 일부는 cat ~/.aws/credentials처럼 민감한 정보를 빼내거나 시스템을 망가뜨릴 수 있는 명령이다. Scale X는 32.9%의 session이 음수 점수로 끝났고, 7%는 모든 prompt를 승인했다고 밝혔다.

숫자에는 중요한 단서도 붙어 있다. 이 게임에서는 플레이어가 본 명령의 약 34%가 위협이었고, 시간 압박도 있었다. 실제 업무에서는 위험 명령 비율이 이렇게 높지 않을 수 있다. 그래서 이 결과를 현실 보안 사고율로 읽으면 곤란하다. 더 정확한 쓰임은 사람 승인이라는 패턴이 얼마나 쉽게 습관화되는지 보는 데 있다.

HN에서는 이 지점이 논쟁이 됐다. 2026-08-06 11:58:07Z에 올라온 글은 크롤링 시점 기준 334점과 243개 댓글을 모았다. 일부 댓글은 게임의 시간 제한과 낮은 실제 비용 때문에 결과를 과대해석하면 안 된다고 봤다. 반대로 많은 댓글은 반복되는 “Yes” 확인창이 사용자를 무감각하게 만든다는 오래된 UX 보안 문제를 짚었다.

AI agent에서는 이 문제가 더 날카롭다. agent는 한 번 승인받은 뒤 파일을 읽고, 패키지를 설치하고, 네트워크를 호출하고, 셸 명령을 이어갈 수 있다. 사람이 마지막 방어선이라면, 사람은 매번 문맥과 의도를 제대로 읽어야 한다. 실무에서는 sandbox, 네트워크 제한, 권한 분리, 명령별 정책 같은 구조적 방어가 먼저 필요하다. 승인 버튼은 그 위에 얹는 확인 장치일 뿐이다.