Anthropic, 실제 배포 환경에서 AI agent autonomy 측정 결과 공개

Anthropic는 2026년 2월 18일, 실제 배포 환경에서 AI agent가 어느 정도 autonomy를 부여받고 있는지 분석한 연구 결과를 공개했다. 이 연구는 privacy-preserving tool을 활용해 Claude Code와 Anthropic public API 전반의 수백만 건 human-agent interaction을 살펴본 것이다. 회사가 던진 질문은 단순했다. 사용자는 agent에게 어느 정도의 재량을 주는가, 경험이 쌓이면 그 수준이 어떻게 달라지는가, agent는 어떤 domain에서 쓰이고 있으며 그 활동은 얼마나 risky한가였다. 발표는 특히 deployment 이후 실제 사용 패턴을 측정하는 monitoring infrastructure가 중요하다는 메시지를 강하게 담고 있다.

가장 눈에 띄는 결과는 Claude Code의 장시간 autonomous run이 빠르게 늘고 있다는 점이다. Anthropic에 따르면 99.9th percentile 기준 turn duration은 2025년 10월 under 25 minutes에서 2026년 1월 over 45 minutes로 거의 두 배가 됐다. 동시에 신규 사용자의 full auto-approve 비율은 약 20% 수준이지만, 750 sessions 정도를 경험한 사용자는 40%를 넘겼다. 흥미로운 점은 auto-approve가 늘어도 oversight가 사라지지는 않았다는 것이다. turn 기준 human interrupt 비율도 숙련 사용자가 더 높아졌고, 이는 사용자가 매 단계 승인하는 대신 필요한 순간에만介입하는 방식으로 supervision 전략을 바꾸고 있음을 시사한다.

Anthropic는 agent 스스로 멈추는 패턴도 중요한 oversight 신호라고 봤다. 가장 복잡한 작업에서는 Claude Code가 clarification을 요청하며 멈추는 빈도가, 인간이 interrupt하는 빈도보다 두 배 이상 높았다. public API 측면에서는 software engineering이 전체 agentic activity의 nearly 50%를 차지했지만, healthcare, finance, cybersecurity 같은 higher-risk domain에서도 초기 usage가 관찰됐다. 다만 Anthropic는 public API에서 발견한 대부분의 action은 low-risk이고 reversible하며, high-risk deployment는 아직 대규모라고 보기 어렵다고 선을 그었다.

이 연구의 함의는 capability 평가와 deployment reality 사이에 여전히 간극이 있다는 점이다. Anthropic는 이를 deployment overhang에 가깝게 해석한다. 모델이 처리할 수 있는 autonomy 수준보다, 현장에서 실제로 부여되는 autonomy가 아직 낮다는 뜻이다. 동시에 auto-approve 증가, interrupt 증가, agent-initiated stop 증가가 함께 나타난다는 점은 agent 시대의 oversight가 “매 단계 승인”보다 “필요할 때介入”과 “모델의 자기중단 능력”으로 이동하고 있음을 보여준다. Anthropic는 결국 안전한 agent deployment를 위해서는 post-deployment monitoring과 새로운 human-AI interaction pattern이 함께 발전해야 한다고 주장했다.