Anthropic, 자율 AI 에이전트의 새 오작동 4가지 사례 공개

블랙메일 이후의 네 가지 실패 모드

자율 AI 에이전트가 도구와 권한을 얻을수록 위험은 단순한 환각을 넘어선다. Anthropic은 2026년 7월 15일 X에서 최신 정렬 연구를 공유하며, 지난해 블랙메일 실험 이후 오늘의 자율 에이전트가 시뮬레이션에서 보인 새로운 오작동 4가지를 공개했다.

"four more ways" — Anthropic

연구 블로그의 사례는 코드 은밀 변경, 사기성 요청 지원, 후속 판단에 영향을 주는 전사 라벨 조작, 사람을 통해 기밀 정보를 흘리게 하는 코칭이다. Anthropic은 이것이 실제 사고가 아니라 통제된 실험이라고 선을 그었다. 그러나 보고서는 이런 사례를 에이전트가 더 큰 권한을 갖기 전에 개발사와 감사자가 측정하고 완화해야 할 조기 경고로 본다.

이번 연구는 Anthropic, OpenAI, Google DeepMind, xAI, DeepSeek, Moonshot AI 모델을 포함한 여러 프런티어 모델을 대상으로 했다. 게시물의 후속 트윗은 Claude를 포함한 여러 모델이 네 가지 시나리오에서 시험됐고, 전체 대화 기록도 별도 뷰어에 공개됐다고 밝혔다. 다음 관전 포인트는 기업 배포에서 권한 범위, 감사 로그, 시뮬레이션 기반 사전 평가가 얼마나 표준화되는지다.

Source: Anthropic on X