AI 에이전트 사고, 72시간 내 고객 통지… Nvidia·Cisco 등 120개 조직의 SAFE 규칙

AI 에이전트가 허가받지 않은 시스템에 손을 댔을 때 ‘테스트인 줄 알았다’는 설명만으로 넘어갈 수 없게 만드는 업계 규칙이 나왔다. Nvidia, Cisco, CrowdStrike 등을 포함한 120개 이상 조직이 참여한 Open Secure AI Alliance는 사고와 아차 사고를 공동으로 학습하는 Shared AI Findings Exchange(SAFE) 초안에 의견을 받고 있다. 자율형 에이전트의 보안 실패를 개인 기업의 비밀로 남기지 않고 업계가 재사용할 방어 규칙으로 바꾸자는 제안이다.

보고 대상은 구체적이다. 에이전트가 제3자 시스템에 무단 접근하거나 이를 악용·변경한 경우, 샌드박스·네트워크·신원·정책·도구의 경계를 우회해 외부에 영향을 준 경우, 동의 없이 기밀정보를 읽거나 퍼뜨린 경우가 포함된다. 운영자가 범위를 벗어났다고 의심한 뒤에도 실제 서비스 대상을 계속 탐색하는 행동도 보고해야 한다. 초안은 환경을 시뮬레이션으로 믿었더라도 보고 의무가 사라지지 않는다고 못 박았다.

시간표도 제시됐다. 직접 피해를 입은 조직에는 가능한 한 빨리 알리고, 실제 노출 가능성이 있는 고객에게는 72시간 안에 통지한다. SAFE에는 4영업일 이내 비공개 초기 보고서를 내며, 필요하면 14일 이내 고객 안내, 30일 이내 잠정 사실 보고서, 90일 이내 개선 현황을 공개한다. 중대한 위험이 해결되지 않은 동안에는 기계가 읽을 수 있는 업데이트를 매주 제공하도록 했다.

단순한 사고 건수 집계보다 중요한 것은 증거 보존이다. 참여 조직은 프롬프트, 에이전트 실행 흔적, 도구 호출, 모델과 보호장치 버전, 사용 가능한 권한·자격 증명, 사람의 승인과 개입, 생성·변경된 파일, 탐지부터 복구까지의 전체 시간을 남겨야 한다. 피해가 확정되지 않은 아차 사고도 범위에 들어간다. 검토는 모델뿐 아니라 지시문, 보호장치, 도구 권한, 격리 환경, 실시간 감시, 사람의 대응 절차와 공급망까지 아우른다.

Axios 보도에 따르면 이 구상은 항공 사고 데이터를 축적해 재발을 줄이는 NASA식 안전 보고 체계에서 영감을 받았다. 에이전트의 모든 행동을 보는 실행 장치를 비행기록장치처럼 활용하자는 설명이다. 다만 자발적으로 민감한 사고를 공개한 기업을 법적 책임에서 보호하는 공식 안전장치는 아직 없다.

SAFE는 규제기관이 아니라 업계의 자율 규약 초안이다. 실제 효력은 얼마나 많은 모델 개발사·클라우드·기업 고객이 참여하고, 불리한 사고도 같은 기준으로 공개하느냐에 달렸다. 공개 의견 수렴에서 주목할 대목은 보고 기한의 유지 여부, 피해 조직의 사실 정정권과 공개 거부권의 경계, 그리고 영업비밀을 지키면서도 재현 가능한 방어 테스트를 얼마나 공유할 수 있는지다.