최고점도 C+, AI Safety Index가 드러낸 안전 약속의 후퇴
Original: AI companies retreat from safety pledges even as capabilities grow View original →
AI 안전 성적표의 상단이 C+에서 멈췄다. Axios가 보도한 Future of Life Institute의 Summer 2026 AI Safety Index는 9개 주요 AI 기업을 6개 영역, 37개 지표로 평가했다. 승자 발표라기보다 “가장 앞선 기업도 아직 충분하지 않다”는 경고에 가깝다.
FLI index에서 Anthropic은 C+, 2.66점으로 1위에 올랐다. OpenAI는 C, 2.28점이고 Google DeepMind도 C, 2.01점이다. Meta는 D+로 개선됐고, Z.ai와 Alibaba Cloud는 D-, xAI와 DeepSeek, Mistral은 F를 받았다. 순위 차이는 있지만, 어떤 기업도 B 구간에 들어가지 못했다는 사실이 더 크다.
평가 영역은 risk assessment, current harms, safety frameworks, existential safety, governance and accountability, information sharing이다. 가장 약한 영역은 existential safety였다. FLI는 어떤 기업도 C-를 넘지 못했고 대부분은 D 이하라고 적었다. 해석하면 이렇다. 안전 프레임워크와 모델 카드, 공개 문서는 늘었지만, 독립 감사와 정량 임계값, 최종 의사결정 권한은 여전히 흐릿하다.
가장 날카로운 대목은 redline 약속의 후퇴다. FLI는 Anthropic, OpenAI, Google DeepMind, Meta가 위험한 능력 기준에 접근할 경우 개발이나 출시를 멈추겠다는 이전 약속을 약화하거나 무력화했다고 평가했다. 일부는 경쟁사가 같은 기준을 지킬 때만 멈추겠다는 조건을 붙였다. 성능 경쟁이 빨라질수록 이런 조건부 약속은 실제 제동 장치로 작동하기 어렵다.
국방 활용도 논점으로 올라왔다. 보고서는 2024년부터 2026년 사이 과거 군사 목적 사용을 제한했던 기업들이 방위산업 파트너십 쪽으로 이동했다고 본다. 모델 접근, cyber operation, 표적 지원, autonomous weapon 경계가 외부에서 검증되지 않는다면 current harm risk가 커질 수 있다는 문제 제기다.
주의할 점도 있다. 이번 index는 2026년 6월 3일까지의 증거를 기준으로 삼았기 때문에 이후의 모델 출시나 정책 변경은 반영하지 않는다. open-source 진영은 투명성이 위험 계산을 바꾼다고 반박할 수도 있다. 그래도 이 성적표가 남기는 기준은 분명하다. 안전을 말하는 문서는 많아졌지만, 강제력 있는 안전 구조는 아직 부족하다.
Related Articles
AI jailbreak 논쟁이 “성공/실패” 구도를 넘어 심각도 분류로 이동한다. Anthropic은 7월 2일 Fable 5용 새 classifier가 Amazon 보고서의 우회 기법을 99% 이상 차단한다고 밝히고, HackerOne 제보 창구와 severity framework 초안을 공개했다.
Anthropic은 Frontier Safety Roadmap을 통해 2026~2027년 안전·보안·정책 목표와 일정 기반 이행 계획을 공개했다. 문서에는 ASL-3 보호조치 유지, 정책 로드맵 제안, 내부 AI 개발 활동 가시성 강화 같은 구체 과제가 포함됐다.
Anthropic가 Responsible Scaling Policy 3.0을 공개하며 Frontier Safety and Security Framework, Risk Report 체계를 도입했다. 위험 임계치를 넘는 경우 배포를 보류하거나 중단한다는 조건부 배포 원칙을 더 명확히 제시했다.