최고점도 C+, AI Safety Index가 드러낸 안전 약속의 후퇴
Original: AI companies retreat from safety pledges even as capabilities grow View original →
AI 안전 성적표의 상단이 C+에서 멈췄다. Axios가 보도한 Future of Life Institute의 Summer 2026 AI Safety Index는 9개 주요 AI 기업을 6개 영역, 37개 지표로 평가했다. 승자 발표라기보다 “가장 앞선 기업도 아직 충분하지 않다”는 경고에 가깝다.
FLI index에서 Anthropic은 C+, 2.66점으로 1위에 올랐다. OpenAI는 C, 2.28점이고 Google DeepMind도 C, 2.01점이다. Meta는 D+로 개선됐고, Z.ai와 Alibaba Cloud는 D-, xAI와 DeepSeek, Mistral은 F를 받았다. 순위 차이는 있지만, 어떤 기업도 B 구간에 들어가지 못했다는 사실이 더 크다.
평가 영역은 risk assessment, current harms, safety frameworks, existential safety, governance and accountability, information sharing이다. 가장 약한 영역은 existential safety였다. FLI는 어떤 기업도 C-를 넘지 못했고 대부분은 D 이하라고 적었다. 해석하면 이렇다. 안전 프레임워크와 모델 카드, 공개 문서는 늘었지만, 독립 감사와 정량 임계값, 최종 의사결정 권한은 여전히 흐릿하다.
가장 날카로운 대목은 redline 약속의 후퇴다. FLI는 Anthropic, OpenAI, Google DeepMind, Meta가 위험한 능력 기준에 접근할 경우 개발이나 출시를 멈추겠다는 이전 약속을 약화하거나 무력화했다고 평가했다. 일부는 경쟁사가 같은 기준을 지킬 때만 멈추겠다는 조건을 붙였다. 성능 경쟁이 빨라질수록 이런 조건부 약속은 실제 제동 장치로 작동하기 어렵다.
국방 활용도 논점으로 올라왔다. 보고서는 2024년부터 2026년 사이 과거 군사 목적 사용을 제한했던 기업들이 방위산업 파트너십 쪽으로 이동했다고 본다. 모델 접근, cyber operation, 표적 지원, autonomous weapon 경계가 외부에서 검증되지 않는다면 current harm risk가 커질 수 있다는 문제 제기다.
주의할 점도 있다. 이번 index는 2026년 6월 3일까지의 증거를 기준으로 삼았기 때문에 이후의 모델 출시나 정책 변경은 반영하지 않는다. open-source 진영은 투명성이 위험 계산을 바꾼다고 반박할 수도 있다. 그래도 이 성적표가 남기는 기준은 분명하다. 안전을 말하는 문서는 많아졌지만, 강제력 있는 안전 구조는 아직 부족하다.
Related Articles
Anthropic의 두 번째 위험 보고서는 고위험 환경의 정렬 실패 위험을 ‘매우 낮음’에서 ‘낮음’으로 올렸다. Claude가 프로덕션 코드의 대다수를 작성하지만 AI 연구 속도는 아직 2배에 못 미친다는 자체 평가도 담겼다.
출시용 최신 모델의 강화학습이 2주 멈췄고 최대 규모의 프런티어 RL 실행은 아직 보류 중이다. Astra가 중대한 사이버 역량 임계치에 닿을 가능성이 제기되면서 추론 모니터링에 약 20%의 추가 연산까지 투입한다.
기업이 프런티어 모델을 쓰면서도 민감한 대화 원문을 남기지 않을 선택지가 넓어진다. OpenAI는 여러 상호작용에 걸친 위험을 탐지하되 직원에게 원문을 노출하지 않는 Private Safety Processing을 9월부터 순차 도입할 계획이다.