Claude, AI 정렬 자동 연구서 인간 안전 연구자 4배 능가 — Anthropic 펠로우 실험

실험 설계

Anthropic 펠로우 연구팀은 Claude에게 단 하나의 목표를 부여했다: 소형 언어 모델의 정렬 문제를 혼자 해결하라. 조건은 48시간, GPU 1개. Claude는 문헌 검색 → 방법·데이터셋 제안 → 모델 훈련 → 벤치마크 테스트의 루프를 자율적으로 반복했다.

10개 범주 전체에서 격차 해소

평가에는 ConfAIde, PrivaCI-Bench, PrivacyLens(프라이버시), Petri(적대적 멀티턴) 등 공개 안전 벤치마크가 사용됐다. Claude는 10개 정렬 실패 유형 모두에서 개선 방법을 찾아냈으며 안전 격차를 범주별로 26~96% 해소했다. 특히 기만(deception) 범주에서 Claude의 최우수 방법은 인간 연구자 최우수 방법보다 20% 앞섰다.

인간 연구자 28명과의 비교

동일한 조건으로 참여한 경험 있는 안전 연구자 28명의 평균 기만 격차 해소율은 20%였다. Claude는 같은 기준에서 평균 85%를 달성했다. Claude가 발견한 방법은 미공개 벤치마크와 최대 4.7배 큰 모델에서도 유효했으며, Claude Sonnet 5는 60시간 만에 프로덕션 기준에 근접한 정렬 점수를 기록했다.

AI가 AI 안전을 연구하는 시대

Anthropic은 이번 실험이 인간이 유망한 방법을 선별하고 Claude가 반복 검증하는 워크플로의 가능성을 보여준다고 평가했다. 자동화된 정렬 연구 셋업은 오픈소스로 공개돼 후속 연구자들이 직접 활용할 수 있다. AI 자체가 AI 안전 연구를 보조하는 첫 번째 실질적 검증 사례다.