OpenAI, ChatGPT 폭력 징후 감지 강화… 즉시 차단 기준 전면화

OpenAI가 4월 28일 공개한 safety 글의 핵심은 한 줄이다. ChatGPT 제재는 이제 개별 프롬프트 한 번이 아니라, 길게 이어진 대화 전체에서 드러나는 폭력 징후까지 본다.

이번 업데이트에서 눈에 띄는 대목은 집행 구조다. OpenAI는 분류기, 추론 모델, 해시 매칭, 차단 목록, 행동 모니터링을 함께 써서 위험 신호를 잡고, 플래그된 계정은 훈련된 인력이 맥락을 확인한다고 설명했다. 즉석 거절만 늘린 것이 아니다. 같은 사용자가 대화를 쌓아가며 우회 경로를 찾는 패턴까지 계정 단위로 본다는 뜻이다.

제재 강도도 더 선명해졌다. OpenAI는 차단 사유가 성립했다고 판단하면 서비스를 즉시 회수하는 것을 목표로 한다고 적었다. 필요하면 같은 사용자의 다른 계정도 막고 새 계정 개설도 탐지한다. 타인에게 임박하고 신뢰할 수 있는 위해 위험이 보이면 법집행기관에 통지한다고도 밝혔다. 메시지는 분명하다. 폭력 실행 계획을 단계적으로 끌어내려는 시도는 몇 차례의 거절로 끝나지 않을 수 있다.

이 글이 중요한 이유는 최근 frontier AI 논쟁의 무게중심이 모델 성능 경쟁에서 운영 통제로 옮겨가고 있기 때문이다. OpenAI는 정상적인 맥락의 질문, 예컨대 뉴스 이해·교육·예방 목적 대화는 허용하되 실행 가능한 폭력 지침은 막겠다고 말한다. 실제 난제는 경계선을 어디에 긋느냐보다, 긴 대화 속 신호를 언제 계정 제재로 연결하느냐에 있다. 이번 글은 그 판단을 더 공격적으로 하겠다는 선언에 가깝다.

물론 남는 질문도 있다. OpenAI는 검토 인력이 보안 통제와 기밀 유지 규정 아래 제한적으로 접근하며, 사용자는 제재에 이의제기를 할 수 있다고 설명했다. 그래도 교차 대화 감지가 강화되면 모호한 사례에서 플랫폼 재량도 커진다. 엔터프라이즈 고객과 연구자 입장에서는 이 변화가 모델 성능 못지않게 중요하다. 정책 문구보다 실제 집행 권한이 넓어졌기 때문이다. 원문은 여기에서 확인할 수 있다.