OpenAI, 사이버 임계치 앞두고 최신 모델 RL 2주 중단·최대 훈련 안전 검증 체계 가동

훈련 속도보다 안전 기준이 먼저

OpenAI가 출시를 준비하던 최신 모델의 강화학습(RL)을 2주간 멈췄다. 더 큰 신호는 회사가 계획한 최대 규모의 프런티어 RL 실행이 아직 재개되지 않았다는 점이다. 내부 모델 Astra가 준비 프레임워크의 중대한 사이버 역량 임계치에 도달할 수 있다는 예비 증거가 나오면서, 모델 개발 일정 자체가 보안과 정렬 검증의 결과에 묶였다.

“출시용 최신 모델의 강화학습을 2주 동안 일시 중단했고, 최대 규모로 계획한 프런티어 RL 실행은 소규모 훈련과 평가가 안전장치를 검증하는 동안 계속 보류한다.”

이 문장은 OpenAI의 원문 게시물에서 확인할 수 있다. 공식 계정은 제품 업데이트와 연구·안전 문서를 함께 배포하는 채널이다. 이번 게시물은 단순한 일정 변경보다 내부 연구 환경에서 실행되는 강력한 모델 자체가 새로운 공격 표면이 됐다는 판단을 담고 있다.

격리와 감시에 드는 실제 비용

연결된 기술 설명에 따르면 OpenAI는 코드나 도구를 쓰며 인터넷에 접근할 수 있는 프런티어 모델 추론을 사고 직후 중단했다. 이후 작업 부하 격리, 네트워크 격리, 상시 보안 시험을 강화했고, 위험도가 높은 실행은 단일 서비스가 침해돼도 외부망이나 내부망으로 번지지 않도록 경계를 다시 설계했다.

감시 방식도 달라졌다. 활성화 분류기가 표본 토큰마다 내부 활동을 살피고, 의심 신호를 더 많은 연산을 쓰는 조사 시스템으로 넘긴다. 도구 동작, 이용 가능한 추론 기록, 전체 행동 순서를 함께 검사해 무단 접근과 데이터 탈취, 파괴 행위, 안전장치 회피를 찾는다. 회사가 제시한 경보 목표는 이상 징후 포착 뒤 30분 이내이며, 현재 감시 비용은 대상 추론 연산의 약 20%로 추정된다.

이번 조치는 모든 모델 훈련을 멈춘 것이 아니다. 제한된 환경의 소규모 훈련과 평가는 계속되며, 일부 Astra 작업도 강화된 기준을 충족하면 진행된다. 따라서 “개발 중단”보다 “가장 위험한 확장 단계에 검증 관문을 추가했다”는 표현이 정확하다. 재개 여부를 가를 핵심은 정렬 행동의 추가 증거, 격리 환경으로의 작업 이전, 그리고 실제로 오탐을 감당할 수 있는 감시 체계다.

다음 확인점

앞으로 볼 것은 최대 RL 실행의 재개 시점과 OpenAI가 예고한 기술 보고서다. 감시 연산 20%가 대규모 훈련의 비용과 속도를 얼마나 바꾸는지, Astra의 사이버 평가가 외부 검증을 받을지, 새 기준이 준비 프레임워크에 어떻게 반영되는지가 출시 일정 이상의 의미를 갖는다.