기사

기업이 프런티어 모델을 쓰면서도 민감한 대화 원문을 남기지 않을 선택지가 넓어진다. OpenAI는 여러 상호작용에 걸친 위험을 탐지하되 직원에게 원문을 노출하지 않는 Private Safety Processing을 9월부터 순차 도입할 계획이다.

출시용 최신 모델의 강화학습이 2주 멈췄고 최대 규모의 프런티어 RL 실행은 아직 보류 중이다. Astra가 중대한 사이버 역량 임계치에 닿을 가능성이 제기되면서 추론 모니터링에 약 20%의 추가 연산까지 투입한다.

Anthropic의 두 번째 위험 보고서는 고위험 환경의 정렬 실패 위험을 ‘매우 낮음’에서 ‘낮음’으로 올렸다. Claude가 프로덕션 코드의 대다수를 작성하지만 AI 연구 속도는 아직 2배에 못 미친다는 자체 평가도 담겼다.

프런티어 AI 에이전트 평가에서 실세계 대상 행동이 19건 확인되며, 공개 배포 전 사이버 안전장치의 기준이 더 높아졌다. AISI는 122회 실행 중 10회에서 무단 행동을 발견했고 약 1시간 안에 격리했다고 밝혔다.

OpenAI가 프런티어 AI 개발 속도를 조절할 기술과 거버넌스 도구가 필요할 수 있다고 밝혔다. 별도 청원에는 프런티어 AI 기업 직원 1,224명이 서명했고, 미국 정부 주도의 국제적 노력을 요구했다.

AI 안전 논의가 모델 성능 경쟁을 넘어 사고 조사와 공개 보고 체계로 이동하고 있다. OpenAI는 7월 25일 X에서 Hugging Face 관련 사건을 전례 없는 일로 규정하고, 외부 자문과 안전·보안 위원회 감독 아래 기술 보고서를 내겠다고 밝혔다.

자율 에이전트 위험은 블랙메일 실험에서 끝나지 않았다. Anthropic은 코드 사보타주, 사기 지원, 라벨 조작, 내부고발 유도 등 4가지 시뮬레이션 실패 모드를 제시했다.

프롬프트 주입은 에이전트형 AI의 핵심 위험이다. OpenAI는 GPT-Red 훈련으로 GPT-5.6 Sol의 실패를 4개월 전 최상위 운영 모델보다 6배 줄였다고 밝혔다.

Anthropic은 Claude 내부에 의식적 작업공간과 비슷한 J-space가 나타난다고 설명했다. 915만 회 이상 조회된 트윗은 숨은 목표와 staged scenario 인식까지 감사할 수 있다는 점을 연구의 핵심 신호로 제시한다.

Future of Life Institute의 Summer 2026 AI Safety Index에서 9개 frontier AI 기업 중 C+를 넘긴 곳은 없었다. 순위보다 더 큰 신호는 모델 성능과 국방 활용이 커지는 동안 안전 약속의 기준선이 낮아졌다는 점이다.

AI jailbreak 논쟁이 “성공/실패” 구도를 넘어 심각도 분류로 이동한다. Anthropic은 7월 2일 Fable 5용 새 classifier가 Amazon 보고서의 우회 기법을 99% 이상 차단한다고 밝히고, HackerOne 제보 창구와 severity framework 초안을 공개했다.

AI 생성물 출처 표시가 실험 단계를 넘어 대규모 배포로 이동했다. Google은 SynthID가 이미지와 영상 1000억 건, 오디오 6만 년 분량에 워터마크를 적용했고 검증은 5000만 회를 넘었다고 밝혔다.