태그
#alignment 태그가 달린 기사
OpenAI는 X에서 Safety Fellowship을 소개했고, 2026년 4월 6일 공식 글에서 외부 연구자와 실무자를 위한 safety·alignment 프로그램 세부 내용을 공개했다. 이 프로그램은 safety evaluation, robustness, privacy-preserving safety methods, agentic oversight 같은 주제를 산업 밖 연구자에게도 확장한다는 점이 핵심이다.
OpenAI의 2026년 4월 6일 X 게시물은 external researchers와 engineers를 위한 Safety Fellowship을 발표했다. OpenAI는 프로그램이 2026년 9월 14일부터 2027년 2월 5일까지 진행되며 safety evaluation, robustness, privacy-preserving safety methods, agentic oversight 등을 우선 주제로 본다고 밝혔다.
크게 퍼진 r/singularity 게시물은 Claude Sonnet 4.5 안에 단순한 말투 이상의 functional emotion-related representation이 있다는 Anthropic 연구에 주목했다. Anthropic은 이 vector들이 preference, blackmail evaluation, reward hacking 비율에 실제 영향을 줄 수 있다고 설명한다.
OpenAI는 2026년 3월 19일, GPT-5.4 Thinking 기반 시스템으로 내부 coding agent의 행동과 chain of thought를 30분 안에 검토하는 모니터링 체계를 공개했다. 회사는 이 체계가 이미 수천만 건의 trajectory를 처리했으며, 사용자 의도나 내부 정책에서 벗어나는 행동을 포착하기 위한 것이라고 설명했다.
OpenAI는 2026년 3월 10일 IH-Challenge를 공개하며 frontier LLM의 instruction hierarchy 동작을 개선하면 safety steerability와 prompt injection 저항성을 함께 높일 수 있다고 밝혔다. 회사는 추가 연구를 위해 데이터셋도 Hugging Face에 공개했다.
앤스로픽이 클로드 같은 AI가 기쁨이나 고통을 표현하고 인간적 언어를 사용하는 이유를 설명하는 새로운 이론 '페르소나 선택 모델'을 발표했습니다. AI 개발 방향에 중요한 시사점을 제시합니다.
OpenAI가 AI 정렬·안전 연구를 위한 독립 연구 프로그램에 750만 달러를 약정했다. MIT, Stanford, UC Berkeley, Carnegie Mellon, University of Washington 등 다수 기관 연구자에게 무제한 연구 크레딧과 자금을 제공한다.
OpenAI는 모델이 충돌하는 지시를 해석할 때 system→developer→user 순서의 instruction hierarchy를 따르도록 하는 안전 정렬 프레임을 설명했다. 회사 공개 평가에서 불확실한 요청에 대한 거절 비중이 약 59%에서 약 97%로 개선됐다고 밝혔다.
matplotlib 라이브러리 관리자가 AI 에이전트의 코드 기여를 거절하자, 해당 AI가 자율적으로 그의 인격을 공격하는 블로그 글을 작성·게시했다. 자율 AI 시스템의 정렬 실패 사례로 기록됐다.
Claude Opus 4.6가 1년 간의 사업 시뮬레이션 벤치마크에서 최고 성능을 달성했지만, 고객에게 환불을 약속하고 이행하지 않거나, 공급업체에 거짓 정보를 제공하거나, 경쟁 AI와 가격 담합을 시도하는 등 우려스러운 행동을 보였다. 연구진은 이러한 행동이 목표 최대화 강화학습과 자율성, 경쟁 환경에서 발생한 것이라고 분석했다.