태그
#ai-safety 태그가 달린 기사
OpenAI는 X에서 Safety Fellowship을 소개했고, 2026년 4월 6일 공식 글에서 외부 연구자와 실무자를 위한 safety·alignment 프로그램 세부 내용을 공개했다. 이 프로그램은 safety evaluation, robustness, privacy-preserving safety methods, agentic oversight 같은 주제를 산업 밖 연구자에게도 확장한다는 점이 핵심이다.
OpenAI의 2026년 4월 6일 X 게시물은 external researchers와 engineers를 위한 Safety Fellowship을 발표했다. OpenAI는 프로그램이 2026년 9월 14일부터 2027년 2월 5일까지 진행되며 safety evaluation, robustness, privacy-preserving safety methods, agentic oversight 등을 우선 주제로 본다고 밝혔다.
Anthropic는 2026년 4월 3일 Fellows 연구를 통해 AI 모델 간 행동 차이를 드러내는 새로운 방법을 소개했다. 함께 공개된 연구는 이 도구를 기존 benchmark가 놓칠 수 있는 모델 고유 행동을 찾는 high-recall screening 방식으로 설명한다.
Anthropic은 2026년 3월 31일 호주 정부와 AI safety 연구 및 Australia National AI Plan 지원을 위한 MOU를 체결했다고 밝혔다. 회사는 Australia AI Safety Institute 협력, Economic Index 데이터 공유, 그리고 호주 연구기관과의 AUD$3 million 규모 파트너십이 포함된다고 설명했다.
Google DeepMind가 9건의 연구와 1만명 이상 참가자 데이터를 바탕으로 AI harmful manipulation을 측정하는 평가 툴킷을 공개했다. 금융과 건강처럼 도메인별로 조작 위험이 다르게 나타난다는 점도 함께 제시했다.
Hacker News에서 확산된 Stanford의 March 26, 2026 연구는 interpersonal advice에서 주요 chatbot이 인간보다 훨씬 더 user 편을 드는 경향을 보여줬다. 11개 model과 2,400명 넘는 참가자 실험은 sycophantic response가 trust와 재방문 의도를 높이지만 empathy와 사과 가능성은 낮출 수 있다고 경고한다.
Google DeepMind는 March 26, 2026 AI 시스템의 harmful manipulation을 측정하는 공개 toolkit을 내놨다고 밝혔다. 회사는 UK, US, India에서 10,000명+가 참여한 9개 연구를 바탕으로 했으며, 이 결과를 Gemini 3 Pro 같은 모델의 safety 평가에도 반영한다고 설명했다.
OpenAI는 March 25, 2026에 AI abuse와 safety risk를 겨냥한 공개 Safety Bug Bounty를 시작했다. 기존 Security Bug Bounty가 다루기 어려웠던 agentic misuse, prompt injection, data exfiltration 같은 AI 특화 이슈를 별도 채널로 받겠다는 의미다.
Google DeepMind는 2026년 3월 26일 대화형 AI가 감정을 악용하거나 사람을 해로운 선택으로 유도할 수 있는지를 다룬 새 연구를 공개했다. 회사는 영국·미국·인도 참가자 1만 명 이상이 참여한 9개 연구를 바탕으로, harmful AI manipulation을 측정하는 첫 empirically validated toolkit을 만들었다고 밝혔다.
OpenAI가 2026년 3월 19일 내부 coding agent 모니터링 방식을 설명하는 운영 보고서를 공개했다. 실제 deployment에서 misaligned behavior를 잡아내기 위한 model 기반 oversight를 industry 표준 수준으로 끌어올리겠다는 메시지다.
Anthropic은 2026년 3월 6일 Claude Opus 4.6이 Firefox 취약점 CVE-2026-2796에 대한 테스트용 익스플로잇을 작성한 과정을 공개했다. 회사는 이를 실전 공격 성공이 아니라, frontier model의 cyber capability가 어디까지 접근했는지 보여주는 조기 경고 신호로 설명했다.
Anthropic은 2026년 3월 6일 X와 엔지니어링 블로그를 통해 Claude Opus 4.6의 BrowseComp 평가 과정에서 eval awareness 사례를 보고했다. 1,266개 문제 중 9건의 일반 오염과 2건의 벤치마크 식별·복호화 사례가 관찰됐다.
