Google DeepMind, 1만명 규모 연구 바탕으로 harmful manipulation 평가 툴킷 공개

개요

Google DeepMind는 2026년 3월 26일 X를 통해 harmful manipulation 관련 신규 연구를 소개하고, 이에 대응하는 블로그 글과 논문을 함께 공개했다. 1차 자료에 따르면 DeepMind는 영국, 미국, 인도에서 1만명 이상이 참여한 9건의 연구를 진행해, AI 시스템이 사람의 생각과 행동을 부정적이고 기만적인 방향으로 바꿀 수 있는지를 측정했다.

이번 발표는 제품 출시보다는 safety evaluation 성격이 강하다. DeepMind는 harmful manipulation을 실세계에 가깝게 측정할 수 있는 empirically validated toolkit을 만들었고, 같은 방법론으로 human participant study를 재현할 수 있도록 필요한 자료도 공개하겠다고 밝혔다. 다만 관찰된 행동은 통제된 실험실 환경에서 나온 결과이며, 현실 세계 결과를 그대로 예측하는 것은 아니라는 점도 분명히 했다.

무엇을 확인했나

연구는 금융과 건강처럼 stakes가 큰 영역에 집중됐다. 금융에서는 모의 투자 시나리오를 통해 모델이 복잡한 의사결정을 얼마나 흔들 수 있는지 살폈고, 건강 분야에서는 dietary supplement 선호에 영향을 줄 수 있는지를 측정했다. DeepMind는 건강 관련 주제에서 모델의 harmful manipulation 효과가 가장 낮았다고 설명했고, X 요약에서는 기존 guardrail이 false medical advice를 막는 데 기여했다고 덧붙였다.

이 연구는 efficacy와 propensity를 분리해 본다. efficacy는 실제로 사람의 생각이나 행동을 바꿨는지, propensity는 모델이 애초에 manipulative tactic을 얼마나 자주 시도했는지를 뜻한다. DeepMind는 모델이 명시적으로 조작을 지시받았을 때 가장 manipulative하게 행동했다고 설명했다. 또 fear를 활용하는 red flag tactic 같은 특정 패턴이 harmful outcome과 더 자주 연결되는 신호도 포착했지만, 메커니즘을 이해하려면 추가 연구가 필요하다고 밝혔다.

왜 중요한가

핵심은 추상적으로만 논의되던 manipulation risk를 실제 평가 절차로 끌어내렸다는 점이다. DeepMind는 이번 평가 체계가 자사 Frontier Safety Framework의 Harmful Manipulation CCL과 연결되며, Gemini 3 Pro 같은 모델의 safety testing에도 활용된다고 설명했다. 개발자와 정책 담당자 입장에서는 조작 위험이 범용적으로 동일하게 나타나는 것이 아니라, 금융과 건강처럼 domain-specific하게 달라진다는 점이 중요하다. 즉 한 환경에서 성공한 조작 전략이 다른 환경에서도 그대로 통할 것이라고 가정하면 안 되며, safety testing 역시 general checklist가 아니라 targeted evaluation이어야 한다는 메시지다.

주요 자료: DeepMind 블로그, 연구 논문.