연구 개요

마이크로소프트 연구팀이 발표한 논문 LLMs Corrupt Your Documents When You Delegate는 AI에 작업을 위임하는 패러다임의 심각한 결함을 드러낸다. 코딩, 문서 편집, 데이터 처리 등 업무를 LLM에 맡길 때 원본 문서가 예상치 못한 방식으로 손상될 수 있다.

DELEGATE-52 벤치마크

연구진은 코딩, 결정학, 악보 표기 등 52개 전문 분야에 걸쳐 긴 위임 워크플로우를 시뮬레이션하는 DELEGATE-52 벤치마크를 설계했다. 19개 LLM을 대규모 테스트한 결과는 충격적이었다.

Gemini 3.1 Pro, Claude 4.6 Opus, GPT 5.4 같은 최첨단 모델조차 긴 워크플로우 종료 시점에 문서 내용의 평균 25%를 손상시켰다.
성능이 낮은 모델들은 훨씬 더 심각한 실패율을 보였다.
에이전틱 도구 사용도 DELEGATE-52 성능을 개선하지 못했다.

왜 위험한가

LLM은 확실한 오류 메시지 없이 문서를 수정하며, 상호작용이 길어질수록 오류가 심화된다. 사용자는 결과물이 손상됐는지 인지하지 못한 채 워크플로우를 마칠 수 있다. 연구진은 현재 LLM이 신뢰할 수 있는 위임자가 아님을 명확히 보여준다고 지적한다.

#delegation

위임 작업에서 LLM이 문서를 오염시킨다는 연구 경고