委任ワークフローでLLMが文書の25%を損傷——研究が警告
Original: LLMs Corrupt Your Documents When You Delegate View original →
概要
Microsoftリサーチが発表した論文「LLMs Corrupt Your Documents When You Delegate」は、AIアシスタントへの長期的な作業委任というパラダイムの根本的な欠陥を明らかにしている。ユーザーが複雑な文書編集タスクをLLMに委任すると、モデルは無声のままエラーを導入し、時間の経過とともに累積していく。
DELEGATE-52ベンチマーク
研究チームは、コーディング、結晶学、楽譜表記など52の専門分野にわたる長期委任ワークフローをシミュレートするDELEGATE-52を作成した。19のLLMをテストした結果、最先端モデル(Gemini 3.1 Pro、Claude 4.6 Opus、GPT 5.4)でさえ、長いワークフロー終了時に文書内容の平均25%を損傷させることがわかった。エージェント型ツール使用もDELEGATE-52の性能を改善しない。
なぜ危険か
問題は沈黙にある。LLMはエラーを示さず、長いセッションにわたって深刻なエラーを蓄積する。AIが専門的な複雑タスクを自律的に処理するエージェント型パラダイムが進む中、この研究は現在のLLMが信頼できる委任者になる準備ができていないことを示している。
Related Articles
Snyk VulnBench JS 1.0は、同じJavaScript脆弱性レビューを300回繰り返し、LLMの検出結果がどれだけ再現するかを測った。最良のLLM設定はSnyk-reference F1 75.4%で、unmatched findingの49.7%は5回中1回だけ出現した。
注目点はスコア表だけではない。HNでは「シニアエンジニア」をbenchmarkでどう扱えるのかに議論が集まった。
HNで注目されたのはリストの有名さだけでなく、初学者が実際に論文を読み進めるための設計だった。