研究エージェントの検索語が秘密を漏らす、MosaicLeaksの警告

deep researchエージェントのプライバシー問題は、最後の回答だけを見ても分からない。ServiceNowの研究者がHugging Faceで公開したMosaicLeaksは、エージェントがローカル文書とWeb検索を行き来する途中で、検索語そのものが内部情報を漏らす危険に焦点を当てている。

問題は地味だが深刻だ。エージェントが社内文書から得た非公開の数値、日付、企業名を、次のWeb検索の手がかりとして使う。1つの検索語が秘密全体を含まなくても、外部通信を観察する側は複数の断片をつなぎ合わせ、社内だけにあるはずの情報を再構成できる。

MosaicLeaksは、この失敗を評価課題にした。ローカル文書とWeb文書のサブ質問を交互に配置し、前の答えが次の検索の橋渡しになる。最終splitには559の学習チェーン、98の検証チェーン、344のheld-out-companyテストチェーンが含まれる。エージェントは計画、検索、文書選択、読解、解決の段階を繰り返す。

厄介なのは、タスク性能の向上が安全性の向上にならなかった点だ。Qwen3-4Bでは、正解率だけを高める訓練によりstrict chain successが48.7%から59.3%に上がった一方、answer/full-information leakageは34.0%から51.7%へ悪化した。モデルが検索に有用な文脈を多く詰め込むようになったためだ。

研究者が示したPrivacy-Aware Deep Research、PA-DRは目的関数を変える。PA-DRはstrict chain successを48.7%から58.7%へ上げつつ、answer/full-information leakageを34.0%から9.9%へ下げた。企業向けエージェントの評価は、正しい答えを出したかだけでなく、その答えに至る検索経路が秘密を外へ出していないかまで見る段階に入っている。