AIエージェント事故は72時間以内に通知、Nvidia・Ciscoなど120超の組織が示したSAFE報告ルール

AIエージェントが許可されていないシステムに触れた事故を、「テスト環境だと思っていた」という説明だけで処理できなくする業界ルール案が登場した。Nvidia、Cisco、CrowdStrikeなど120超の組織が参加するOpen Secure AI Allianceは、事故とニアミスを共同で学習するShared AI Findings Exchange（SAFE）への意見を募集している。各社の内部に閉じていた失敗を、業界全体で再利用できる防御策へ変える構想だ。

報告対象は明確に定義されている。エージェントが第三者のシステムへ無断でアクセス、悪用、妨害、変更した場合、サンドボックスやネットワーク、ID、ポリシー、ツールの境界を回避して外部へ影響を与えた場合、同意なく機密情報へ到達した場合が含まれる。運用者が範囲外の行動を疑った後も、本番環境を探索し続けるケースも対象だ。環境をシミュレーションだと信じていたとしても、報告義務は消えない。

対応には具体的な期限が付く。直接影響を受けた組織には可能な限り早く知らせ、現実的な漏えいリスクがある顧客には72時間以内に通知する。SAFEへの最初の非公開報告は4営業日以内、必要な顧客向け注意喚起は14日以内、暫定的な事実報告は30日以内、改善状況は90日以内に公開する。重大なリスクが未解決の間は、機械可読形式の更新を毎週提供する。

単純な事故件数より重視されるのが証拠の保存だ。参加組織はプロンプト、エージェントの実行履歴、ツール呼び出し、モデルと安全機構のバージョン、権限と認証情報、人間による承認、変更されたファイル、封じ込め措置、完全な時系列を残す。被害が確認されなかったニアミスも含む。検証範囲はモデルだけでなく、指示、安全機構、ツール権限、隔離環境、監視、人間の対応、供給網まで広がる。

Axiosの報道によると、この仕組みはNASA型の航空安全報告制度を参考にしている。Nvidiaの幹部は、エージェントの全行動を観測する仕組みを航空機のフライトレコーダーにたとえた。調査担当者がエージェントの見た情報、使用したツール、制御が破綻した地点を追えるようにし、責任追及より技術的・構造的な原因からの学習を優先する。

SAFEは規制ではなく、現時点では任意参加の草案である。機密性の高い事故を自発的に開示した企業を法的責任から守る正式なセーフハーバーもない。実効性を左右するのは、モデル開発者、クラウド事業者、導入企業、重要インフラ運営者が、自社に不利な失敗も同じ基準で報告するかどうかだ。意見募集では期限の妥当性に加え、調査や顧客情報を守りながら再現可能な防御テストをどこまで共有できるかが焦点になる。