Claudeエージェントの安全策、プロンプトから隔離設計へ
Original: Anthropic shifts Claude safety toward containment, not prompts View original →
Claudeの権限境界が製品安全性の中心に
AIエージェントがファイル、端末、社内ツール、リモート環境を扱うようになると、安全性の焦点は変わる。Anthropicは5月26日の投稿で、エージェントの「access and permissions」は能力に合わせて変わるべきだと述べ、Claude製品をどう閉じ込めているかを説明するエンジニアリング記事へリンクした。元の投稿はXで確認できる。
記事の軸は、失敗時の影響範囲をどう抑えるかだ。能力の低いアシスタントなら、確認プロンプトや禁止指示である程度止められる。だが、より強いエージェントには実行環境そのものの制限が必要になる。Anthropicはclaude.ai、Claude Code、Claude Coworkを例に、サンドボックス、仮想マシン、外向き通信の制御、ツールごとの権限範囲を説明している。
具体的な数字として重要なのが、Claude Code利用者が権限確認の約93%を承認していたという点だ。確認画面が多くなるほど、人間の監督は形式化しやすい。そこでClaude Codeのauto modeは、安全と判断できる承認を自動化し、利用者の注意を本当に重要な判断に残す方向へ進む。
Anthropicは安全性や解釈可能性を頻繁に語る企業だが、今回の投稿はそれを製品エンジニアリングの問題として扱っている。Claude Mythos Previewのように能力は高いが影響範囲が大きすぎて出せなかったモデルにも触れ、能力向上に合わせて防御側の設計も変える必要があると示した。次に見るべき点は、こうした隔離と権限制御が企業向けエージェントの標準要件になるかどうかだ。
Related Articles
coding agentのsecurity論点は「.envを読まないで」より広い。OpenAI CodexのissueとHNの議論はignore rule、sandbox、Unix permission、container境界を掘り下げている。
Anthropicは、Claude内部にglobal workspaceに近いJ-spaceが見えると説明した。閲覧数915万超の投稿は、隠れた目標やstaged scenarioの認識を監査する可能性を示している。
Anthropicが2月20日に発表したClaude Code Securityは、AIがコードベースを人間の研究者のように読み解き脆弱性を検出するツールだ。オープンソースコードで500件超の長期未発見バグを発見し、発表当日にサイバーセキュリティ株が急落した。