#prompt-injection

エージェント型AIではプロンプト注入が配備前の大きなリスクになっている。OpenAIはGPT-Redを使った訓練で、GPT-5.6 Solの失敗を4カ月前の本番最良モデル比で6分の1に抑えたとしている。

公開Issueに埋め込んだ指示がprivate repositoryへのアクセスにつながる可能性が示され、HNではagent権限の切り方が論点になった。

約300ポイントを集めたHNの議論は、secretが漏れなかった事実よりも実験条件が現実のリスクをどこまで表すかに向かった。

Redditの議論は恐怖より検証可能性に向かった。マイク、スピーカー、圧縮を通って命令が安定して届くかが焦点だ。

Xユーザーがモールス符号でエンコードしたプロンプトインジェクションを使い、Grokに接続されたBankrbotに30億DRBトークン（約20万ドル相当）を攻撃者のウォレットへ送金させることに成功した。

Cloudflareは2026年4月11日のX投稿で、AI appの防御はもはや rate limiting だけでは足りないと打ち出した。関連資料を見ると、LLM endpoint discovery、prompt-level detection、WAF mitigation を edge security の標準フローに組み込もうとしている。

Anthropicは2026年3月25日、Claude Code auto modeが多くのpermission promptを分類器に置き換え、すべての承認をスキップするより安全な自律実行経路を提供すると説明した。Engineering記事によれば、この機能はprompt-injection probeと2段階transcript classifierを組み合わせ、エンドツーエンドの実トラフィックで0.4%のfalse-positive rateを報告している。

OpenAIが2026年2月13日にChatGPT向けのLockdown ModeとElevated Risk labelsを公開した。webやconnected appを使うAI productでprompt injectionリスクが高まるなか、高リスク利用者向けの強い制御と明確な注意表示を加えた形だ。

OpenAIは2026年3月10日、frontier LLMのinstruction hierarchy挙動を改善し、safety steerabilityとprompt injection耐性を同時に高めるためのIH-Challengeを公開した。あわせて追加研究向けにdatasetもHugging Faceで公開している。

OpenAIは2026年3月11日、AI agentが読むemail、web page、calendar inviteのようなuntrusted contentを主要なsecurity boundaryとして扱う新ガイドを公開した。堅牢なagentはdataとinstructionを分離し、least privilegeを徹底し、重要なactionの前にmonitoringとuser confirmationを入れるべきだとしている。

Hacker Newsで注目されたCline関連インシデントを整理する。GitHub issue titleのprompt injectionからCI実行、cache poisoning、認証情報流出、改ざんパッケージ配布に至る連鎖と、実運用で必要な防御策をまとめた。

r/artificialで共有されたセキュリティ研究は、zero-width文字とUnicode Tagsによる不可視指示がツール利用型LLMエージェントへ与える影響を検証した。公開概要は5モデル・8,308出力の評価を示している。