人には聞こえないprompt injection、音声assistantの新しい攻撃面

prompt injectionはテキストの問題として語られることが多い。しかし音声assistantが普及すると、音そのものがモデルへの入力経路になる。Redditでは、人には聞こえにくい音を動画、ポッドキャスト、音楽に埋め込み、ユーザーが気づかないままAI音声assistantに命令を実行させる可能性を扱った記事が注目された。

問題は単純だ。ユーザーが命令を発していないのに、システムが再生中の音声を命令として扱うのか。もし成立するなら、音声UIの信頼境界は広がる。ユーザーが何を話すかだけでなく、周囲で再生されるメディア音もassistantへの入力になるからだ。

コメントの反応は、むしろ健全な懐疑に近かった。普通に話しても音声コマンドが誤認識されることがあるのに、隠れた音が安定して命令を届けられるのか。マイクの帯域、スピーカー性能、部屋のノイズ、ストリーミング圧縮を通過できるのか、という点が問われた。

この実用性の確認は重要だ。セキュリティ上の脅威は、現実の環境で再現できて初めて製品設計を変える。ただし防御の方向は見えている。assistantはユーザーの発話とメディア再生音を区別し、不自然な音響パターンから来た命令を警告し、重要操作では確認を求める必要がある。

音声AIは便利さのために摩擦を減らしてきた。今回の議論は、その摩擦が実はセキュリティ境界でもあったことを示す。声で動くコンピューターには、誰が話したのか、ユーザーが聞いていたのか、信頼できる文脈なのかを確認する仕組みが要る。