ひとことで言うと
プロンプトインジェクションは、本来の指示よりも、外部から混ざった悪意ある指示を AI が優先してしまう問題です。
どんな場面で起きやすいか
- Webページやメール本文をそのまま読ませる時
- 外部資料を参照して自動処理させる時
- エージェントにツール実行権限を持たせている時
- ユーザー入力を検査せず次工程へ流す時
なぜ危ないのか
AI は自然文をそのまま命令として受け取りやすいので、資料の中に紛れた指示にも影響されることがあります。すると、本来見てはいけない情報参照や、意図しないツール実行につながります。
実務で気にするポイント
- システム指示と外部入力を分離して扱う
- 実行前に人やルールで承認を挟む
- 機密情報へ直接届く権限を持たせすぎない
- 想定攻撃文で定期的に評価する
注意: プロンプトインジェクションは「変な質問をされた時だけ」の問題ではありません。参照資料や外部入力を増やすほど、設計上の対策が必要になります。