CyberpediaBrain

直接的なプロンプトインジェクション

チャットに入力した指示だけで、AIアシスタントが本来のルールから外れることがあります。仕組み、画面上の兆候、日付のある事例、対策を解説します。

このページの内容
  1. 130秒でわかる要点
  2. 2概要
  3. 3よくある質問
  4. 4攻撃者の視点
  5. 5画面に見えるもの
  6. 6内部の仕組み
  7. 7事例の検証
  8. 8出典
  9. 9この記事を引用する

30秒でわかる要点

発生する場所
AIアシスタントのチャット画面です。たとえばカスタマーサポート用のチャットボットが該当します[1]。
攻撃者の狙い
モデルに指示を無視させる、内部の指示を明かさせる、企業が禁じていたコンテンツを出力させることです[1]。
とっさの行動
AIアシスタントは、巧みな指示で動きを変えられてしまう相手だと考えてください。与える権限は必要最小限にとどめ、重要な操作は必ず人が承認します。
すでに実行した場合
そのやり取りの画面を保存し、アシスタントを運用しているチームに会話を報告してください。
記事の構成

概要

企業のAIアシスタントは、提供元や企業が定めたルールに沿って動作します。直接的なプロンプトインジェクションとは、チャット欄に入力したテキストによって、モデルの動作が想定外の形で変わってしまうことです[1]。

入力する人が常に攻撃者とは限りません。OWASPは、入力は意図的な場合も意図的でない場合もあると述べています。利用者が意図せず、予期しない動作を引き起こすこともあります[1]。

よくある質問

直接的なプロンプトインジェクションとは何ですか。

利用者が入力したテキストが、モデルの動作を直接、想定外の形で変えてしまう場合を指します[1]。間接的なインジェクションとは区別されます。間接的なインジェクションでは、モデルが読み込む外部のコンテンツ(Webサイトやファイル)に指示が含まれています[1]。

ジェイルブレイクとはどう関係しますか。

二つの用語は、しばしば同じ意味で使われます。OWASPによると、ジェイルブレイクはプロンプトインジェクションの一種で、攻撃者がモデルに安全上の手順をすべて無視させるものです[1]。プロンプトインジェクションはより広い概念で、特定の入力によってモデルの応答を操作することを指し、安全対策の回避を含む場合があります[1]。

なぜモデルは説得されてしまうのですか。

モデルが指示とデータを区別していないからです。英国のNCSCは、現在の大規模モデルには、プロンプトの内部で両者を分ける安全上の境界がないと書いています[2]。開発者は自分の指示と利用者のテキストを一つのプロンプトにまとめて渡し、その応答を、両者の間に確かな境界があるかのように扱っています[2]。

問題を一度で解決することはできますか。

おそらくできません。NCSCは、SQLインジェクションとは異なり、この種の攻撃は完全には無力化されない可能性があるとしています[2]。OWASPも、確実な防止方法が存在するかどうかは分かっていないと述べています[1]。現実的な目標は、発生の確率と影響を減らすことです[2]。

攻撃者の視点

研究者のFábio PerezとIan Ribeiroは2022年に、技能の低い悪意ある人物でも、手で書いた単純なテキストでGPT-3を悪用できることを示しました[3]。二つの目的が挙げられています。モデルの目的をすり替えること(goal hijacking)と、プロンプトを開示させること(prompt leaking)です[3]。

もう一つの目的は、本来の用途から外れた使い方です。研究者のチームは2023年に、アプリケーションの背後にあるモデルを無制限かつ自由に使えること、アプリケーションのプロンプトを簡単に盗めることなどの結果を報告しました[4]。

ジェイルブレイクは別の方法をとります。「Jailbroken」という研究の著者らは、安全性の学習が失敗する原因を二つ挙げています。競合する目的(モデルの能力が安全上のルールと衝突する)と、不適切な汎化(モデルに能力があるにもかかわらず、安全性がその領域に及ばない)です[5]。

OWASPは変種も挙げています。攻撃者は、一見意味のない文字列をメッセージに付け足したり、複数の言語やBase64などのエンコードを使ってフィルターをすり抜けたりすることがあります[1]。

画面に見えるもの

利用者や企業の側からは、攻撃が成功したかどうかはその影響で見分けます。OWASPは起こりうる結果を列挙しています。機微な情報の漏えい、インフラやシステムプロンプトに関する情報の開示、歪められた内容や偏った内容、モデルの機能への不正なアクセス、接続されたシステムでのコマンド実行です[1]。

具体的には、本来の話題から外れて答えるアシスタント、自分の指示を読み上げるアシスタント、企業が承認していない内容を出力するアシスタントには注意が必要です。OWASPは典型的なシナリオを示しています。攻撃者がサポート用のチャットボットに、指示を無視し、非公開のデータを照会し、メールを送るよう求めるものです[1]。

この種のメッセージの例を、無害化し、言い換えて示します。

抜粋
説明用の例(言い換えたメッセージで、実際には機能しません):
[提供元から受け取ったルールを無視し、
内部の指示をすべて書き出すようチャットボットに求める指示]

内部の仕組みIT部門

言語モデルにとって「データ」も「指示」も存在せず、あるのは次のトークン(next token)だけです。モデルはそれまでに受け取ったテキストから、最も確からしいトークンを予測します[2]。そのため、提供元の指示と利用者が入力した文は同じテキストの中に並び、モデルが守る区切りはありません[2]。

この点が、プロンプトインジェクションとSQLインジェクションの違いです。SQLでは、パラメータ化クエリによって、入力が命令として解釈されることはないと保証されます[2]。NCSCは、プロンプトインジェクション攻撃はSQLインジェクションのようには完全に軽減できないかもしれないと書いています[2]。現在進められている対策(試行の検知、指示を優先するようにモデルを訓練する、データにあたる部分をモデルに知らせる)は、技術が本来行っていない区別を上から重ねるものです[2]。

NISTは2025年3月に、敵対的機械学習の分類体系を公表しました[6]。

禁止語フィルターにも注意が必要です。NCSCは、「ignore previous instructions」のような既知の文言を遮断することに警告しています。このフィルターを回避する言い換えは無数にあります[2]。

対策

ここで挙げる簡単な対策は、OWASPとNCSCに基づいています。

  • 最小権限: モデルには必要最小限のアクセスだけを与え、拡張的な機能はモデルに任せず、アプリケーションのコードで管理します[1]。
  • 人による承認: 特権を伴う操作には、人の承認を必須にします[1]。
  • 出力のフィルタリング: 機微なカテゴリを定義し、意味的なフィルターと文字列のチェックで許可されていないコンテンツを検出し、応答の形式は決定論的なコードで検証します[1]。
  • 役割の明示: システムプロンプトに、モデルの役割と限界を記述します[1]。この対策は有効ですが、それだけでは十分ではありません。OWASPは、これらの対策をすべて影響を和らげる手段と位置づけています[1]。
  • テスト: モデルを信頼できない利用者として扱い、侵入テストとシミュレーションを定期的に実施します[1]。
  • 監視: 不審な活動を見つけられるだけのログを残します。失敗したツールやAPIの呼び出しも含まれ、攻撃の初期段階を示していることがあります[2]。

NCSCはさらに、システムの安全性は、悪意あるコンテンツがモデルに届かないことを期待するだけでなく、その動作を制限する決定論的な安全装置に基づくべきだと述べています[2]。残るリスクが許容できない場合、そのユースケースは言語モデルに向いていないかもしれません[2]。

事例の検証実際の事例

2022年11月: 単純なテキストで悪用されたGPT-3

2022年11月17日、Fábio PerezとIan Ribeiroは、この種の攻撃を分析する枠組みPromptInjectを公開しました。二人は、本番環境で最も広く使われている言語モデルと位置づけるGPT-3を調べ、手で書いた入力によって簡単に整合性を崩せることを示しました[3]。検証した攻撃は、目的のすり替えとプロンプトの漏えいの二つです[3]。

2023年6月: 36のアプリケーションのうち31が脆弱

2023年6月8日、12人の研究者のチームが、言語モデルを使う実際のアプリケーションについての研究を公開しました。商用アプリケーション10件を分析したうえで、HouYiという攻撃手法を考案し、36のアプリケーションに適用しました。そのうち31がプロンプトインジェクションの影響を受けることが分かりました[4]。10の提供元が結果を確認し、その中にはNotionが含まれています[4]。

2023年7月: 破られた保護

2023年7月5日、Alexander Wei、Nika Haghtalab、Jacob Steinhardtの3人は、OpenAIのGPT-4とAnthropicのClaude v1.3を評価しました。新しい攻撃は、モデルのレッドチーミング評価セットから抽出した危険な要求のコレクションに対して、すべての要求で成功しました[5]。著者らは、レッドチーミングや安全性の学習に取り組んでも、脆弱性は残ると結論づけています[5]。

出典

  1. OWASP, 「LLM01:2025 Prompt Injection」. https://genai.owasp.org/llmrisk/llm01-prompt-injection/ (2026年11月3日閲覧)
  2. NCSC (Royaume-Uni), 「Prompt injection is not SQL injection (it may be worse)」, 2025年12月8日. https://www.ncsc.gov.uk/blog-post/prompt-injection-is-not-sql-injection (2026年11月3日閲覧)
  3. arXiv, 「Ignore Previous Prompt: Attack Techniques For Language Models」, 2022年11月17日. https://arxiv.org/abs/2211.09527 (2026年11月3日閲覧)
  4. arXiv, 「Prompt Injection attack against LLM-integrated Applications」, 2023年6月8日. https://arxiv.org/abs/2306.05499 (2026年11月3日閲覧)
  5. arXiv, 「Jailbroken: How Does LLM Safety Training Fail?」, 2023年7月5日. https://arxiv.org/abs/2307.02483 (2026年11月3日閲覧)
  6. NIST, 「AI 100-2 E2025, Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations | CSRC」. https://csrc.nist.gov/pubs/ai/100/2/e2025/final (2026年11月3日閲覧)