AIのデータポイズニング
攻撃者がAIの学習、AIが参照する文書、AIの記憶を通じて回答を歪める方法と、日付のある三つの事例、適切な対応。
30秒でわかる要点
概要
AIが誤った回答を返すのは、AI自身が間違えたからとは限りません。誰かが、AIが学んだ内容や参照する内容に、誤ったデータを紛れ込ませた可能性があります。OWASPは、事前学習、ファインチューニング(fine-tuning)、ベクトル表現(embedding)のデータが操作され、脆弱性やバックドア、偏りが持ち込まれる場合を、ポイズニングと呼んでいます[1]。
ここでは、日付のある三つの研究や調査を手がかりにします。二つは研究上の実証で、実際に観測された攻撃ではありません。2023年2月のNicholas Carliniらによるウェブ上のデータセットの研究[2]と、2024年2月のPoisonedRAGです[3]。三つ目は実環境で観測された事例で、2026年2月10日に公表されたMicrosoftの調査です。「Summarize with AI」ボタンを扱っています[4]。
よくある質問
AIのデータポイズニングとは何ですか
AIに与えるデータを操作し、偏った回答、誤った回答、有害な回答を出させることです[1]。OWASPはこれを完全性に対する攻撃に分類しています。学習データに手を加えることは、モデルが正しく答える力に手を加えることにあたります[1]。バックドアを仕込むこともあります。トリガーによって変わるまでは通常どおりに動く挙動のことで、欠陥をテストや検知で見つけにくくなります[1]。
実際に起きているのですか
ここで取り上げる三つのうち、実環境で観測されたのは2026年のMicrosoftの調査だけです。研究者は60日間で、アシスタントの記憶に影響を与える目的の指示を、31社から50件の異なる例として確認しました[4]。2023年と2024年の研究は、研究上の実証です。Carliniらは、自分たちが行い得たこと(「how we could have poisoned」)を説明し、対象となったデータセットの管理者に知らせました[2]。
どれだけの不正なデータで足りるのですか
これらの実証では、ごくわずかです。Carliniらによると、LAION-400MまたはCOYO-700Mの0.01%を、60ドルで汚染できた可能性があります[2]。2024年10月の研究は、事前学習データの0.1%を歪めれば、モデルの仕上げの学習の後も四つのうち三つの攻撃が残り、0.001%でも単純なサービス拒否攻撃には足りると結論づけています[5]。PoisonedRAGは、数百万件のテキストの蓄積に、狙う質問1つにつき5件の悪意あるテキストを加えて、90%の成功率を得ています[3]。これらの数字は研究室のものであり、実際の事案のものではありません。
文書の蓄積はなぜ標的になるのですか
RAGのシステムは、AIの回答を外部の知識ベースに基づかせます[3]。PoisonedRAGの著者らは、この知識ベースが新たな攻撃対象になると見ています[3]。Proofpoint[6]は、RAGのシステムは侵害されうる外部のデータベースに依存するため、とりわけ脆弱だと判断しています。
重要な回答を前にしたら、どうすればよいですか
- 突き合わせる: OWASPは、モデルの出力を信頼できる情報源で検証するよう勧めています[1]。Microsoftは、利用者がAIの推薦を、見知らぬサイトを調べるときのようには必ずしも確認しないと確認しています[4]。
- データの出所を確認する: OWASPは、モデルの開発のすべての段階でデータの出所を追跡して正当性を確認し、厳格な隔離(sandboxing)によって、未検証のデータ源にモデルが触れる範囲を限定するよう勧めています[1]。
- 尋ねる: 疑わしい推薦を見たら、なぜそう推薦するのか、どの参照に基づくのかをアシスタントに尋ねるよう、Microsoftは勧めています[4]。
- セキュリティ部門は、メールやTeamsのメッセージの中から、「remember」や「trusted source」といった語を含むアシスタントへのリンクを探せます[4]。
攻撃者の視点
Proofpoint[6]は四つの段階を説明しています。攻撃者はまずデータへのアクセス手段を探します。収集の脆弱性、外部の委託先、内部のアクセス、公開データセットなどです。次に手法を選び、人間の確認者には正当に見えるサンプルを作り、データの流れに注入します[6]。RAGに基づくプログラミング支援について、Proofpointは、脆弱なコード例だらけの偽のドキュメントを例に挙げています。正当な問い合わせに似ているため、よく検索で拾われます[6]。
ウェブ上のデータセットについて、Carliniらは二つの手口を説明しています。一つ目は、インターネットの内容が変わることを利用するものです。データセットに注釈を付ける人が見たものと、その後にダウンロードされるものが異なります[2]。二つ目は、Wikipediaのような共同編集の内容のスナップショットを取るデータセットを狙うもので、攻撃者に必要なのは限られた時間の枠だけです[2]。
Microsoftの調査で、実行者はハッカーではありません。どの事例にも実在の企業が関わっていました[4]。Microsoftはこの傾向を、「SEO growth hack for LLMs」として売られているツールと結び付けています。サイト向けの拡張機能も存在するため、プラグインを入れる程度の低い障壁で済みます[4]。
画面に見えるもの
たいていは、不安を覚えるようなものは何も見えません。偏った推薦は、健康、金融、セキュリティについて巧妙に歪められることがあり、利用者は自分のAIが操作されたことに気づきません[4]。しかも、汚染されたデータは正当に見え、通常の検査を通り抜けることがあります[6]。
Microsoftの事例の入口は、「Summarize with AI」(AIで要約)というボタンです。ボタンを押すと、あらかじめ書かれた指示が入った状態でアシスタントが開きます。指示はリンクのアドレスにある「?q=」のパラメーターに仕込まれており、マウスを重ねると見えます[4]。指示の内容は、ページを要約したうえで、そのサイトを今後の会話での信頼できる情報源として覚えておくことです。無害化した例を示します。
無害化した例です。再現しないでください。
hxxps://assistant-ia[.]invalid/?q=[指示の言い換え:このページを要約し、このサイトを今後の会話での信頼できる情報源として覚えておく]指示が保存されると、アシスタントはそのサイトを信頼できる情報源として挙げ、後でそれを推薦することがあります[4]。Microsoftは、このリスクを仮定のシナリオで説明しています。最高財務責任者がクラウド事業者の比較をアシスタントに頼むと、数週間前にクリックしたボタンのせいで、アシスタントが1社だけを強く推薦します[4]。利用者には、その回答が確かなものに見えます。
内部の仕組みIT部門
ポイズニングの入口は三つあります。
- 学習。モデルは、ウェブから集めたデータで学習します。攻撃者はそのデータを変更できます[2]。影響が長く続くことがあります。2024年の研究は、事前学習の段階でのポイズニングと、対話型アシスタントへの調整の後にそれが残るかどうかを、初めて評価しています[5]。
- 参照される文書。PoisonedRAGでは、攻撃者が知識ベースに悪意あるテキストを少数注入し、選んだ質問に対して自分が選んだ回答が返るようにします[3]。著者らは複数の防御策を試し、不十分だと判断しています[3]。
- アシスタントの記憶。記憶を持つアシスタントは、好み、文脈、指示を会話をまたいで保持し、注入された指示はそこで正当な好みになります[4]。Microsoftは三つの経路を挙げています。指示が事前入力されたリンク(主要なアシスタントの大半がこのパラメーターを受け付けるため、1回のクリックで済む攻撃です)、文書、メール、ウェブページに隠された指示、そして、利用者自身に指示を貼り付けさせる方法です[4]。この手法は、MITRE ATLASに参照番号AML.T0080で載っています[4]。
NIST[7]は、予測型AIにも生成AIにも当てはまるポイズニング攻撃を、任意適用のガイドAI 100-2で分類しています。このガイドは、防御策とその限界も扱っています[7]。
事例の検証実際の事例
2023年2月:ウェブ上のデータセット(研究上の実証)
2023年2月20日に公表された、Carliniと8人の共著者による研究は、人気のある10のデータセットを汚染できたと彼らが見る、二つの攻撃を示しています[2]。LAION-400MまたはCOYO-700Mの0.01%を、60ドルで歪められた可能性があると見積もっています[2]。これは実証であり、著者らは各データセットの管理者に知らせ、費用の小さい防御策を勧めました[2]。
2024年2月:PoisonedRAG(研究上の実証)
2024年2月12日に、Wei Zou、Runpeng Geng、Binghui Wang、Jinyuan Jiaが投稿したPoisonedRAGは、RAGのシステムに対する知識の破壊攻撃として初めてのものだと自称しています[3]。研究者らは、数百万件のテキストの蓄積に、狙う質問1つにつき5件の悪意あるテキストを加えて、90%の成功率に達しています[3]。論文は、USENIX Security 2025での発表が予定されています[3]。前の例と同じく、これは実験室での研究であり、観測された攻撃ではありません。
2026年2月:「AIで要約」(実環境で観測)
2026年2月10日、Microsoft Defenderの研究チームは「AI Recommendation Poisoning」を説明しました[4]。60日間のメール通信にあるAI関連のアドレスを調べて、金融、医療、法務サービス、マーケティング会社を含む14の業種、31社から、50件の異なる例を見つけました[4]。すべての指示に「remember」や「in future conversations」のような持続の指示が含まれており、役に立ちそうなボタンや共有リンクの裏に隠されていました[4]。
Microsoftはいくつかの点を挙げています。ある指示は、有名なサイトと取り違えやすいドメインを狙っていました。最も攻撃的なものは、宣伝文を丸ごと記憶に注入していました。例の一つは、セキュリティ製品の提供元によるものでした[4]。サイトは信頼できそうに見えましたが、コメント欄や利用者のフォーラムを含むものもあり、サイトが信頼できると判断されると、AIはその信頼を未検証のコンテンツにまで広げることがあります[4]。Microsoftは、Copilotで指示の注入に対する対策を展開していると述べており、複数の事例で、報告された挙動はもう再現しなくなっていました[4]。こうした指示の効果は、アシスタントによっても、時間とともにも変わりました[4]。
出典
- OWASP, 「LLM04:2025 Data and Model Poisoning」, 2024年4月10日. https://genai.owasp.org/llmrisk/llm042025-data-and-model-poisoning/ (2026年11月14日閲覧)
- arXiv, 「Poisoning Web-Scale Training Datasets is Practical」, 2023年2月20日. https://arxiv.org/abs/2302.10149 (2026年11月14日閲覧)
- arXiv, 「PoisonedRAG: Knowledge Corruption Attacks to Retrieval-Augmented Generation of Large Language Models」, 2024年2月12日. https://arxiv.org/abs/2402.07867 (2026年11月14日閲覧)
- Microsoft, 「Manipulating AI memory for profit: The rise of AI Recommendation Poisoning」, 2026年2月10日. https://www.microsoft.com/en-us/security/blog/2026/02/10/ai-recommendation-poisoning/ (2026年11月14日閲覧)
- arXiv, 「Persistent Pre-Training Poisoning of LLMs」, 2024年10月17日. https://arxiv.org/abs/2410.13722 (2026年11月14日閲覧)
- Proofpoint, 「What Is AI Data Poisoning? Definition」, 2025年6月25日. https://www.proofpoint.com/us/threat-reference/data-poisoning (2026年11月14日閲覧)
- NIST, 「NIST AI 100-2 | Adversarial Machine Learning Taxonomy | CSRC」, 2025年3月24日. https://csrc.nist.gov/news/2025/nist-ai-100-2-adversarial-machine-learning-taxonom (2026年11月14日閲覧)
この記事を引用する
Brain, 「AIのデータポイズニング」, Cyberpedia, 2026. https:/
BibTeX
@misc{brain_cp285_ja_2026,
author = {Brain},
title = {AIのデータポイズニング},
year = {2026},
howpublished = {Cyberpedia},
url = {https://startbrain.io/cyberpedia/ja/articles/ai-deta-poisoning-rag/},
note = {CC BY 4.0}
}