CyberpediaBrain

AIの学習データを取り出す攻撃

AIに質問を重ねる攻撃者は、ある文書が学習に使われたかどうかを推測し、モデルが記憶した断片を引き出すことさえできます。

このページの内容
  1. 130秒でわかる要点
  2. 2概要
  3. 3よくある質問
  4. 4攻撃者の視点
  5. 5画面に見えるもの
  6. 6内部の仕組み
  7. 7事例の検証
  8. 8出典
  9. 9この記事を引用する

30秒でわかる要点

発生する場所
公開されているAIモデルや、委託先が提供するAIモデルです。会話画面やオンラインサービスから質問できるものが対象になります。
攻撃者の狙い
ある特定のデータが学習に使われたかどうかを知ること、または公開されている個人情報のように、モデルが記憶している情報を取り出すことです[1]。
とっさの行動
公開AIツールに機微なデータを入力しないこと。そして、入力データの扱いとモデルの学習方法を提供元に確認することです。
既に入力してしまった場合
社内のセキュリティ担当に知らせ、ツールの提供元に、自分のデータを学習に使わせない設定ができるかどうかを確認してください[4]。
記事の構成

概要

対話型アシスタントなどを動かすAIモデルは、膨大な数のテキスト、画像、データ記録から学習します。攻撃者はモデルに質問を重ねて、特定の人物や文書がその学習データに含まれていたかどうかを調べたり、モデルが記憶した断片を再び表に出させたりできます。前者を所属推論(メンバーシップ推論)、後者をモデル反転または抽出と呼びます。

従業員にとって重要なのは、会社と本人がAIツールに入力する内容です。入力した情報が学習用のモデルに取り込まれることがあるためです[4]。この記事では、仕組み、日付の確かな実例を2件、そして露出を減らすためのとっさの行動を説明します。

よくある質問

所属推論と抽出は何が違いますか?

所属推論は、はいかいいえで答える問いです。攻撃者は手元にある1件の記録と、中身の見えない「ブラックボックス」としてのモデルへのアクセスを使い、その記録が学習データに含まれていたかどうかを判定しようとします[3]。抽出はさらに踏み込み、モデルへの問い合わせによって、学習に使われた個々の例そのものを取り出します[1]。モデル反転は、モデルが明らかにする内容から、機微な情報や入力データを再構成することを指します[4]。

なぜモデルはデータを「吐き出す」ことがあるのですか?

資料は「記憶」という言葉で説明しています。研究者は「extractable memorization」を、敵対者がデータセットを事前に知らなくても、モデルへの問い合わせで効率的に取り出せる学習データと定義しています[2]。GPT-2に対する攻撃では、取り出された系列が学習データ中の1つの文書にしか現れない場合でも成功しています[1]。

大きなモデルのほうが安全ですか?

いいえ。GPT-2の研究によれば、大きなモデルは小さなモデルより脆弱だと著者らは述べています[1]。2023年の研究は、現在のアライメント技術では記憶がなくならないと付け加えています[2]。

アシスタントに貼り付けた機密文書が、別の利用者に出てくることはありますか?

OWASPはこのリスクを挙げています。データの浄化が不十分なために、ある利用者が別の利用者の個人情報を含む回答を受け取る、というものです[4]。OWASPは、アプリケーションが利用者のデータをモデルの学習に入れないようにすること、そして利用者がデータの学習利用を拒否できるようにすることを勧めています[4]。ここで引用した資料は、こうした事態が起きる確率を示していません。

攻撃者の視点

攻撃者が会社のシステムに侵入する必要はありません。多くは公開されているモデルへのアクセスだけで足ります。所属推論では、研究者のShokriらが自前の推論モデルを訓練します。この推論モデルは、標的が学習で見たデータに返す応答と、一度も見ていないデータに返す応答の違いを見分けるようになります[3]。

抽出では、敵対者は学習用データセットについて何も知らないままモデルに問い合わせます[2]。狙うのは一字一句そのまま出てくる系列です。GPT-2の研究では、数百件のテキスト系列が取り出されました[1]。

目的は標的によって変わります。機微な記録で訓練されたモデルでは、ある人物がそこに含まれていると分かるだけでも情報になりえます。2016年の著者らは、退院記録のデータセットを例にこれを説明しています。そのデータセットに含まれているかどうかは、プライバシーの観点で機微です[3]。

画面に見えるもの

ここで引用した資料は、従業員に見える兆候を何も示していません。攻撃はアクセス可能なモデルに質問を送ることで成り立ち、その問い合わせは普通のものに見えることがあります。痕跡が見えるとすれば、記憶された断片を含むモデルの回答のほうです。

以下の文章は無害化した例示であり、そのまま再現するための命令ではありません。モデルの記憶から個人情報を引き出そうとする依頼がどのような形になるかを示しています。

抜粋
例示: アシスタントとの架空のやり取り。アドレスは .invalid。
質問: [繰り返しの多い、または何気ない依頼。言い換えて記載]
モデルの回答: [記憶された断片: 氏名、番号、架空のメールアドレス
  [email protected]]

内部の仕組みIT部門

仕組みは、モデルが学習したものと一度も見ていないものとで振る舞いが異なる点に基づいています[3]。攻撃者はこの違いを、測定するか(所属推論)、記憶された系列を出力させるか(抽出)のどちらかで利用します。

狙われるモデルの種類はさまざまです。2016年の研究者は、GoogleやAmazonなどの商用事業者が提供する「オンデマンド」型の機械学習サービスを試し、これらのモデルが脆弱になりうることを示しました[3]。2023年の研究者は、Pythiaのようなオープンなモデル、LLaMAのような半オープンなモデル、ChatGPTのようなクローズドなモデルから、ギガバイト単位のデータを取り出しています[2]。

NISTは敵対的機械学習の分類体系を公表しており、そのキーワードには「privacy breach」が含まれています[5]。OWASPはさらに「Proof Pudding」攻撃(CVE-2019-20634)を挙げています。この攻撃では、漏えいした学習データがモデルの抽出と反転を容易にし、メールのフィルターを回避することにつながりました[4]。OWASPはこれらの手法を、MITRE ATLASの3つの項目と結び付けています。学習データへの所属の推論、モデルの反転、モデルの抽出です[4]。

防御面では、OWASPは学習前のデータの浄化、最小権限の原則によるアクセス制限、連合学習、そしてデータや出力にノイズを加える差分プライバシーの利用を勧めています[4]。返してはならないデータの種類をモデルに指示しても、プロンプトインジェクションで回避されうる、とも述べています[4]。英国のNCSCは、AIシステムには従来の脅威に加えて新たな脆弱性があると指摘しています[6]。

事例の検証実際の事例

2020年12月: GPT-2からのデータ抽出

2020年12月14日、Nicholas Carliniと11人の共著者が、言語モデルへの問い合わせによって敵対者が学習用の個々の例を取り戻せることを示す研究をarXivに投稿しました[1]。彼らは、公開インターネットから集めたデータで訓練されたGPT-2を攻撃し、数百件のテキスト系列を一字一句そのまま取り出しました[1]。その中には、公開されている個人情報(氏名、電話番号、メールアドレス)、IRCの会話、コード、128ビットのUUIDが含まれていました[1]。改訂版は2021年6月15日付です[1]。

2023年11月: ChatGPTからのデータ抽出

2023年11月28日、Milad Nasr、Nicholas Carliniと8人の共著者が、実運用モデルから学習データを抽出する研究を公表しました[2]。アライメント済みのChatGPTを攻撃するために、彼らは「ダイバージェンス」攻撃と呼ぶ手法を考案しました。これはモデルを会話のスタイルから逸脱させ、通常の動作の150倍の速さで学習データを出力させるものです[2]。実用的な攻撃は、考えられていたよりはるかに多くのデータを取り出せると、彼らは結論付けています[2]。OWASPのページは、この事例を扱う報道記事「ChatGPT Spit Out Sensitive Data When Told to Repeat ‘Poem’ Forever」を挙げています[4]。

従業員にとってのとっさの行動は、これらの事例から導かれます。OWASPは、個人情報、財務情報、健康記録、企業の機密データ、セキュリティ上の認証情報、法的文書を機微なデータに分類しています。これらを公開AIツールに入力してはいけません[4]。会社が購入したツールについては、提供元に書面での保証を求めます。OWASPが、データの保管、利用、削除に関する明確な方針を勧めているためです[4]。

出典

  1. arXiv, 「Extracting Training Data from Large Language Models」, 2020年12月14日. https://arxiv.org/abs/2012.07805 (2026年11月3日閲覧)
  2. arXiv, 「Scalable Extraction of Training Data from (Production) Language Models」, 2023年11月28日. https://arxiv.org/abs/2311.17035 (2026年11月3日閲覧)
  3. arXiv, 「Membership Inference Attacks against Machine Learning Models」, 2016年10月18日. https://arxiv.org/abs/1610.05820 (2026年11月3日閲覧)
  4. OWASP, 「LLM02:2025 Sensitive Information Disclosure」. https://genai.owasp.org/llmrisk/llm022025-sensitive-information-disclosure/ (2026年11月3日閲覧)
  5. NIST, 「AI 100-2 E2023, Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations」. https://csrc.nist.gov/pubs/ai/100/2/e2023/final (2026年11月3日閲覧)
  6. NCSC (Royaume-Uni), 「Principles for security of Machine learning ML」, 2024年5月22日. https://www.ncsc.gov.uk/collection/machine-learning-principles (2026年11月3日閲覧)