モデルのドリフトとAIによるWebの汚染
AIが生成した文章で学習したAIがなぜ多様性を失うのか。業務で生成コンテンツを使う前に確認すべき点を解説します。
30秒でわかる要点
- 発生場所
- テキストや画像の生成ツール、そしてそれらの学習に使われるオンライン上のコンテンツ。
- あなたへの影響
- 回答がもっともらしく見えて誤っていたり、既存のコンテンツを劣化させた写しにすぎなかったりすることがあります。
- とっさの行動
- 生成されたテキストは、ご自身で開いて確認した信頼できる情報源と照合するまで、使わないでください。
- すでにやってしまった場合
- 文書を読み直し、各事実の出典を探して修正し、誤りを送ってしまった場合は受信者に知らせてください。
概要
文章作成アシスタントが作った文章を、別のモデルや別の従業員が再利用することがあります。こうした生成テキストが新しいモデルの学習に使われると、元に戻せない欠陥が生じることを研究者が確認しています。この現象は「Model Collapse」と呼ばれ、この記事ではモデルのドリフトと訳します[1]。
この記事では、数式には踏み込まずに仕組みを説明し、情報の確認、複数の情報源での照合、疑わしいコンテンツの見分け方、生成された文章をそのまま使わないことといった、簡単な行動を紹介します。
よくある質問
モデルのドリフトとは何ですか
ほかのモデルが作ったコンテンツで学習したモデルが劣化することです。研究者は、生成コンテンツを学習に使うと元に戻せない欠陥が生じることを確認しました。元の分布の「裾」、つまり稀なケースが消えていきます。この効果は「Model Collapse」と名付けられ、変分オートエンコーダ、ガウス混合モデル、大規模言語モデルで観察されました[1]。
テキストだけの現象ですか
いいえ。別の研究チームは、各世代が前の世代の出力で学習する循環の中で、画像の生成モデルを調べました。各世代で新しい実データが十分にないと、将来のモデルの品質(精度)または多様性(再現率)が少しずつ低下します。著者らはこの状態を、狂牛病になぞらえて「Model Autophagy Disorder」(MAD)と呼んでいます[3]。
言語モデルではどうですか
NAACL 2024(Findings)に採択された研究は、英語の合成テキストで繰り返しファインチューニングを行い、語彙、構文、意味の多様性を測定しました。反復を重ねるごとに出力の多様性が一貫して低下し、とくに創造性を要するタスクで顕著だったと報告しています[2]。
ツールが「嘘をつく」わけでなくても、生成された文章が誤っていることはありますか
あります。OWASPはハルシネーションを次のように説明しています。モデルは内容を理解しないまま、統計的な規則性で空白を埋め、正しそうに見えるが根拠のない回答を作ります。学習データの偏りや不完全な情報も一因です[5]。
学習データに意図的に罠を仕掛けることはできますか
できます。OWASPは、事前学習、ファインチューニング、埋め込みのデータを操作して、脆弱性、バックドア、偏りを仕込むことをデータポイズニングと呼んでいます。外部の情報源は未検証の内容や悪意のある内容を含む可能性があるため、リスクが高くなります[4]。
仕組み
言語モデルは、Webから集めた大量のテキストで学習します。そのテキストの中でモデルが作った分が増えると、次のモデルは一部をコピーから学ぶことになります。最初の研究の著者らは、Webから大規模に集めたデータでの学習の恩恵を今後も受けるには、このリスクを真剣に受け止める必要があると主張しています。さらに、生成コンテンツがインターネットから集めるデータに広がるほど、人間とシステムの実際のやり取りから得られるデータの価値が高まると付け加えています[1]。
もう一つの研究は、各世代で新しい実データが十分にないと、品質または多様性が低下することを示しています[3]。確認した資料には、現在Web上にある合成コンテンツの割合を示した数字はなく、この記事も数字を挙げません。
すべきこと
- 生成された回答は下書きとして扱ってください。OWASPは過信(overreliance)を挙げています。利用者が十分に検証せずに、誤ったデータを重要な判断に組み込んでしまうことです[5]。
- 信頼できる外部の情報源と照合してください。OWASPは、モデルの出力をそうした情報源と突き合わせ、機微な情報には人による確認と事実確認を設けることを勧めています[5]。
- 事実、数字、引用は、文書に書く前に出どころを探してください。出典が見つからなければ、その事実は削除してください。
- 参考文献は、使う前に実在するか確認してください。OWASPは、ChatGPTが架空の裁判例を作り出し、法廷で深刻な結果を招いた事例を挙げています[5]。
- コードの場合、提案されたライブラリを確認せずに採用しないでください。アシスタントは、安全でない、または存在しないサードパーティのライブラリを提案することがあります[5]。
- 疑わしいコンテンツに注意してください。著者も出典もない文章、裏付けのない主張、ご存じの情報源と食い違う内容がそれにあたります。これらの基準はこの記事が示す常識的な目安であり、出典にある手法ではありません。
- 生成コンテンツを共有するときは、そのことを明示してください。OWASPは、AI生成のコンテンツであることを明確に表示し、信頼性の限界を知らせることを勧めています[5]。
落とし穴
- なめらかな回答は、検証された回答ではありません。モデルが生む誤情報はもっともらしく見えます[5]。
- 生成テキストを引用している情報源は、第二の意見にはなりません。同じことを述べる二つのページが、同じモデルから出ている可能性があります。
- モデル自体が外部から来ることもあります。OWASPは、公開モデルの出所について現時点で確かな保証はなく、モデルカードも出所を保証しないと指摘しています[6]。
- ポイズニングされたモデルは、きっかけとなるトリガーで挙動が変わるまで通常どおり動くことがあり、欠陥の発見が難しくなります[4]。
- ツールの利用規約によっては、データが学習に使われることがあります。OWASPは、規約やプライバシーポリシーが曖昧な場合のこのリスクを指摘しています[6]。会社が承認していないツールに機微な情報を入力しないでください。
- AIの誤りは、攻撃者がいなくても組織の責任になります。OWASPはエア・カナダのチャットボットを例に挙げています。旅行者への誤った案内が混乱と法的な問題を招き、同社は訴えられて敗訴しました[5]。
組織の側では、NISTが生成AI向けの横断的なプロファイルを示しています。AI RMF 1.0を補完するもので、利用は任意です[8]。英国NCSCのガイドラインは2023年11月27日に公開され、AIシステムの設計、開発、導入、運用を対象とし、サプライチェーンのセキュリティも含みます[7]。
実例
2023年5月27日: 「再帰の呪い」
イリア・シュマイロフと5人の共著者が、arXivに論文を投稿しました。大規模言語モデルがオンライン上の文章の多くを作るようになったとき、将来のGPT系モデルはどうなるのかを問う論文です。その答えは、学習に使った生成コンテンツが元に戻せない欠陥を引き起こすというものでした。この効果は複数のモデル群で起こりうることも示しています[1]。
2023年7月4日: モデルの自己貪食障害
シナ・アレモハンマドとリチャード・G・バラニウク、ほか6人の共著者が、画像モデルにおける3種類の自己貪食ループの分析をarXivに投稿しました。結論は、新しい実データが十分にないと、世代を重ねるごとに精度または多様性が低下するというものです[3]。
2023年11月16日: 言語的多様性の低下
Yanzhu GuoらがarXivに、英語での再帰的なファインチューニングの実験を投稿しました。出力の多様性は反復のたびに低下し、とくに創造的なタスクで顕著でした[2]。
出典
- arXiv, 「The Curse of Recursion: Training on Generated Data Makes Models Forget」, 2023年5月27日. https://arxiv.org/abs/2305.17493 (2026年11月3日閲覧)
- arXiv, 「The Curious Decline of Linguistic Diversity: Training Language Models on Synthetic Text」, 2023年11月16日. https://arxiv.org/abs/2311.09807 (2026年11月3日閲覧)
- arXiv, 「Self-Consuming Generative Models Go MAD」, 2023年7月4日. https://arxiv.org/abs/2307.01850 (2026年11月3日閲覧)
- OWASP, 「LLM04:2025 Data and Model Poisoning」. https://genai.owasp.org/llmrisk/llm042025-data-and-model-poisoning/ (2026年11月3日閲覧)
- OWASP, 「LLM09:2025 Misinformation」. https://genai.owasp.org/llmrisk/llm092025-misinformation/ (2026年11月3日閲覧)
- OWASP, 「LLM03:2025 Supply Chain」. https://genai.owasp.org/llmrisk/llm032025-supply-chain/ (2026年11月3日閲覧)
- NCSC (Royaume-Uni), 「Guidelines for secure AI system development」, 2023年11月27日. https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development (2026年11月3日閲覧)
- NIST, 「Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile」, 2024年7月26日. https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence (2026年11月3日閲覧)
この記事を引用する
Brain, 「モデルのドリフトとAIによるWebの汚染」, Cyberpedia, 2026. https:/
BibTeX
@misc{brain_cp279_ja_2026,
author = {Brain},
title = {モデルのドリフトとAIによるWebの汚染},
year = {2026},
howpublished = {Cyberpedia},
url = {https://startbrain.io/cyberpedia/ja/articles/moderu-dorifuto-web-osen-gosei-kontentsu/},
note = {CC BY 4.0}
}