CyberpediaBrain

AIのハルシネーション:モデルが事実を作り出すとき

大規模言語モデルはもっともらしい言葉を予測するだけで、真偽を確かめません。そのため事実や参考文献、コードのパッケージ名を作り出すことがあります。

このページの内容
  1. 130秒でわかる要点
  2. 2概要
  3. 3よくある質問
  4. 4仕組み
  5. 5すべきこと
  6. 6落とし穴
  7. 7出典
  8. 8この記事を引用する

30秒でわかる要点

発生する場面
AIアシスタントが作るあらゆる文章で起こります。特に、長い回答を求める自由度の高い質問や、文脈に即した専門知識が要る分野で目立ちます[2]。
問題点
モデルは事実、参考文献、引用、コードのライブラリ名を作り出し、自信ありげに示すことがあります[1][2]。
とっさの行動
重要な事実はそれぞれ、信頼できる外部の情報源と突き合わせます。重要な情報は、使う前に人の目で確認してもらいます[1]。
すでに使ってしまった場合
文書の受け手に知らせ、信頼できる情報源で訂正し、社内でAIツールを管理している担当者に誤りを報告します。

概要

要約や法律に関するメモ、参考文献の一覧をAIアシスタントに書かせるとき、アシスタントは事実のデータベースを調べているわけではありません。もっともらしい言葉の並びを作っているだけです。間違えたときも、正しいときと同じ自信に満ちた口調で答えるため、画面上では両者の違いがわかりません。

この現象はハルシネーションと呼ばれます。米国のNISTは「confabulation」という用語も使い、日常的にはハルシネーションや捏造と呼ばれると記しています[2]。従業員にとって、AIの回答は確認すべき下書きであり、情報源ではありません。

よくある質問

なぜAIは作り話をするのですか。

OWASPによると、モデルは学習データの欠落を統計的なパターンで埋めており、内容を理解してはいません。そのため、回答はもっともらしく見えても根拠がないことがあります[1]。NISTも同じ仕組みを説明しています。モデルは学習データの統計的な分布に近い出力を作り、大規模言語モデルは文中の次の単語を予測します[2]。

まれな欠陥なのですか。

NISTは、これを生成モデルの設計から自然に生じる結果としています[2]。研究を整理した2本のサーベイ論文があり、一方は文章生成全般を、もう一方は大規模言語モデルを扱っていて、どちらもこの問題が詳しく研究されていることを示しています。前者は自動要約、対話、質問応答、機械翻訳を対象としています[4]。後者は、もっともらしいが事実ではない内容と、情報検索におけるこれらのモデルの信頼性への疑問を取り上げています[3]。

AIは自分の根拠も作り出せますか。

はい。NISTによると、出力には、回答を説明するふりをした架空の論理や引用が含まれることがあります。回答が誤りなのに、推論の手順を示すモデルもあります[2]。見た目が整った参考文献があっても、何の証明にもなりません。

リスクは機械だけにあるのですか。

いいえ。OWASPは過信も挙げています。利用者が生成された内容を信用しすぎて正確さを確かめず、誤ったデータを重要な判断に取り込んでしまうことです[1]。NISTは、利用者が誤りを信じたときにリスクが生じ、その原因はしばしば回答の自信ありげな口調だと指摘しています[2]。

仕組み

言語モデルは、自分が「知っている」ことと、補って埋めたことを区別しません。NISTによると、統計的な予測は正確で一貫した出力を生むこともあれば、不正確で一貫しない出力を生むこともあります[2]。特に問題になるのは、長い回答を求める自由度の高い指示と、文脈に即した専門知識が必要な分野です[2]。

作り話にはいくつかの型があります。OWASPは4つを挙げています。1つ目は事実の誤りです。Air Canadaのチャットボットが旅行者に誤った情報を伝え、同社は訴訟で敗れました[1]。2つ目は根拠のない主張で、例として、ChatGPTが架空の判例を作り出し、法廷で重大な困難を招いた件が挙げられています[1]。3つ目は専門性の錯覚です。たとえば、不確かではない健康上の話題を、チャットボットが不確かなものとして示す場合です[1]。4つ目は危険なコードです。モデルが安全性の低いライブラリや、存在しないライブラリを提案します[1]。

こうした作り話は悪用されることがあります。OWASPは次のような筋書きを説明しています。攻撃者がプログラミング支援のアシスタントを試し、よく作り出されるパッケージ名を探します。次に、その名前で本物の悪意あるパッケージを、広く使われているリポジトリに公開します。アシスタントの提案に従った開発者は、気づかないままそれを自分のソフトウェアに組み込んでしまいます[1]。

すべきこと

以下の対策は、OWASPの推奨をもとにしています[1]。

  • 重要な事実は、信頼できる外部の情報源と突き合わせます[1]。
  • AIが挙げたリンクや参考文献は、すべて開いて確かめます。ページが存在しない場合や、AIが述べた内容がそのページに書かれていない場合は、その参考文献は作り話だと考えます。NISTは、捏造された引用が誤解を招きうると述べています[2]。
  • 未確認の回答を、契約書、法律に関するメモ、財務文書、顧客宛ての文書に貼り付けてはいけません。OWASPは、特に重要な情報や機微な情報について、人による確認を求めています[1]。
  • AIが提案したコードのパッケージをインストールする前に、それが実在し、正当なものかを確認します。OWASPは、誤った提案から脆弱性を取り込まないよう、安全な開発の実践も求めています[1]。
  • 意思決定の流れの中には、確認できるよう訓練を受けた人を置いておきます。OWASPは、AIが作った内容を無批判に頼らないよう、確認者への教育を重視しています[1]。

落とし穴

  • 文章の滑らかさに惑わされます。きれいに書かれた文章が正確とは限りません。NISTは、自信ありげな口調が誤りを信じさせると指摘しています[2]。
  • 専門分野ほど影響を受けやすくなります。OWASPは、根拠のない主張がとりわけ大きな害になる場面として、法律と医療を挙げています[1]。NISTは、作り上げられた診療記録の要約が誤診につながりうる例を示しています[2]。
  • AIに自分の回答を見直させても、外部の情報源の代わりにはなりません。AIは、誤った回答を、一見筋の通った推論で正当化することがあります[2]。
  • 損害が生じるのに、攻撃者は必要ありません。OWASPは、医療診断のチャットボットを信頼性の確認なしに提供して、訴訟で敗れた企業を紹介しています。原因は攻撃ではなく、確認の不足でした[1]。
  • リスクは数値にしにくいものです。NISTは、作り話が下流に及ぼす規模と影響を見積もるのは難しいと書いています[2]。NISTは、この技術に固有のリスクを組織が見つける助けとなる生成AIのプロファイルを、2024年7月26日に公開しました[5]。

出典

  1. OWASP, 「LLM09:2025 Misinformation」. https://genai.owasp.org/llmrisk/llm092025-misinformation/ (2026年11月3日閲覧)
  2. NIST, 「Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile」. https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf (2026年11月3日閲覧)
  3. arXiv, 「A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions」. https://arxiv.org/abs/2311.05232 (2026年11月3日閲覧)
  4. arXiv, 「Survey of Hallucination in Natural Language Generation」. https://arxiv.org/abs/2202.03629 (2026年11月3日閲覧)
  5. NIST, 「AI Risk Management Framework」. https://www.nist.gov/itl/ai-risk-management-framework (2026年11月3日閲覧)