CyberpediaBrain

AIの回答を3つの情報源で確かめる

生成AIは誤った事実を自信ありげに述べることがあります。確認すべき記述を見分け、独立した3つの情報源で突き合わせる方法を説明します。

このページの内容
  1. 130秒でわかる要点
  2. 2概要
  3. 3よくある質問
  4. 4仕組み
  5. 5実践の手順
  6. 6落とし穴
  7. 7出典
  8. 8この記事を引用する

30秒でわかる要点

発生する場面
AIの回答に、再利用するつもりの具体的な事実(数字、日付、引用、法的な参照先、ソフトウェア名)が含まれているとき。
攻撃者の狙い
必ずしも誰かが仕掛けているわけではありません。誤りの原因はモデルにありますが、攻撃者が架空の名前を悪用することはあります[1]。
とっさの行動
AIが示した事実を再利用する前に、独立した3つの情報源と突き合わせ、一致するまでは何も伝えないこと。
すでに使ってしまった場合
文章の受け取り手に知らせて訂正し、その内容に基づいて判断が下されているなら、セキュリティ担当チームか上長に報告してください。

概要

生成AIのアシスタントは、正しいかどうかにかかわらず、落ち着いた口調で答えます。日付、数字、法律の名称、条文の番号など、あらゆる情報が整った文章で出てきても、誤っていることがあります。その文章をメールや報告書、判断の材料にそのまま使う従業員は、誤りを自分の名前で伝えてしまうおそれがあります。

この記事では、こうした誤りがなぜ起きるのかを説明したうえで、簡単な手順を紹介します。確認できる記述を見つけ出し、独立した3つの情報源と突き合わせ、自分で判断するか、ほかの人の意見を求めます。

よくある質問

AIはなぜ誤ったことを言うのですか。

NISTはこの現象を「confabulation」と呼び、誤った内容や不正確な内容が確信をもって提示されることだとしています。日常の言葉では、幻覚(ハルシネーション)や捏造と呼ばれます[2]。同じ文書によれば、こうした誤りはモデルの設計に由来します。モデルは学習データの統計的な分布に近い出力を作り、たとえば文中の次の単語を予測します[2]。この予測は、正確な結果になることもあれば、不正確で筋の通らない結果になることもあります[2]。

OWASPも同じ仕組みを説明しています。モデルは学習データの欠けた部分を統計的な規則性で埋め、内容を理解しているわけではないため、もっともらしいが根拠のない回答を出すことがあります[1]。学習データの偏りや不完全な情報も一因です[1]。

どのような場合にリスクが高くなりますか。

NISTが挙げるのは、長い回答を求める自由度の高い質問と、専門知識や特定の文脈を要する分野です[2]。推論タスクを扱った研究論文は、学習に由来する2つの偏りを指摘しています。文の記憶と、コーパス全体から学習した使われ方の規則性です。著者らはこれらをハルシネーションの主な原因として示しています[5]。

自信ありげな口調はなぜ問題なのですか。

NISTによれば、リスクが生じるのは、利用者が誤った内容を、多くは回答の自信に満ちた口調のせいで信じ込み、それに基づいて行動したり広めたりするときです[2]。OWASPは過信(overreliance)を挙げています。利用者が生成された内容を正確かどうか確かめないまま過度に信頼し、誤情報の影響が大きくなります[1]。

AIは情報源を作り出すことがありますか。

あります。OWASPは、ChatGPTが架空の裁判例を作り出し、法廷で深刻な結果を招いた例を挙げています[1]。この事例の日付は、参照した資料には書かれていません。OWASPは、存在しないコードのライブラリを提案するプログラミング支援AIにも触れています[1]。したがって、AIが示したリンク、判例番号、パッケージ名は、証拠ではなく確認すべき記述です。

仕組み

概説論文は、ハルシネーションをいくつかの形で説明しています。ひとつは、もっともらしいが事実ではない内容が生み出されることという定義です[3]。別の論文は、利用者の依頼から外れた内容、すでに生成した文脈と矛盾する内容、世界について確立した知識から外れた内容だと述べています[4]。NISTも近い概念を挙げています。依頼とずれた内容や、同じ会話の中の先の主張と矛盾する内容です[2]。

従業員にとって、これは文章がなめらかであっても正確さの手がかりにはならないということです。2つの概説論文は、実際の利用場面でハルシネーションが信頼性の課題になると述べています[3][4]。

OWASPは、クロスチェックを対策のひとつに数えています。出力を信頼できる外部の情報源と比べるよう利用者に促すこと、重要または機微な情報には人による確認を設けること、確認する人がAIに頼りすぎないよう教育することです[1]。

実践の手順

手順は3段階です。

1段階目は、確認できる記述を取り出します。回答の中で、文書によって否定されうるものに下線を引いてください。数字、日付、人物や組織の名前、引用、法令などの参照先、ソフトウェアやライブラリの名前です。意見や一般的な言い換えは、同じ水準の確認を必要としません。

2段階目は、AIを経由せずに、独立した3つの情報源を探します。一次情報を優先してください。法律の条文、開発元のページ、関係機関の文書です。3つの情報源が互いに写し合っていてはいけません。2つの記事が同じ通信社の配信記事を使っているなら、情報源としては1つと数えます。リンクは自分で開いてください。AIが示したリンクも、確認すべき記述です。

3段階目は、判断するか、上に相談します。独立した3つの情報源がその事実を裏づけたなら、AIではなく一次情報を出典として示して使えます。情報源どうしが食い違う場合や、見つからない場合は、その記述を取り下げてください。判断、契約、社外向けの内容に関わるなら、その分野の専門家の意見を求めます。OWASPは、重要または機微な情報には人による監督を勧めています[1]。

落とし穴

  • 同じ出どころにたどり着く情報源。同じプレスリリースを引用する3つのページは、確認としては1回分にしかなりません。出どころまでさかのぼり、1つと数えてください。
  • 架空のリンク。OWASPは、モデルが存在しない参照先やライブラリを提案した事例を指摘しています[1]。開けないリンクは何も裏づけません。
  • 確証バイアス。回答に沿った情報だけを探してしまうことです。反対の情報も探し、検索するときはAIが使った言葉をそのまま使わないでください。
  • 確信に満ちた口調。NISTは、回答に表れた自信が、信じ込みを促すと指摘しています[2]。詳しい回答が短い回答より正確とは限りません。
  • コードのパッケージ名。OWASPは次のシナリオを説明しています。攻撃者は、プログラミング支援AIがよく捏造するライブラリ名を見つけ、その名前で本物の悪意あるパッケージを公開します。支援AIを信頼する開発者は、それと知らずに組み込んでしまいます[1]。コードについては、インストールする前に、そのライブラリが実在するか、誰が公開しているかを確認してください。
  • 自動チェックを保証と取り違えること。OWASPは、重要な出力に対する自動的な検証の仕組みも勧めています[1]。ただし、重要な情報に対する人による確認の代わりにはなりません。

なお、誤りは攻撃者がいなくても起こります。OWASPは、信頼性を確かめないまま医療診断のチャットボットを提供した企業が、訴えられて敗訴した例を挙げており、攻撃者は関与していません[1]。エア・カナダのチャットボットが旅行者に誤った情報を伝え、同社が訴えられて敗訴した例にも触れています[1]。これらの事例の日付は、参照した資料には書かれていません。

出典

  1. OWASP, 「LLM09:2025 Misinformation」. https://genai.owasp.org/llmrisk/llm092025-misinformation/ (2026年11月3日閲覧)
  2. NIST, 「Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile」. https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf (2026年11月3日閲覧)
  3. arXiv, 「A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions」. https://arxiv.org/abs/2311.05232 (2026年11月3日閲覧)
  4. arXiv, 「Siren's Song in the AI Ocean: A Survey on Hallucination in Large Language Models」. https://arxiv.org/abs/2309.01219 (2026年11月3日閲覧)
  5. arXiv, 「Sources of Hallucination by Large Language Models on Inference Tasks」. https://arxiv.org/abs/2305.14552 (2026年11月3日閲覧)