弁護士とChatGPTの偽判例
AIアシスタントは、もっともらしい架空の判決を作り出すことがあります。その理由と、仕事で引用を使う前に確認する方法を解説します。
30秒でわかる要点
- 起きる場所
- 引用、数字、判決を含む、AIアシスタントが作ったあらゆる文章。
- 攻撃者の狙い
- 攻撃者はいません。危険はモデル自体にあり、誰かが介入しなくても誤った回答を出すことがあります[1]。
- とっさの行動
- AIが示した引用、数字、参照情報は、元の情報源で確かめるまで使わないでください。仕事で使う前に、必ず人の目で確認してもらいます。
- 既にやってしまった場合
- 使った要素の出典をそれぞれ探し、確認できないものは直すか削除し、文書の宛先に知らせてください。
概要
AIアシスタントは、存在しない裁判の判決を作り出すことがあります。OWASPは、ChatGPTが架空の法的事例を作り出し、法廷で重大な結果を招いたと述べています[1]。AIアシスタントの文章をそのまま使う従業員にも、同じ危険があります。
ここで引用している情報源は、Mata v. Avianca事件の名前を挙げておらず、経緯も述べていません。そのため、この記事では関係者の名前も日付も制裁の内容も扱いません。情報源で確認できることだけを取り上げ、従業員が自分の仕事に生かせる点を説明します。
よくある質問
Mata v. Avianca事件では何が起きたのですか。
ここで引用している情報源のうち、この種の事例に触れているのはOWASPのページだけで、事件名は出していません。ChatGPTが架空の法的事例を作り出し、法廷で重大な支障が生じたと説明されています[1]。手続の詳細、日付、制裁の内容は書かれていません。
なぜAIは存在しない参照情報を作るのですか。
言語モデルは、事実のデータベースを調べているわけではありません。OWASPによると、モデルは学習データの欠けた部分を統計的なパターンで埋めており、内容を理解してはいません。そのため、回答は正しそうに見えても根拠がないことがあります[1]。NISTも同じ仕組みを説明しています。こうしたモデルは学習データの統計的分布に近い出力を作り、大規模言語モデルは文中の次の語を予測します[2]。
すぐに直る欠陥なのですか。
情報源はそうは約束していません。研究のレビューは、これらのモデルがもっともらしいが事実ではない内容を生成しうること、そして情報検索システムでの信頼性に重大な問題を投げかけていることを指摘しています[3]。理論的な研究は、大規模言語モデルのハルシネーションをなくすことは不可能であり、汎用の問題解決器として使えば必ずハルシネーションを起こすと主張しています[4]。
知っておくべき用語は何ですか。
NISTは、誤った内容が自信ありげに示されることを「confabulation(作話)」と呼び、日常的には「ハルシネーション」や「捏造」とも言うと説明しています[2]。どの語も同じ現象を指します。
自信に満ちた文章なら信頼できますか。
できません。NISTによると、危険が生じるのは、利用者が誤った内容を信じ、多くは回答の断定的な口調のせいで、それをもとに行動したときです[2]。
仕組み
モデルは真実を探すのではなく、最もありそうな語の連なりを出力します。NISTは、この統計的な予測から正確で一貫した出力が得られることもあれば、不正確な出力や、互いに矛盾する出力が得られることもあると述べています。長い回答を求める自由形式の質問や、文脈に即した専門知識が必要な分野では、この現象が特に目立つとしています[2]。 OWASPは、関連する二つの問題を区別しています。一つ目はハルシネーションで、モデルが正確に見えて実は作り話の内容を生成することです。二つ目は過度の信頼で、利用者が生成された文章を信用しすぎて正確さを確かめず、誤ったデータを重要な判断や業務プロセスに組み込んでしまうことです[1]。
あなたがすること
以下の対策は、OWASPとNISTの措置を従業員の立場から言い換えたものです。
- AIが出した引用、数字、参照情報は、すべて未確認のものとして扱ってください。OWASPは、利用者が出力を信頼できる外部の情報源と照合することを勧めています[1]。
- 元の情報源で確かめてください。判決の本文、公的な文書、研究論文などです。探しても見つからない参照情報は使いません。
- 一つの確認で済ませず、信頼できる外部の情報源を複数突き合わせてください[1]。
- 仕事で使う前に、人による確認を挟んでください。OWASPは、重要または機微な情報については、人による監督と事実確認のプロセスを求めており、確認する担当者には生成された内容に過度に頼らないよう訓練を受けさせるとしています[1]。
- AIで作成した部分は、読み手にわかるようにしてください。OWASPは、生成された内容を明示し、信頼性の限界を利用者に知らせることを勧めています[1]。
- 医療や司法手続のような機微な分野では、いっそう慎重に確認してください。OWASPは、根拠のない主張が問題になる場面として、これらを挙げています[1]。
落とし穴
自信ありげな口調
流れるような断定的な回答は、何の証拠にもなりません。NISTは、作話が、回答を裏づけるかのような架空の推論や引用の形をとることもあり、システムを誤って信頼してしまう原因になりうると指摘しています[2]。番号、管轄、日付まで細かく書かれた参照情報でも、本物である印にはなりません。
定着していく信頼
NISTは自動化バイアスを説明しています。技術が信頼できるように見えるほど、人はその出力に頼りすぎたり、その内容を他の情報源より優れていると判断したりしやすくなります。このバイアスは作話の危険を強めます[2]。十回続けて正しく答えたツールが、十一回目も正しいとは限りません。
AI自身に確認させる
ここで引用している情報源は、AIに自分の回答を確認させる場合を直接には調べていません。ただし、出力の信頼性に関する材料は示しています。ChatGPTを対象とした研究では、生成された文の17.7%に自己矛盾、つまり同じ文脈の中で互いに矛盾する二つの文が見つかりました。著者らはさらに、こうした矛盾の大部分、ChatGPTでは35.2%が、オンラインの文章では確認できないと述べています[5]。ChatGPTへの指示にもとづく検出器のF1スコアは約80%です[5]。研究には有用ですが、見逃される誤りが残ります。NISTも、回答が誤っている場合でも、モデルが推論の手順を示すことがあると指摘しています[2]。
問題はなくなると考える
理論的な研究はハルシネーションを避けられないものと判断しており[4]、研究のレビューは現在の限界を詳しく整理しています[3]。したがって、人による確認は今後も必要です。
法廷以外でも起きる同じ誤り
OWASPは別の事例も挙げています。Air Canadaのチャットボットが旅行者に誤った情報を伝え、同社が訴えられて敗訴しました[1]。また、存在しない、あるいは安全でないコードライブラリを提案するプログラミング支援も取り上げています[1]。OWASPが説明するシナリオでは、攻撃者がアシスタントのよく作り出すパッケージ名を調べ、その名前で本物の悪意あるパッケージを公開し、開発者がそれを組み込んでしまいます[1]。
出典
- OWASP, 「LLM09:2025 Misinformation」. https://genai.owasp.org/llmrisk/llm092025-misinformation/ (2026年11月3日閲覧)
- NIST, 「Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile」. https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf (2026年11月3日閲覧)
- arXiv, 「A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions」, 2023年11月9日. https://arxiv.org/abs/2311.05232 (2026年11月3日閲覧)
- arXiv, 「Hallucination is Inevitable: An Innate Limitation of Large Language Models」, 2024年1月22日. https://arxiv.org/abs/2401.11817 (2026年11月3日閲覧)
- arXiv, 「Self-contradictory Hallucinations of Large Language Models: Evaluation, Detection and Mitigation」, 2023年5月25日. https://arxiv.org/abs/2305.15852 (2026年11月3日閲覧)
この記事を引用する
Brain, 「弁護士とChatGPTの偽判例」, Cyberpedia, 2026. https:/
BibTeX
@misc{brain_cp272_ja_2026,
author = {Brain},
title = {弁護士とChatGPTの偽判例},
year = {2026},
howpublished = {Cyberpedia},
url = {https://startbrain.io/cyberpedia/ja/articles/bengoshi-nisehanrei-chatgpt-mata-avianca/},
note = {CC BY 4.0}
}