CyberpediaBrain

契約書をAIに確認させる:見つけられること、見落とすこと

AIアシスタントは契約書のリスクのある条項を見つけられますが、見落としや捏造もあります。測定された限界と取るべき行動。

このページの内容
  1. 130秒でわかる要点
  2. 2概要
  3. 3よくある質問
  4. 4仕組み
  5. 5あなたの行動
  6. 6落とし穴
  7. 7出典
  8. 8この記事を引用する

30秒でわかる要点

発生する場所
AIアシスタントに、契約書の中のリスクのある条項を見つけるよう頼むときです[1]。
起きうる問題
関連する条項があるのにno related clauseと答えるモデルがあり[1]、モデルが根拠のない法的主張を作り出すこともあります[2]。
とっさの行動
公開モデルへの質問に機密情報を入れず[3]、重要な案件では結果を人に確認してもらいます[2]。

概要

研究者たちは、言語モデルが商用契約書の法的リスクを条項ごとに特定する能力を測定しました。ベンチマークのContractEvalは、プロプライエタリモデル4つとオープンソースモデル15個を試験しました[1]。研究者たちは、ほとんどのモデルが経験の浅い法務アシスタントに匹敵する水準に達していると結論づけています[1]。

この記事では、これらの研究から分かること、AIアシスタントが見落としたり捏造したりすることがある内容、そして文書を預ける前に取るべき行動を、従業員の方に向けて説明します。

よくある質問

AIアシスタントは契約書のすべての条項を見つけますか

ContractEvalの研究では、そう断言することはできません。著者らはContract Understanding Atticus Dataset (CUAD)というデータセットを使いました[1]。オープンソースモデルは、関連する条項があってもno related clauseという回答をより頻繁に出すと観察されています[1]。著者らは、これを推論におけるlazinessの兆候、またはモデルが関連する内容を抽出する確信の低さの兆候である可能性があると見ています[1]。

プロプライエタリモデルは、回答の正確さと効率の点でオープンソースモデルより良い結果を出していますが、一部のオープンソースモデルは特定の点で競争力を保っています[1]。

推論モードを使うと、分析は信頼できるものになりますか

必ずしもそうではありません。ContractEvalによると、推論モード(thinking)は回答の効率を高めますが、正確さを下げます。おそらく、より単純な作業を必要以上に複雑にするためです[1]。

AIは存在しない条文や判決を作り出すことがありますか

はい。OWASPは、ChatGPTが架空の法的事案を作り出し、裁判所で大きな影響を及ぼした例を挙げています[2]。OWASPはこれを幻覚(ハルシネーション)と呼んでいます。モデルが正確に見えるが捏造された内容を生成することです[2]。Alex Dantartの技術報告書は、法律分野に適用された言語モデルの幻覚の問題を、その原因と現れ方とともに分析しています[4]。

なぜ間違った回答が自信ありげに見えるのですか

OWASPは、モデルによる誤情報を、信頼できそうに見える誤った、または誤解を招く情報と説明しています[2]。NCSC(英国)は2023年に、モデルには、正しいかどうかにかかわらず説得力があるように見えるという欠点があると書いていました[3]。また、特に専門的な話題では、回答が一部しか正しくないことがあるとも述べていました[3]。

契約書を公開のアシスタントに貼り付けてもよいですか

NCSCは、公開モデルへの質問に機密情報を含めないこと、公開されたら困るような質問を送らないことを勧めています[3]。また、文脈を与えるために質問へ大量のテキスト、場合によっては文書全体をコピーする慣行も説明しており、公開モデルで機密情報を扱う場合にはこれを勧めていません[3]。

アシスタントに書いた内容はどうなりますか

NCSCによると、質問はモデルを提供する組織から見ることができ、保存され、将来、サービスやモデルの開発にほぼ確実に使われます[3]。執筆時点でNCSCは、モデルが質問の情報を自動的に他の利用者向けのモデルに追加することはないと説明していました[3]。また、オンラインに保存された質問は、ハッキングされたり漏えいしたりすることがあり、より起こりやすいのは誤って公開されることだと述べています[3]。

こうしたリスクを評価する枠組みはありますか

NISTは2023年1月26日に、任意で利用できるAI Risk Management Frameworkを公表しました[5]。2024年7月26日には、生成AIに特化したプロファイルNIST-AI-600-1を公表しました。これは、組織がこうしたツール特有のリスクを特定するのに役立つ可能性があります[5]。

仕組み

NCSCによると、言語モデルは大量のテキストで訓練されており、そこから単語間の関係に基づく確率モデルを作ります[3]。OWASPは、幻覚は、モデルが訓練データの欠落を統計的な規則性で埋め、内容を理解していないために起きると説明しています[2]。そのため、正しく見えても根拠のない回答を出すことがあります[2]。

よく使われる対策が、Retrieval-Augmented Generation (RAG)です。OWASPが勧めており、回答の生成中に、信頼できる外部のデータベースから関連する検証済みの情報を取得する方法で、幻覚を抑えるのに役立ちます[2]。RAGに関する文献レビューは、RAGを言語モデルと情報検索システムの組み合わせとして紹介しており、事実の裏づけを強め、幻覚を和らげることを目的としています[6]。同じレビューは、残る課題の中に、情報検索の質とプライバシーの問題を挙げています[6]。Alex Dantartの報告書も、RAGの有効性を検討し、その限界を示しています[4]。

あなたの行動

  • テキストを貼り付ける前に、その中身を確認してください。NCSCは、公開モデルへの質問に機密情報を含めないよう勧めています[3]。
  • 機密性の高い質問をする前に、ツールの利用規約とプライバシーポリシーを読んでください。NCSCは、それらを十分に理解しておく必要があると述べています[3]。
  • クラウド事業者が提供するツールについて、NCSCは組織に、データがどう扱われるかを理解するよう促しています。提供元の研究者やパートナーはデータにアクセスできるか、提供元の従業員はどのような条件で質問を見られるか、という点です[3]。
  • 回答を、信頼できる外部の情報源と突き合わせてください。OWASPは、この確認を促すこと、そして特に重要または機密性の高い情報については、人による監督と事実確認を設けることを勧めています[2]。
  • no related clauseという回答を、適用される条項がないことの証拠だと受け取らないでください。ContractEvalは、関連する条項があるのにこうした回答が出た例を確認しています[1]。
  • 判断は自分の手に残してください。Alex Dantartの報告書は、代わりのきかないものとして人による監督を重視し、「助言型」のAIを提案しています。専門家の判断を置き換えるのではなく、増幅する道具です[4]。

落とし穴

  • 過度の信頼。OWASPは、生成された内容の正確さを確かめずに過度に信頼することをこう呼んでいます。誤った情報が判断に入り込むと、その影響が悪化します[2]。
  • 初心者レベル。ContractEvalの著者らは、ほとんどのモデルを経験の浅い法務アシスタントに例え、オープンソースモデルが、利害の大きい法的場面で正確かつ効率的であるには、的を絞った調整(fine-tuning)が必要だと考えています[1]。
  • 推論モードを品質の保証と取り違えること。ContractEvalの試験では、推論モードは正確さを下げています[1]。
  • もっともらしい回答。NCSCは、説得力のある回答が一部しか正しくないことがあると述べています[3]。

出典

  1. arXiv, 「ContractEval: Benchmarking LLMs for Clause-Level Legal Risk Identification in Commercial Contracts」, 2025年8月5日. https://arxiv.org/abs/2508.03080 (2026年11月14日閲覧)
  2. OWASP, 「LLM09:2025 Misinformation」, 2024年4月10日. https://genai.owasp.org/llmrisk/llm092025-misinformation/ (2026年11月14日閲覧)
  3. NCSC (Royaume-Uni), 「ChatGPT and large language models: what's the risk?」, 2023年3月14日. https://www.ncsc.gov.uk/blog-post/chatgpt-and-large-language-models-whats-the-risk (2026年11月14日閲覧)
  4. arXiv, 「Inteligencia Artificial jurídica y el desafío de la veracidad: análisis de alucinaciones, optimización de RAG y principios para una integración responsable」, 2025年9月11日. https://arxiv.org/abs/2509.09467 (2026年11月14日閲覧)
  5. NIST, 「AI Risk Management Framework」, 2021年7月12日. https://www.nist.gov/itl/ai-risk-management-framework (2026年11月14日閲覧)
  6. arXiv, 「A Systematic Review of Key Retrieval-Augmented Generation (RAG) Systems: Progress, Gaps, and Future Directions」, 2025年7月25日. https://arxiv.org/abs/2507.18910 (2026年11月14日閲覧)