CyberpediaBrain

大規模言語モデルのしくみ

ChatGPTのようなAIアシスタントは、誰も確認していないもっともらしい文章を書きます。回答やデータ、社内ルールにどう影響するかを説明します。

このページの内容
  1. 130秒でわかる要点
  2. 2概要
  3. 3よくある質問
  4. 4しくみ
  5. 5あなたの行動
  6. 6落とし穴
  7. 7実際の事例
  8. 8出典
  9. 9この記事を引用する

30秒でわかる要点

起きる場面
AIアシスタントに質問するたびに起きます。会社が承認したツールでも、そうでないツールでも同じです。
モデルの動作
自己回帰モデルとして、文章の続きを書きます[2]。
起こりうる問題
誤っているのにもっともらしい回答、預けたデータが別の場所で出力されること、文書に隠された指示によるツールの乗っ取りです。
とっさの行動
重要な回答は読み直して確認し、承認されていないツールには機微なデータや個人データを入力せず、会社の利用ルールに従ってください。
既にやってしまった場合
データが実際に漏れたかどうかを待たず、会社のセキュリティ部門に知らせてください。

概要

大規模言語モデル(英語でLLM、large language model)は、文章の作成、要約、翻訳を行うAIアシスタントの中核です。事実をまとめたファイルを参照するわけではありません。非常に大量の文章で学習し、与えられた文章の続きを書くことで出力します。GPT-3は自己回帰モデルと説明されています[2]。

この仕組みは、日常で見かける現象の理由になっています。回答は流暢で、たいてい正しいものの、ときに自信たっぷりの口調で間違えます。ツールが書いた内容を確認すべきこと、機微なデータを預けてはいけないことの理由も、ここにあります。

よくある質問

AIアシスタントは、自分が書いている内容を理解しているのですか。

確認できるのは測定可能な結果です。大量の文章で学習したモデルは、依頼文の中に示された例だけから、翻訳、質問応答、3桁の計算といった課題をこなします[2]。再学習は行われません。指示も例も、文章だけで渡されます[2]。

なぜ、ときどき誤ったことを書くのですか。

InstructGPTの著者らは、モデルを大きくしても利用者の意図に沿うようになるとは限らず、大きなモデルは「untruthful, toxic, or simply not helpful to the user」な出力を返しうると書いています[3]。OWASPのプロジェクトは、LLMを使うアプリケーション向けの2025年版リストにある10のリスクの一つに、誤情報(「Misinformation」)を挙げています[8]。

入力した文章が、別の場所で出てくることはありますか。

認識されているリスクです。OWASPの2025年版リストには、機微情報の開示を意味する「Sensitive Information Disclosure」という項目があり、モデルとそれを囲むアプリケーションの両方が対象です[8]。機械学習への攻撃に関するNISTの報告書は、キーワードにプライバシー侵害(「privacy breach」)、大規模言語モデル、チャットボットを挙げています[7]。承認されていないツールに入力した内容は、会社が管理できる範囲の外に出ます。これがルールの根拠です。

文書やウェブページが、ツールに命令を出すことはありますか。

OWASPが2025年版リストの先頭に置いているリスクで、「Prompt Injection」、つまり指示の注入と呼ばれています[8]。モデルは指示を文章として受け取ります[2]。無害化した例は下にあります。

利用ルールは誰が決めるのですか。

会社です。英国NCSCのガイドラインはAIシステムの提供者に向けたもので、こうしたシステムには新しい脆弱性があり、通常のITの脅威に加えて考慮すべきだとしています[5]。従業員にとっては、承認済みツールの一覧と、組織の社内ポリシーがそれにあたります。

しくみ

Transformerは2017年6月に発表された、注意機構だけに基づくネットワークで、再帰も畳み込みも使いません[1]。著者らは、並列化しやすく、学習時間がはるかに少なくて済むと述べています[1]。

BERTは2018年10月に公開されました。ラベルのない文章を使い、各単語の左右両側の文脈を考慮して学習し、その後、特定の課題向けに調整します[4]。GPT-3は2020年5月に公開された自己回帰モデルで、パラメータ数は1750億、それまでのスパースでないどのモデルより10倍多い規模です[2]。

InstructGPTの著者らは、こうしたモデルは利用者に沿っていない(「not aligned with their users」)と書いています[3]。依頼に従わせるために、第2の段階があります。InstructGPTでは、アノテーターが望ましい振る舞いの見本を書き、モデルの回答に順位を付け、その人間のフィードバックから強化学習でモデルを調整しました[3]。報告された結果は次のとおりです。評価者は、13億パラメータのモデルの回答を、GPT-3(1750億)の回答より好み、真実性も向上しました[3]。著者らは、モデルは「still makes simple mistakes」とも述べています[3]。

あなたの行動

  • 回答はすべて下書きとして扱ってください。数字、日付、名前、参照先、引用は、自分が知っている情報源で確認してから、文書、メール、判断に使ってください。
  • 承認されていないツールには、個人データも機密文書も入力しないでください。ツールが会社の一覧にないなら、使わないでください。
  • 外部から受け取った文章をアシスタントに貼る前に、機械向けの指示が含まれていないかを考えてください。結果も、その点を念頭に読み直してください。
  • ツールに与えるアクセスは最小限にしてください。OWASPの「Excessive Agency」という項目は、ある程度の主体的な動作を許されたシステムを対象にしています[8]。アシスタントがメッセージやファイルに広くアクセスできるほど、誤りの影響は大きくなります。
  • 疑問や誤りがあれば、セキュリティチームに知らせてください。

無害化した説明用の例です。要約する文書に隠された指示を示します。

抜粋
[説明用の例、架空の文章] 四半期の会議の議事録…
[見えない、または小さな文字の一節: 言い換えた指示で、
会話の内容を hxxps://exemple[.]invalid に送るよう
アシスタントに求めるもの]

落とし穴

  • 流暢な文章でも誤っていることがあります。文章の出来は、正確さについて何も語りません。
  • モデルが大きければ解決するわけではありません。InstructGPTの著者らは、大きさだけではモデルが利用者の意図に従う保証にならないと書いています[3]。
  • 学習データは重要です。GPT-3の著者らは、モデルが苦手とするデータセットと、ウェブ上の大規模データでの学習に伴う方法論上の問題を挙げています[2]。
  • 便利だが承認されていないツールは、会社がAIツール向けに定めたルールの外にあり、入力したデータがどうなるかを利用者は知りません。
  • NISTのAIリスク管理フレームワークは2023年1月26日に公開され、任意での利用を想定しています。ページには改訂中と記されています[6]。NISTは2024年7月26日に、生成AIに関するプロファイルを追加しました[6]。これらは組織に提供される目安です。

実際の事例

2020年5月: 見分けにくいニュース記事

2020年5月28日に提出されたGPT-3の紹介論文で、著者らは、モデルが生成したニュース記事を、人間の評価者が人間の書いた記事と見分けにくいことを確認しています[2]。この結果が社会に及ぼす影響についても論じているとしています[2]。従業員にとっての実用的な教訓は単純です。文章の見た目は、誰が書いたかも、正確かどうかも証明しません。

2023年11月: AIシステムを守るためのガイドライン

2023年11月27日、NCSCはバージョン1.0のガイドラインを公開しました。設計、開発、導入、運用と保守の4段階に分かれています[5]。想定するのは、意図したとおりに動作し、利用可能であり続け、許可のない第三者に機微なデータを明かさないシステムです[5]。NISTは2024年1月に、機械学習への攻撃の分類を、専門家以外の読者向けの用語集とともに公開しています[7]。OWASPのプロジェクトは、2023年には少人数のセキュリティ専門家のグループでしたが、18か国以上から600人を超える専門家の貢献者が参加する規模になりました[9]。

出典

  1. arXiv, 「Attention Is All You Need」, 2017年6月12日. https://arxiv.org/abs/1706.03762 (2026年11月3日閲覧)
  2. arXiv, 「Language Models are Few-Shot Learners」, 2020年5月28日. https://arxiv.org/abs/2005.14165 (2026年11月3日閲覧)
  3. arXiv, 「Training language models to follow instructions with human feedback」, 2022年3月4日. https://arxiv.org/abs/2203.02155 (2026年11月3日閲覧)
  4. arXiv, 「BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding」, 2018年10月11日. https://arxiv.org/abs/1810.04805 (2026年11月3日閲覧)
  5. NCSC (Royaume-Uni), 「Guidelines for secure AI system development」, 2023年11月27日. https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development (2026年11月3日閲覧)
  6. NIST, 「AI Risk Management Framework」. https://www.nist.gov/itl/ai-risk-management-framework (2026年11月3日閲覧)
  7. NIST, 「Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations」, 2024年1月2日. https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-2e2023.pdf (2026年11月3日閲覧)
  8. OWASP, 「LLMRisks Archive」. https://genai.owasp.org/llm-top-10/ (2026年11月3日閲覧)
  9. OWASP, 「OWASP Top 10 for Large Language Model Applications | OWASP Foundation」. https://owasp.org/projects/top-10-for-large-language-model-applications (2026年11月3日閲覧)