---
id: CP-261
slug: ai-moderu-no-kunren-to-alignment-pretraining-fine-tuning-rlhf-dpo
lang: ja
title: AIモデルはどう訓練され、調整されるのか
description: 事前学習、ファインチューニング、RLHF、DPOという、AIアシスタントができるまでの段階と、それが仕事での使い方に何を意味するかを解説します。
canonical_url: https://startbrain.io/cyberpedia/ja/articles/ai-moderu-no-kunren-to-alignment-pretraining-fine-tuning-rlhf-dpo/
markdown_url: https://startbrain.io/cyberpedia/ja/articles/ai-moderu-no-kunren-to-alignment-pretraining-fine-tuning-rlhf-dpo.md
publisher: Brain (https://startbrain.io)
license: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/)
cite_as: Brain, 「AIモデルはどう訓練され、調整されるのか」, Cyberpedia, 2026. https://startbrain.io/cyberpedia/ja/articles/ai-moderu-no-kunren-to-alignment-pretraining-fine-tuning-rlhf-dpo/ (CC BY 4.0)
wing: 4
theme: understand_ai
reflex: air-001
schema: G3
updated: "2026-11-03"
translations:
  ja: https://startbrain.io/cyberpedia/ja/articles/ai-moderu-no-kunren-to-alignment-pretraining-fine-tuning-rlhf-dpo/
  fr: https://startbrain.io/cyberpedia/fr/articles/pre-entrainement-fine-tuning-alignement-rlhf-dpo/
  en: https://startbrain.io/cyberpedia/en/articles/pretraining-fine-tuning-rlhf-dpo-alignment/
  de: https://startbrain.io/cyberpedia/de/articles/training-und-alignment-von-ki-modellen-pretraining-fine-tuning-rlhf-dpo/
  es: https://startbrain.io/cyberpedia/es/articles/preentrenamiento-fine-tuning-alineacion-rlhf-dpo/
  it: https://startbrain.io/cyberpedia/it/articles/preaddestramento-fine-tuning-allineamento-rlhf-dpo/
  nl: https://startbrain.io/cyberpedia/nl/articles/training-en-alignment-van-ai-modellen-pretraining-fine-tuning-rlhf-dpo/
  pl: https://startbrain.io/cyberpedia/pl/articles/pretrening-fine-tuning-alignment-rlhf-dpo/
  pt: https://startbrain.io/cyberpedia/pt/articles/pre-treino-fine-tuning-alinhamento-rlhf-dpo/
sources:
  - "n": 1
    title: Attention Is All You Need
    publisher: arXiv
    url: https://arxiv.org/abs/1706.03762
    published: "2017-06-12"
    accessed: "2026-11-03"
  - "n": 2
    title: Language Models are Few-Shot Learners
    publisher: arXiv
    url: https://arxiv.org/abs/2005.14165
    published: "2020-05-28"
    accessed: "2026-11-03"
  - "n": 3
    title: Training language models to follow instructions with human feedback
    publisher: arXiv
    url: https://arxiv.org/abs/2203.02155
    published: "2022-03-04"
    accessed: "2026-11-03"
  - "n": 4
    title: Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback
    publisher: arXiv
    url: https://arxiv.org/abs/2204.05862
    published: "2022-04-12"
    accessed: "2026-11-03"
  - "n": 5
    title: "Direct Preference Optimization: Your Language Model is Secretly a Reward Model"
    publisher: arXiv
    url: https://arxiv.org/abs/2305.18290
    published: "2023-05-29"
    accessed: "2026-11-03"
  - "n": 6
    title: "Constitutional AI: Harmlessness from AI Feedback"
    publisher: arXiv
    url: https://arxiv.org/abs/2212.08073
    published: "2022-12-15"
    accessed: "2026-11-03"
  - "n": 7
    title: "LoRA: Low-Rank Adaptation of Large Language Models"
    publisher: arXiv
    url: https://arxiv.org/abs/2106.09685
    published: "2021-06-17"
    accessed: "2026-11-03"
  - "n": 8
    title: "Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations"
    publisher: NIST
    url: https://csrc.nist.gov/pubs/ai/100/2/e2025/final
    published: "2025-03-24"
    accessed: "2026-11-03"
  - "n": 9
    title: Guidelines for secure AI system development
    publisher: NCSC (Royaume-Uni)
    url: https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development
    published: "2023-11-27"
    accessed: "2026-11-03"
  - "n": 10
    title: OWASP Top 10 for Large Language Model Applications
    publisher: OWASP
    url: https://owasp.org/projects/top-10-for-large-language-model-applications
    accessed: "2026-11-03"
---

# AIモデルはどう訓練され、調整されるのか

AIアシスタントは、一度の訓練で完成するわけではありません。大量の文章の読み込み、指示の例による学習、評価者の好みに合わせた調整という、複数の段階を順に経ます。
従業員にとっての意味は実用的です。回答がどのように作られるかを知っていれば、その回答をどこまで信頼できるか、何を任せてよいかを判断しやすくなります。

## 30秒でわかる要点

- どこで起きるか: 公開のものでも会社が提供するものでも、AIアシスタントに質問するたびに起きます。
- これらのシステムを脅かすもの: NISTの報告書は、データポイズニング、回避、悪用などを挙げています[8]。
- とっさの行動: 回答は使う前に必ず読み直して確かめます。会社の許可なく、機密データをツールに貼り付けてはいけません。
- すでにやってしまったら: セキュリティ部門またはAI担当者に連絡し、使ったツールと入力したデータの種類を伝えます。

## よくある質問

### AIアシスタントはどんな段階を経て作られますか

三つの段階があります。事前学習では、非常に大きな文章コーパスからモデルが言語の一般的な知識を得ます。教師ありファインチューニング(SFT)では、良い回答の例をもとに、指示に答えることを学びます。続いてアラインメント(調整)で、RLHFやDPOといった手法により、人間の好みに沿うよう振る舞いを整えます。

### 事前学習では何が行われますか

2017年に発表されたTransformerアーキテクチャは、注意機構のみに基づいています[1]。よく使われる方法は、大規模な文章コーパスでモデルを事前学習し、そのあと特定のタスク向けに微調整するというものです[2]。たとえばGPT-3は1750億パラメータの言語モデルで、それまでのスパースでないどのモデルよりも10倍大きいとされています[2]。

### 教師ありファインチューニングは何をもたらしますか

InstructGPTの場合、研究者は評価者が書いた指示と、OpenAIのAPI経由で送られた指示を集めました。望ましい振る舞いの実演を集め、それを使って教師あり学習でGPT-3を微調整しました[3]。従業員が覚えておくべき点は、InstructGPTでは、OpenAIのAPI経由で送られた指示がデータセットの土台になったことです[3]。

### RLHFとDPOとは何ですか

RLHF(人間のフィードバックによる強化学習)は、第二の段階を加えます。研究者はモデルの回答の順位づけを集め、それを使って教師ありモデルをさらに微調整します[3]。評価者が回答を比べ、システムは評価者が好むほうの回答を出すことを学びます。別の著者らはこの方法を適用して、役に立ち、かつ害のないアシスタントを得ており、この訓練がほぼすべての自然言語処理の評価で成績を向上させると述べています[4]。

DPO(Direct Preference Optimization)は、同じ目的をより簡単に目指します。著者らはRLHFを複雑で不安定になりがちな手順と述べ、それを単純な分類損失に置き換える方法を提案しています[5]。著者らによれば、DPOは既存の手法と同等か、それ以上によく、モデルを好みに合わせます[5]。

### AIが別のAIを監督することもできますか

できます。それがConstitutional AIの考え方です。人間による監督は規則や原則の一覧だけで、モデル自身が自分の回答への批評と修正を作ります[6]。無害性については、有害な回答を示す人間のラベルはなく、二つの回答のどちらが良いかをモデルが評価します[6]。

### 丁寧なモデルは信頼できるモデルですか

いいえ。InstructGPTの著者らは、大きなモデルが必ずしも利用者の意図によく従うわけではなく、誤った回答、有害な回答、単に役に立たない回答を出すことがあると述べています[3]。調整を経たあとでも、InstructGPTは「still makes simple mistakes」としています[3]。丁寧で自信に満ちた口調は、内容が正確かどうかの証拠にはなりません。

## 仕組み

事前学習では、モデルが大規模な文章コーパスを吸収します[2]。DPOの著者らは、この訓練が完全に教師なしであるため、振る舞いを細かく制御するのが難しいと指摘しています[5]。

続く二つの段階は、それを補うためのものです。ファインチューニングでは、期待される回答を学びます。アラインメントでは、考えられる複数の回答の質について、人間または別のモデルの判断が加わります[3][6]。

非常に大きなモデルを全体にわたって微調整するには、費用がかかります。LoRAという方法は、事前学習済みモデルの重みを固定し、訓練可能な小さな行列を追加します。GPT-3 175Bでは、完全な微調整と比べて、訓練するパラメータ数を1万分の1に、必要なGPUメモリを3分の1に減らします[7]。

## あなたの行動

- 重要な回答は確認してください。数字、参照元、名前、規則の引用などです。モデルは誤った内容を出すことがあります[3]。
- 会社が承認していないツールに、機密データ(顧客、契約、社内コード、個人データ)を貼り付けないでください。InstructGPTでは、OpenAIのAPI経由で送られた指示がデータセットの土台になりました[3]。
- 会社の利用方針に従ってください。どのツールが許可され、どのデータを入力できるかが書かれています。
- モデルの挙動がおかしいときや、出てはいけない情報を明かしているように見える回答があったときは、報告してください。

## 落とし穴

NISTのAI 100-2 E2025報告書は、機械学習システムへの攻撃について共通の用語を定めています。キーワードには、データポイズニング(data poisoning)、回避、悪用、プライバシー侵害があります[8]。対話型エージェントや大規模言語モデルも対象に含まれます[8]。

こうした製作段階から、次のような落とし穴が生じます。

- 細工された訓練データや微調整用データが、モデルを歪めるおそれがあります。NISTの報告書は、データポイズニングを整理された攻撃の一つに挙げています[8]。
- NISTは、悪用と回避も、攻撃に関する報告書のキーワードに入れています[8]。
- 機密情報が漏れるおそれがあります。英国のNCSCは、AIシステムが「without revealing sensitive data to unauthorised parties」動作することを求めています[9]。大規模言語モデルを使うアプリケーションを扱うOWASPのプロジェクトは、こうしたアプリケーションで最も重大なセキュリティ上の脆弱性を整理しています[10]。

NCSCはさらに、AIシステムには新しい種類の脆弱性があり、通常のIT上の脅威に加えて考慮すべきだと述べています[9]。

## 実際の事例

### 2022年3月: 調整された小さなモデルが、大きな未調整モデルより好まれた

2022年3月4日に公開された論文で、著者らは人間による評価でモデルを比較しています。パラメータ13億のInstructGPTモデルの回答は、パラメータ1750億のGPT-3より好まれ、パラメータ数は100分の1です[3]。同じ研究は、真実性の向上と有害な内容の減少も報告しています[3]。従業員にとっての教訓は限定的です。アラインメントは回答を人々の好みに近づけますが、誤りをなくすわけではなく、著者らもなお誤りが残ることを認めています[3]。

## 出典

1. arXiv, 「Attention Is All You Need」, 2017年6月12日. https://arxiv.org/abs/1706.03762 (2026年11月3日閲覧)
2. arXiv, 「Language Models are Few-Shot Learners」, 2020年5月28日. https://arxiv.org/abs/2005.14165 (2026年11月3日閲覧)
3. arXiv, 「Training language models to follow instructions with human feedback」, 2022年3月4日. https://arxiv.org/abs/2203.02155 (2026年11月3日閲覧)
4. arXiv, 「Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback」, 2022年4月12日. https://arxiv.org/abs/2204.05862 (2026年11月3日閲覧)
5. arXiv, 「Direct Preference Optimization: Your Language Model is Secretly a Reward Model」, 2023年5月29日. https://arxiv.org/abs/2305.18290 (2026年11月3日閲覧)
6. arXiv, 「Constitutional AI: Harmlessness from AI Feedback」, 2022年12月15日. https://arxiv.org/abs/2212.08073 (2026年11月3日閲覧)
7. arXiv, 「LoRA: Low-Rank Adaptation of Large Language Models」, 2021年6月17日. https://arxiv.org/abs/2106.09685 (2026年11月3日閲覧)
8. NIST, 「Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations」, 2025年3月24日. https://csrc.nist.gov/pubs/ai/100/2/e2025/final (2026年11月3日閲覧)
9. NCSC (Royaume-Uni), 「Guidelines for secure AI system development」, 2023年11月27日. https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development (2026年11月3日閲覧)
10. OWASP, 「OWASP Top 10 for Large Language Model Applications」. https://owasp.org/projects/top-10-for-large-language-model-applications (2026年11月3日閲覧)

---

原典: Cyberpedia(Brainが公開するサイバーセキュリティとAIの公開百科事典)。正規版: https://startbrain.io/cyberpedia/ja/articles/ai-moderu-no-kunren-to-alignment-pretraining-fine-tuning-rlhf-dpo/
この文章は、上記のURLへのリンクとともに「Brain, Cyberpedia」と明記すれば、ライセンス CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) のもとで自由に再利用できます。
