AIモデルはどう訓練され、調整されるのか
事前学習、ファインチューニング、RLHF、DPOという、AIアシスタントができるまでの段階と、それが仕事での使い方に何を意味するかを解説します。
30秒でわかる要点
- どこで起きるか
- 公開のものでも会社が提供するものでも、AIアシスタントに質問するたびに起きます。
- これらのシステムを脅かすもの
- NISTの報告書は、データポイズニング、回避、悪用などを挙げています[8]。
- とっさの行動
- 回答は使う前に必ず読み直して確かめます。会社の許可なく、機密データをツールに貼り付けてはいけません。
- すでにやってしまったら
- セキュリティ部門またはAI担当者に連絡し、使ったツールと入力したデータの種類を伝えます。
概要
AIアシスタントは、一度の訓練で完成するわけではありません。大量の文章の読み込み、指示の例による学習、評価者の好みに合わせた調整という、複数の段階を順に経ます。 従業員にとっての意味は実用的です。回答がどのように作られるかを知っていれば、その回答をどこまで信頼できるか、何を任せてよいかを判断しやすくなります。
よくある質問
AIアシスタントはどんな段階を経て作られますか
三つの段階があります。事前学習では、非常に大きな文章コーパスからモデルが言語の一般的な知識を得ます。教師ありファインチューニング(SFT)では、良い回答の例をもとに、指示に答えることを学びます。続いてアラインメント(調整)で、RLHFやDPOといった手法により、人間の好みに沿うよう振る舞いを整えます。
事前学習では何が行われますか
2017年に発表されたTransformerアーキテクチャは、注意機構のみに基づいています[1]。よく使われる方法は、大規模な文章コーパスでモデルを事前学習し、そのあと特定のタスク向けに微調整するというものです[2]。たとえばGPT-3は1750億パラメータの言語モデルで、それまでのスパースでないどのモデルよりも10倍大きいとされています[2]。
教師ありファインチューニングは何をもたらしますか
InstructGPTの場合、研究者は評価者が書いた指示と、OpenAIのAPI経由で送られた指示を集めました。望ましい振る舞いの実演を集め、それを使って教師あり学習でGPT-3を微調整しました[3]。従業員が覚えておくべき点は、InstructGPTでは、OpenAIのAPI経由で送られた指示がデータセットの土台になったことです[3]。
RLHFとDPOとは何ですか
RLHF(人間のフィードバックによる強化学習)は、第二の段階を加えます。研究者はモデルの回答の順位づけを集め、それを使って教師ありモデルをさらに微調整します[3]。評価者が回答を比べ、システムは評価者が好むほうの回答を出すことを学びます。別の著者らはこの方法を適用して、役に立ち、かつ害のないアシスタントを得ており、この訓練がほぼすべての自然言語処理の評価で成績を向上させると述べています[4]。
DPO(Direct Preference Optimization)は、同じ目的をより簡単に目指します。著者らはRLHFを複雑で不安定になりがちな手順と述べ、それを単純な分類損失に置き換える方法を提案しています[5]。著者らによれば、DPOは既存の手法と同等か、それ以上によく、モデルを好みに合わせます[5]。
仕組み
事前学習では、モデルが大規模な文章コーパスを吸収します[2]。DPOの著者らは、この訓練が完全に教師なしであるため、振る舞いを細かく制御するのが難しいと指摘しています[5]。
続く二つの段階は、それを補うためのものです。ファインチューニングでは、期待される回答を学びます。アラインメントでは、考えられる複数の回答の質について、人間または別のモデルの判断が加わります[3][6]。
非常に大きなモデルを全体にわたって微調整するには、費用がかかります。LoRAという方法は、事前学習済みモデルの重みを固定し、訓練可能な小さな行列を追加します。GPT-3 175Bでは、完全な微調整と比べて、訓練するパラメータ数を1万分の1に、必要なGPUメモリを3分の1に減らします[7]。
あなたの行動
落とし穴
NISTのAI 100-2 E2025報告書は、機械学習システムへの攻撃について共通の用語を定めています。キーワードには、データポイズニング(data poisoning)、回避、悪用、プライバシー侵害があります[8]。対話型エージェントや大規模言語モデルも対象に含まれます[8]。
こうした製作段階から、次のような落とし穴が生じます。
- 細工された訓練データや微調整用データが、モデルを歪めるおそれがあります。NISTの報告書は、データポイズニングを整理された攻撃の一つに挙げています[8]。
- NISTは、悪用と回避も、攻撃に関する報告書のキーワードに入れています[8]。
- 機密情報が漏れるおそれがあります。英国のNCSCは、AIシステムが「without revealing sensitive data to unauthorised parties」動作することを求めています[9]。大規模言語モデルを使うアプリケーションを扱うOWASPのプロジェクトは、こうしたアプリケーションで最も重大なセキュリティ上の脆弱性を整理しています[10]。
NCSCはさらに、AIシステムには新しい種類の脆弱性があり、通常のIT上の脅威に加えて考慮すべきだと述べています[9]。
実際の事例
出典
- arXiv, 「Attention Is All You Need」, 2017年6月12日. https://arxiv.org/abs/1706.03762 (2026年11月3日閲覧)
- arXiv, 「Language Models are Few-Shot Learners」, 2020年5月28日. https://arxiv.org/abs/2005.14165 (2026年11月3日閲覧)
- arXiv, 「Training language models to follow instructions with human feedback」, 2022年3月4日. https://arxiv.org/abs/2203.02155 (2026年11月3日閲覧)
- arXiv, 「Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback」, 2022年4月12日. https://arxiv.org/abs/2204.05862 (2026年11月3日閲覧)
- arXiv, 「Direct Preference Optimization: Your Language Model is Secretly a Reward Model」, 2023年5月29日. https://arxiv.org/abs/2305.18290 (2026年11月3日閲覧)
- arXiv, 「Constitutional AI: Harmlessness from AI Feedback」, 2022年12月15日. https://arxiv.org/abs/2212.08073 (2026年11月3日閲覧)
- arXiv, 「LoRA: Low-Rank Adaptation of Large Language Models」, 2021年6月17日. https://arxiv.org/abs/2106.09685 (2026年11月3日閲覧)
- NIST, 「Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations」, 2025年3月24日. https://csrc.nist.gov/pubs/ai/100/2/e2025/final (2026年11月3日閲覧)
- NCSC (Royaume-Uni), 「Guidelines for secure AI system development」, 2023年11月27日. https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development (2026年11月3日閲覧)
- OWASP, 「OWASP Top 10 for Large Language Model Applications」. https://owasp.org/projects/top-10-for-large-language-model-applications (2026年11月3日閲覧)
この記事を引用する
Brain, 「AIモデルはどう訓練され、調整されるのか」, Cyberpedia, 2026. https:/
BibTeX
@misc{brain_cp261_ja_2026,
author = {Brain},
title = {AIモデルはどう訓練され、調整されるのか},
year = {2026},
howpublished = {Cyberpedia},
url = {https://startbrain.io/cyberpedia/ja/articles/ai-moderu-no-kunren-to-alignment-pretraining-fine-tuning-rlhf-dpo/},
note = {CC BY 4.0}
}