CyberpediaBrain

教師あり学習、教師なし学習、強化学習

AIシステムはどう学ぶのか:ラベル付きの例、ラベルのないデータ、試行と報酬。そして、学習データが重要な理由。

このページの内容
  1. 130秒でわかる要点
  2. 2概要
  3. 3よくある質問
  4. 4仕組み
  5. 5落とし穴
  6. 6出典
  7. 7この記事を引用する

30秒でわかる要点

発生する場所
メッセージを分類したり、不審な活動を見つけたり、エージェントを動かしたりするツールの中です。エージェントとは、試行を通じて学び、自分の行動に対する反応を受け取るプログラムのことです[1][2]。
攻撃者の狙い
例を挿入したり変更したりして、学習を歪めることです。NISTはこれをデータポイズニングと呼んでいます[2]。
とっさの行動
ツールの結果を信用する前に、そのツールの訓練に使われたデータがどこから来たのかを考えます。モデルの良さは、与えられたデータの良さを超えないことが多いからです[1]。

概要

一般的なAIシステムは、規則を一つずつ書いてプログラムされたものではありません。Googleによると[1]、機械学習(machine learning)とは、大量のデータを与えることで、システムが明示的にプログラムされなくても自ら学び、改善できるようにするものです。データの与え方によって、学ぶ内容が変わります。

Googleは4種類のモデルを紹介しています[1]。ここで説明するのは3つで、教師あり学習、教師なし学習、強化学習です。4つ目は半教師あり学習と呼ばれる混合型の手法で、データの一部にしかラベルが付いていません[1]。従業員にとって大切な点が1つあります。モデルは自らを訓練したデータに左右され[1]、攻撃者がそのデータを歪めようとすることがあります[2]。

よくある質問

3つの学び方の違いは何ですか

違いは、訓練中にシステムが何を受け取るかにあります。教師あり学習では、ラベル付きの例を受け取ります[1]。教師なし学習では、ラベルのないデータを受け取ります[1]。強化学習では、エージェントが環境とやり取りしながら、報酬を最大にするポリシー、つまり行動の仕方を学びます[2]。

AIツールは使われ始めてからも学び続けますか

NCSC(英国)[3]は、継続学習を、導入後のモデルについて、やり取りや利用時のフィードバックをもとに訓練を調整したり延長したりする方法の総称と定義しています。Google[1]は、モデルは新しいデータで再訓練でき、現実のユーザーからのフィードバックを受け取れると述べています。NIST[2]は、産業システムに対する攻撃の検出器は、稼働中に集めたデータで再訓練されることが多く、そのため攻撃者がポイズニングを仕掛ける余地が生まれると指摘しています。

データポイズニングとは何ですか

NIST[2]は、ポイズニング攻撃を、訓練の段階で行われる攻撃と定義しています。データポイズニングでは、敵対者が例を挿入したり変更したりして、訓練データの一部を支配します[2]。ENISA[4]は、データポイズニングを、敵対的攻撃やデータの持ち出しと並ぶ、機械学習システムを狙う脅威の1つに分類しています。

仕組み

教師あり学習:訂正された例で学ぶ

モデルはラベル付きのデータを受け取り、特徴をラベルに結びつけることを学びます[1]。Google[1]は、リンゴの認識を例に挙げています。アルゴリズムを訓練するために、リンゴとラベル付けされた画像を見せます。期待される答えは、あらかじめわかっています[1]。

NIST[2]は、教師ありの手法を2つの系統に分けています。分類は予測されるラベルが離散的なもので、回帰は連続的なものです。Microsoft[5]は、機械学習モデルの出力は多くの場合、スコアや分類のような数値であると指摘しています。

NIST[2]は、サンプルのメールで訓練されたスパム分類器を挙げています。マルウェア分類の事例も説明しています。ファイルが攻撃者によって脅威インテリジェンスのプラットフォームに提出されることがあり、ラベル付けはアンチウイルスのシグネチャやその他の外部の方法で行われるというものです[2]。

教師なし学習:指示なしでグループを見つける

モデルは、ラベルのないデータからパターンを学びます[1]。出力の「correctness」はあらかじめわかっていません。アルゴリズムは人の介入なしにデータから学び、属性に従ってグループに分けます[1]。リンゴとバナナの画像を与えると、自分で分けます[1]。Google[1]は、記述的なモデリングやパターンの探索に有効だとしており、一般的なアルゴリズムの1つとして、K-meansによるクラスタリングを挙げています。

セキュリティの分野では、NIST[2]が、マルウェアのクラスタリングと、ネットワークトラフィックの異常検知に使われる教師なしモデルに言及しています。どちらの用途でもポイズニングが実証されていると指摘しています[2]。

強化学習:試しながら学ぶ

Google[1]はこれを「learn by doing」、つまり試行錯誤による学習と説明しています。エージェントはフィードバックのループを通じて課題を学び、性能が望ましい水準に達するまで続けます。成功したときは正の強化を、失敗したときは負の強化を受け取ります[1]。Googleの例[1]では、研究者がアルゴリズムに囲碁を打つことを教えました。ルールを知らないまま、石をランダムに動かし、最終的に人間のプレイヤーに勝ちました。

NCSC(英国)[3]は、同機関のセキュリティ原則は強化学習を特に対象としていないと述べています。この手法は発展の仕方が異なるためです。原則は土台として使えますが、追加の安全対策がおそらく必要です[3]。

落とし穴

質の悪いデータ

Googleによると[1]、質の高い訓練データを前提にすると、アルゴリズムが受け取る例が多いほど、モデルは正確になります。逆に、偏ったデータセットを与えられたアルゴリズムは、偏った結果を出します[1]。構造化データの入手とクリーニングは、教師あり学習の重要な第一歩であり、データが組織内の複数の場所に散らばっているときは難しいことがあります[1]。

ポイズニングされたデータ

NIST[2]は、ポイズニングは大規模に仕組めると述べています。資金に限りのある敵対者でも、訓練に使われる公開データセットの一部を支配できる可能性があります。すべての例についてモデルを劣化させることも、狙った少数の例で誤りを引き起こすこともできます[2]。単純な方法であるラベル反転は、ラベルが誤っているか変更された訓練例を与えるものです[2]。

防御の効果にはばらつきがあります。すべての例についてモデルを劣化させる攻撃は、通常、精度や再現率といった一般的な性能指標を監視すれば検出できます[2]。これに対し、標的型の攻撃は、NISTによれば[2]「notoriously challenging to defend against」であり、NISTは対策として、訓練データへのアクセス制御、データのクリーニングと検証、データの出所と完全性の証明を挙げています。

NCSC(英国)[3]は、AIと機械学習のシステムには、従来の脅威に加えて考慮すべき新たな脆弱性があること、そしてセキュリティはシステムのライフサイクル全体を通じた要件でなければならないことを、改めて述べています。

訓練に触れなくてもモデルはだまされることがある

回避攻撃は、すでに訓練されたモデルに示す例を変更して、予測を変えさせる攻撃です[2]。NIST[2]は、市販のフィッシングページ検出器の研究を挙げています。システムが判断に迷った4,600件のサンプルのうち、著者らは100件の敵対的な例を特定しました。攻撃者は最適化の手法を使わず、画像のトリミング、マスキング、ぼかしといった単純な手法を使っていました[2]。

NIST[2]は、精度を保ちながら回避に強いモデルを設計することは、未解決の問題のままだと付け加えています。マルウェア検出器やメール保護システムに対する一部の回避は、研究者によって実証されましたが、実環境での攻撃にはつながっていません[2]。

データ量の必要性の違い

Microsoft[5]は、機械学習は少量のデータでも動作できるのに対し、深層学習は大量の訓練データを必要とすると述べています。

出典

  1. Google, 「What is Machine Learning? Types and uses」. https://cloud.google.com/learn/what-is-machine-learning (2026年11月14日閲覧)
  2. NIST, 「Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations」. https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-2e2025.pdf (2026年11月14日閲覧)
  3. NCSC (Royaume-Uni), 「Principles for security of Machine learning ML」, 2024年5月22日. https://www.ncsc.gov.uk/collection/machine-learning-principles (2026年11月14日閲覧)
  4. ENISA, 「Securing Machine Learning Algorithms | ENISA」, 2021年12月14日. https://www.enisa.europa.eu/publications/securing-machine-learning-algorithms (2026年11月14日閲覧)
  5. Microsoft, 「Deep Learning vs. Machine Learning - Azure Machine Learning」. https://learn.microsoft.com/en-us/azure/machine-learning/concept-deep-learning-vs-machine-learning?view=azureml-api-2 (2026年11月14日閲覧)