CyberpediaBrain

画像認識AIに対する敵対的サンプル

肉眼ではほぼ同じに見える画像や1枚のステッカーで、画像認識モデルを誤らせることができます。原理、日付のある事例、防御を説明します。

このページの内容
  1. 130秒でわかる要点
  2. 2概要
  3. 3よくある質問
  4. 4攻撃者の視点
  5. 5画面に見えるもの
  6. 6内部の仕組み
  7. 7事例の検証
  8. 8あなたの行動
  9. 9落とし穴
  10. 10防御と参照枠組み
  11. 11出典
  12. 12この記事を引用する

30秒でわかる要点

発生する場所
画像を読み取るシステム、特にカメラなどのセンサーからデータを受け取るものです[1]。
攻撃者の狙い
自分の選んだ特定の答えを出させることです。たとえば、標識を別の分類に入れさせます[3]。
とっさの行動
機械による画像の読み取りを正しいものと決めてかからないこと、画像は普通に見えるのに不合理な判断が出たら、システムの担当チームに報告することです。
すでに起きてしまった場合
誤りを引き起こした画像または映像を保存し、そのチームに渡してください。
記事の構成

概要

敵対的サンプル(adversarial example)とは、機械学習モデルに誤りを起こさせる目的で、ごくわずかに変更された入力データのことです[1]。画像の場合、変更は人間の観察者が気づかないほど目立たなくても、モデルは誤ります[1]。

従業員にとっての難しさはここにあります。画像は普通に見えるのに、機械は違う判断を下します。2013年にはすでに、研究者が、感知できない摂動だけでニューラルネットワークに画像を誤った分類に入れさせられることを示しています[2]。

よくある質問

画像が改変されたかどうか、見て分かりますか

いつも分かるわけではありません。多くの場合、改変はあまりに微細で、人間は気づかないのに、分類器は誤ります[1]。道路標識の場合、摂動は、本物の一時停止標識に貼った白黒のステッカーの形をとります[3]。

モデルにアクセスできなければ、だませませんか

必ずしもそうではありません。同じ摂動が、データの別の部分で訓練された別のネットワークも誤らせることがあります[2]。2016年の著者らは、こうしたサンプルが「even if the adversary has no access to the underlying model」でも機械学習システムへの攻撃に使われうるため、セキュリティ上の問題になると書いています[1]。

現実のカメラも対象ですか。それとも、プログラムに送られるファイルだけですか

対象になります。スマートフォンのカメラで得た敵対的画像を、ImageNetのInception分類器に見せたところ、カメラを通した後も、その多くが誤分類されたままでした[1]。

防御で問題は解決しますか

防御は回避されることがあります。防御的蒸留は、攻撃の成功率を95%から0.5%に下げるとされていましたが、その後、3つの新しい攻撃アルゴリズムが100%の確率でこれを回避しました[6]。

攻撃者の視点

攻撃者が探すのは、元の画像に似ていながら、誤った応答を引き出す画像です。2013年の研究者は、ネットワークの予測誤差を最大にすることでそれを見つけています[2]。2014年、Goodfellow、Shlens、Szegedyは、そうしたサンプルを簡単かつ高速に作る方法を示しました。脆弱性についての彼らの説明が土台で、主な原因はニューラルネットワークの線形性にあるというものです[4]。

攻撃者の目的はいくつか考えられます。標識の場合は、ターゲット型と呼ばれる特定の分類を狙います[3]。敵対的パッチを使えば、分類器に、選んだ任意の対象クラスを出力させることができます[5]。同じ摂動が別のネットワークを誤らせることもあり[2]、攻撃者がモデルにアクセスできなくても、こうしたサンプルがシステムへの攻撃に使われる可能性があります[1]。

画面に見えるもの

画面やカメラ上では、場面は普通に見えます。人間の観察者は、改変にまったく気づかないことがあるのに、分類器は誤ります[1]。敵対的パッチの場合、印刷された模様を場面に加えて撮影し、分類器に見せます。すると分類器は場面のほかの要素を無視し、小さなパッチでも、攻撃者が選んだクラスを答えます[5]。

したがって、警告のしるしは画像ではなく判断です。同じ場面を人が見たときの内容とは無関係な、システムの応答がそれにあたります。

内部の仕組みIT部門

ニューラルネットワークは、入力と出力の対応を学習します。Szegedyらによれば、その対応にはかなりの程度で不連続な部分があります[2]。ネットワークの誤差を最大にして探した感知できない摂動で、予測クラスを変えるには十分で、これは学習で偶然に生じた副産物ではありません[2]。

Goodfellowらは、非線形性と過学習という初期の説明を退け、ネットワークの線形性を理由に挙げます。彼らによれば、この見方は、サンプルがアーキテクチャーや訓練データセットをまたいで通用する理由も説明します[4]。そのとき、モデルは高い確信度で誤ります[4]。

物理世界について、Eykholtらは、視点を含むさまざまな物理的条件で頑健な視覚的摂動を作るRobust Physical Perturbations(RP2)というアルゴリズムを提案しています[3]。Brownらのパッチは、汎用的(どんな場面も攻撃できる)で、頑健(多くの変換に耐える)で、ターゲット型です[5]。

事例の検証実際の事例

2013年12月: ネットワーク間で通用する感知できない摂動

2013年12月、Szegedyと6人の共著者が「Intriguing properties of neural networks」を発表しました。予測誤差を最大にして見つけた感知できない摂動が画像を誤分類させること、そして同じ摂動が、データの別の部分集合で訓練された別のネットワークも誤らせることを示しています[2]。

2016年7月: スマートフォンのカメラでも攻撃は消えない

2016年7月、Kurakin、Goodfellow、Bengioは、それまでの研究が、分類器にデータを直接送れる攻撃者を想定していたと指摘します。カメラの信号を受け取るシステムでは、そうはいきません[1]。スマートフォンのカメラを通した敵対的画像は、その大部分が誤分類されたままでした[1]。

2016年8月: 防御的蒸留の突破

CarliniとWagnerは2016年8月、防御的蒸留に異を唱える研究を発表しました。彼らの3つの新しいアルゴリズムは、蒸留されたネットワークでも蒸留されていないネットワークでも100%の確率で成功します。さらに、高い確信度の転移可能性テストも提案し、このテストでも防御的蒸留は破られます[6]。

2017年7月: 一時停止標識とステッカー

2017年7月、Eykholtと8人の共著者が、道路標識の分類に対する攻撃を発表しました。白黒のステッカーだけで、本物の一時停止標識を攻撃しています。対象の分類器では、ターゲット型の誤りが、実験室で撮った画像の100%、実地試験で走行中の車両から撮った映像の84.8%に生じました[3]。標準化された試験方法がないため、実験室、次に実地という2段階の評価方法も提案しています[3]。

2017年12月: 印刷できる敵対的パッチ

2017年12月、Brown、Mané、Roy、Abadi、Gilmerは、印刷して場面に加え、撮影して分類器に見せることができるパッチを説明しました[5]。

あなたの行動

  • 画像を読み取るシステムを使う、または監視する場合、その出力が目で見たものと食い違うときは、確認が必要な提案として扱ってください。
  • 不合理な判断は、該当する画像または映像を添えて、システムを管理するチームに報告してください。
  • 不審なステッカーや物は、先にそのチームに知らせずに取り除いたり拭き取ったりしないでください。証拠になるためです。

落とし穴

  • 「普通」に見える画像が安全な画像とは限りません。攻撃は肉眼では見えないことがあります[1]。
  • 単独の防御では足りません。防御的蒸留は回避されました[6]。
  • 攻撃者がモデルにアクセスする必要があるとは限りません。2016年の著者らは、こうしたサンプルがアクセスなしでもシステムへの攻撃に使われうると記しています[1]。

防御と参照枠組み

敵対的訓練とは、学習の間に敵対的サンプルを使うことです。Goodfellowらは、これを使って、MNISTのテストセットでmaxoutネットワークの誤差を減らしました[4]。

NISTはAI 100-2 E2023を公表しています。2024年1月4日の最終版で、機械学習への攻撃を分類し、用語を定義し、軽減策を示し、まだ未解決の課題を挙げています[7]。英国のNCSCは2024年5月22日に、機械学習のセキュリティ原則を公表しました。この原則は、完全な評価の枠組みでもチェックリストでもなく、セキュリティをシステムのライフサイクル全体を通じた要件として扱うよう求めています[8]。OWASPは、機械学習セキュリティのTop 10を準備していますが、まだ草案の段階です[9]。

出典

  1. arXiv, 「Adversarial examples in the physical world」, 2016年7月8日. https://arxiv.org/abs/1607.02533 (2026年11月10日閲覧)
  2. arXiv, 「Intriguing properties of neural networks」, 2013年12月21日. https://arxiv.org/abs/1312.6199 (2026年11月10日閲覧)
  3. arXiv, 「Robust Physical-World Attacks on Deep Learning Models」, 2017年7月27日. https://arxiv.org/abs/1707.08945 (2026年11月10日閲覧)
  4. arXiv, 「Explaining and Harnessing Adversarial Examples」, 2014年12月20日. https://arxiv.org/abs/1412.6572 (2026年11月10日閲覧)
  5. arXiv, 「Adversarial Patch」, 2017年12月27日. https://arxiv.org/abs/1712.09665 (2026年11月10日閲覧)
  6. arXiv, 「Towards Evaluating the Robustness of Neural Networks」, 2016年8月16日. https://arxiv.org/abs/1608.04644 (2026年11月10日閲覧)
  7. NIST, 「Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations」, 2024年1月4日. https://csrc.nist.gov/pubs/ai/100/2/e2023/final (2026年11月10日閲覧)
  8. NCSC (Royaume-Uni), 「Machine learning principles」, 2024年5月22日. https://www.ncsc.gov.uk/collection/machine-learning-principles (2026年11月10日閲覧)
  9. OWASP, 「OWASP Machine Learning Security Top Ten」. https://owasp.org/projects/machine-learning-security-top-ten (2026年11月10日閲覧)