罠を仕掛けられたAIモデル:Pickleファイルのリスク
共有サイトからAIモデルをダウンロードするのは、無害な行為ではありません。pickle形式では悪意あるモデルを読み込む危険があります。見分け方と対策。
30秒でわかる要点
概要
事前学習済みのAIモデルは、ほかのファイルと同じように共有プラットフォームからダウンロードできます。OWASPによると、第三者の事前学習済みモデルはAIアプリケーションのサプライチェーンの一部であり、こうした外部の要素は改ざんやポイズニングによって操作される可能性があります[1]。
ファイル形式によっては、リスクはより具体的です。2024年、研究者はHugging Faceのミラーで91の悪意あるモデルを報告しました[2]。2025年には、別の研究者がpickle形式のモデル用スキャナーを回避できることを示しました[3]。悪意あるpickleモデルについて、研究者が説明している脅威は、読み込み時に任意の関数が呼び出されることです[4]。
よくある質問
なぜモデルのファイルが危険になることがあるのですか
pickle形式は、複雑なオブジェクトをバイト列として保存し、復元します。2025年の研究の著者によると、多くのAIフレームワークは、この形式に固有のリスクがあるにもかかわらず、モデルにこの形式を使い続けています[3]。pickleのデシリアライズの脆弱性は、Pythonで以前から知られていながら、解決されていません[3]。PickleBallの著者は、Hugging Faceの人気モデルの44.9%が、安全でないと彼らが判断するこの形式をいまだに使っていると述べています[4]。
2024年に研究者は何を見つけましたか
あるチームが、Ant GroupにホストされているHugging Faceのミラーに、自分たちのツールMalHugを導入しました。そこで70万5,000を超えるモデルと17万6,000のデータセットを監視し、91の悪意あるモデルと9つの悪意あるデータセット読み込みスクリプトを確認しました[2]。
解析ツールがあれば十分ですか
FicklingやModelScanのような既存のツールはある程度の防御になりますが、MalHugの著者によると、意味の解析や脅威の網羅的な検出には限界があります[2]。2025年、研究者は5つのAIフレームワークでpickleモデルの読み込み経路を22件特定し、そのうち19件は既存のスキャナーをまったくすり抜けることを確認しました[3]。ほかの著者は、モデル用スキャナーには誤検知も見逃しもあると指摘しています[4]。
問題はファイル形式だけですか
2026年1月の研究は、モデルにカスタムコードが付属する場合の、モデル読み込み中の信頼できないコードの実行を扱っています。著者は、安全でない既定の設定が広く使われていること、プラットフォームごとにセキュリティの適用にばらつきがあること、遠隔コード実行の影響について開発者の間に混乱が続いていることを指摘しています[5]。
リスクを抑えるにはどうすればよいですか
第三者が提供するモデルについて、OWASPは次の対策を勧めています[1]。
- データソースと提供者を、利用条件やプライバシーポリシーも含めて慎重に調べ、信頼できる提供者だけを利用する。
- 検証可能な出所のモデルだけを使い、出所に対する強い保証がないことを補うため、署名とファイルのハッシュ値による第三者の完全性チェックを活用する。
- 第三者のモデルを選ぶ際に、レッドチーミングと包括的な評価を行う。
- 異常検知と堅牢性テストを使う。改ざんの発見に役立つことがありますが、これらの手法はまだ発展途上です。
攻撃者の視点
OWASPによると、公開されているモデルの出所について、現在は強い保証がありません。攻撃者は、モデルのリポジトリにある提供者のアカウントを侵害したり、それに似たアカウントを作ったりしたうえで、ソーシャルエンジニアリングを組み合わせてAIアプリケーションに到達することができます[1]。
OWASPは2つのシナリオを挙げています。1つ目では、WizardLMモデルが取り下げられた後、攻撃者がその注目度を利用して、同じ名前の偽のバージョンを、悪意あるソフトウェアとバックドアを仕込んで公開します[1]。2つ目では、攻撃者がモデルのマージや変換のサービスを狙い、公開されているモデルに悪意あるソフトウェアを注入します。OWASPは、これがHiddenLayerによって公表された実際の攻撃だと明記しています[1]。
研究者の側では、2025年の研究の著者が、pickleモデルのポイズニングは目立たないままでいられると書いています[3]。
画面に見えるもの
OWASPは、モデルカードや関連ドキュメントはモデルについての情報を与えるものの、その出所を保証するものではないと述べています[1]。偽のWizardLMは、元のモデルと同じ名前でした[1]。
公開されているスコアも何も保証しません。OWASPは、モデルを調整して公表されたベンチマークを回避させることができると述べ、攻撃者が高い安全性スコアが出るよう調整したモデルをHugging Faceに置き、被害者がそうした保証を信頼することを利用するシナリオを説明しています[1]。
ここから3つの目印が分かります。確認できない出所、確立されていない由来[1]、そして研究者が読み込み時の任意の関数呼び出しという脅威を説明しているファイル形式です[4]。
内部の仕組みIT部門
2025年の研究の著者によると、pickleは複雑なオブジェクトをバイト列として保存・復元でき、そのため多くのAIフレームワークに採用されています[3]。同じ著者は、そこから生じるポイズニングの攻撃面についても、モデルの読み込み側と危険な関数の側の両方から説明しています[3]。
防御の側では、MalHugのチームは、データセット読み込みスクリプトの抽出、モデルのデシリアライズ、汚染解析(taint analysis)、ヒューリスティックなパターン検索を組み合わせて、攻撃を検出し分類します[2]。PickleBallのチームは、AIライブラリのソースコードを解析して安全な読み込みポリシーを計算し、それをpickleモジュールの置き換えとしてそのまま使える形で、読み込み中に適用します[4]。彼らのデータセットでは、このポリシーは無害なpickleモデルの79.8%を正しく読み込み、悪意ある例の100%を拒否します[4]。同じ著者は、人気のpickleモデルの15%は、制限的な読み込みポリシーでは読み込めないと述べています[4]。
一方NIST(米国国立標準技術研究所)は、AIの製品の設計、開発、利用、評価に信頼性をより組み込むための、任意利用のAI RMFフレームワークを提案しています[6]。2024年7月26日に公表された生成AI向けのプロファイルは、組織が生成AI特有のリスクを特定するのに役立つことがあります[6]。
事例の検証実際の事例
2024年:Hugging Faceのミラーで91の悪意あるモデル
2024年9月14日に提出された論文で、研究者は、Ant Groupと協力して、同社のインフラ内にあるHugging Faceのミラーに、MalHugを導入したと報告しています。このツールは3か月を超えて稼働し、70万5,000を超えるモデルと17万6,000のデータセットを監視し、91の悪意あるモデルと9つの悪意あるデータセット読み込みスクリプトを確認しました[2]。確認された脅威には、リバースシェル、ブラウザの認証情報の窃取、システムの偵察が含まれます[2]。
2025年:回避されたモデル用スキャナー
2025年8月27日に提出された論文で、研究者は、ポイズニングされたpickleモデルを検出するために作られたスキャナーが、ポイズニングの攻撃面の理解が不完全なため、検出ロジックが脆弱であることを示しています[3]。特定された22の読み込み経路のうち、19は既存のスキャナーをまったくすり抜けます[3]。研究者はまた、Exception-Oriented Programmingと名づけた回避手法の事例を9件見つけ、そのうち7件はすべてのスキャナーを回避します[3]。悪用可能なガジェットを133件見つけており、回避率はほぼ100%、最も優れたスキャナーに対しても89%でした[3]。これは研究者によって実証された脆弱性です。研究者は結果を関係するベンダーに責任をもって開示し、謝意と6,000ドルの報奨金を受け取りました[3]。
2026年:読み込み時のコード実行、大規模な調査
2026年1月20日に提出された論文で、研究者は、Hugging Face、ModelScope、OpenCSGを含む5つの共有プラットフォームで、カスタムコード付きのモデルの読み込みの実態を調べています[5]。さらに、GitHub、Hugging FaceとPyTorch Hubのフォーラム、Stack Overflowにある600件を超える開発者の議論も分析しています[5]。
出典
- OWASP, 「LLM03:2025 Supply Chain」, 2024年4月10日. https://genai.owasp.org/llmrisk/llm032025-supply-chain/ (2026年11月14日閲覧)
- arXiv, 「Models Are Codes: Towards Measuring Malicious Code Poisoning Attacks on Pre-trained Model Hubs」, 2024年9月14日. https://arxiv.org/abs/2409.09368 (2026年11月14日閲覧)
- arXiv, 「The Art of Hide and Seek: Making Pickle-Based Model Supply Chain Poisoning Stealthy Again」, 2025年8月27日. https://arxiv.org/abs/2508.19774 (2026年11月14日閲覧)
- arXiv, 「PickleBall: Secure Deserialization of Pickle-based Machine Learning Models (Extended Report)」, 2025年8月21日. https://arxiv.org/abs/2508.15987 (2026年11月14日閲覧)
- arXiv, 「An Empirical Study on Remote Code Execution in Machine Learning Model Hosting Ecosystems」, 2026年1月20日. https://arxiv.org/abs/2601.14163 (2026年11月14日閲覧)
- NIST, 「AI Risk Management Framework」, 2021年7月12日. https://www.nist.gov/itl/ai-risk-management-framework (2026年11月14日閲覧)
この記事を引用する
Brain, 「罠を仕掛けられたAIモデル:Pickleファイルのリスク」, Cyberpedia, 2026. https:/
BibTeX
@misc{brain_cp292_ja_2026,
author = {Brain},
title = {罠を仕掛けられたAIモデル:Pickleファイルのリスク},
year = {2026},
howpublished = {Cyberpedia},
url = {https://startbrain.io/cyberpedia/ja/articles/poisoned-ai-models-pickle-files/},
note = {CC BY 4.0}
}