Modèles d'IA piégés : le risque des fichiers Pickle
Télécharger un modèle d'IA sur un site de partage n'est pas anodin : le format pickle expose à des modèles malveillants. Repères et gestes.
Sur cette page
En 30 secondes
- Où ça arrive
- Sur les plateformes de partage de modèles comme Hugging Face, où des acteurs malveillants peuvent livrer des logiciels malveillants au moyen de modèles compromis[4].
- Ce que veut l'attaquant
- Agir sur la machine qui charge le modèle. Les 91 modèles malveillants et les 9 scripts malveillants de chargement de jeux de données repérés en 2024 révèlent des menaces comme le reverse shell, le vol d'identifiants de navigateur et la reconnaissance du système[2].
- Le réflexe
- Ne chargez pas un modèle dont vous ne pouvez pas vérifier la source. L'OWASP recommande de n'utiliser que des modèles issus de sources vérifiables[1].
De quoi parle-t-on
Un modèle d'IA préentraîné se télécharge sur une plateforme de partage comme n'importe quel fichier. Selon l'OWASP, les modèles préentraînés de tiers font partie de la chaîne d'approvisionnement des applications d'IA, et ces éléments externes peuvent être manipulés par altération ou par empoisonnement[1].
Pour certains formats de fichiers, le risque est plus concret. En 2024, des chercheurs ont signalé 91 modèles malveillants sur un miroir de Hugging Face[2]. En 2025, d'autres ont montré que des scanners de modèles au format pickle pouvaient être contournés[3]. Pour un modèle pickle malveillant, la menace décrite par des chercheurs est l'appel de fonctions arbitraires au chargement[4].
Questions directes
Pourquoi un fichier de modèle peut-il être dangereux ?
Le format pickle enregistre et restaure des objets complexes sous forme de flux d'octets. De nombreux frameworks d'IA continuent de l'adopter pour les modèles malgré ses risques propres, selon les auteurs d'une étude de 2025[3]. Les failles de désérialisation de pickle sont connues depuis longtemps en Python sans être résolues[3]. Les auteurs de PickleBall relèvent que 44,9 % des modèles populaires de Hugging Face utilisent encore ce format qu'ils jugent non sûr[4].
Qu'ont trouvé les chercheurs en 2024 ?
Une équipe a déployé son outil MalHug sur un miroir de Hugging Face hébergé chez Ant Group. Il y a surveillé plus de 705 000 modèles et 176 000 jeux de données, et y a repéré 91 modèles malveillants et 9 scripts malveillants de chargement de jeux de données[2].
Les outils d'analyse suffisent-ils ?
Des outils existants comme Fickling et ModelScan offrent une certaine protection, mais ils ont des limites dans l'analyse sémantique et la détection complète des menaces, selon les auteurs de MalHug[2]. En 2025, des chercheurs ont identifié 22 chemins de chargement de modèles pickle dans cinq frameworks d'IA, dont 19 échappent entièrement aux scanners existants[3]. D'autres auteurs notent que les scanners de modèles produisent des faux positifs et des faux négatifs[4].
Le format est-il le seul problème ?
Une étude de janvier 2026 porte sur l'exécution de code non fiable pendant le chargement d'un modèle, quand celui-ci s'accompagne de code personnalisé. Ses auteurs constatent un recours répandu à des réglages par défaut non sûrs, une application inégale de la sécurité selon les plateformes et une confusion persistante chez les développeurs sur les conséquences de l'exécution de code distant[5].
Quels gestes pour limiter le risque ?
Pour les modèles fournis par des tiers, l'OWASP recommande les mesures suivantes[1] :
- examiner avec soin les sources de données et les fournisseurs, y compris leurs conditions d'utilisation et leurs politiques de confidentialité, et n'employer que des fournisseurs de confiance ;
- n'utiliser que des modèles issus de sources vérifiables, et recourir à des contrôles d'intégrité par un tiers avec signature et empreintes de fichiers (hashes), pour compenser l'absence de garanties solides sur la provenance ;
- appliquer un red teaming et des évaluations complets au moment de choisir un modèle tiers ;
- utiliser la détection d'anomalies et des tests de robustesse, qui peuvent aider à repérer une altération, même si ces techniques sont encore émergentes.
Dans la peau de l'attaquant
Selon l'OWASP, il n'existe pas aujourd'hui de garanties solides sur la provenance des modèles publiés. Un attaquant peut compromettre le compte d'un fournisseur sur un dépôt de modèles, ou en créer un qui lui ressemble, puis y ajouter de l'ingénierie sociale pour atteindre une application d'IA[1].
L'OWASP donne deux scénarios. Dans le premier, après le retrait du modèle WizardLM, un attaquant tire parti de l'intérêt qu'il suscitait et publie une fausse version sous le même nom, avec des logiciels malveillants et des portes dérobées[1]. Dans le second, un attaquant s'en prend à un service de fusion ou de conversion de modèles pour injecter un logiciel malveillant dans un modèle accessible au public. L'OWASP précise qu'il s'agit d'une attaque réelle publiée par l'éditeur HiddenLayer[1].
Côté chercheurs, les auteurs de l'étude de 2025 écrivent que l'empoisonnement de modèles pickle peut rester discret[3].
Ce que vous voyez à l'écran
L'OWASP note que les fiches de modèle et la documentation associée renseignent sur le modèle, mais n'offrent aucune garantie sur son origine[1]. La fausse version de WizardLM portait le même nom que l'original[1].
Les notes publiques ne garantissent rien non plus. L'OWASP indique que des modèles peuvent être affinés pour contourner les benchmarks publiés, et décrit un scénario où un attaquant dépose sur Hugging Face un modèle réglé pour obtenir de bons scores de sécurité, en exploitant la confiance des victimes envers ces garanties[1].
Trois repères en découlent : une source qu'on ne peut pas vérifier, une provenance non établie[1], et un format de fichier pour lequel des chercheurs décrivent la menace d'appels de fonctions arbitraires au chargement[4].
Sous le capotÉquipes IT
Selon les auteurs d'une étude de 2025, pickle permet d'enregistrer et de restaurer des objets complexes en octets, ce qui explique son adoption par de nombreux frameworks d'IA[3]. Ces mêmes auteurs décrivent aussi la surface d'empoisonnement qui en résulte, côté chargement des modèles comme côté fonctions risquées[3].
Du côté des défenses, l'équipe de MalHug combine l'extraction des scripts de chargement de jeux de données, la désérialisation du modèle, une analyse de propagation (taint analysis) et une recherche de motifs heuristiques pour détecter et classer les attaques[2]. L'équipe de PickleBall analyse le code source d'une bibliothèque d'IA pour calculer une politique de chargement sûr, puis l'applique pendant le chargement comme remplaçant direct du module pickle[4]. Dans leur jeu de données, cette politique charge correctement 79,8 % des modèles pickle bénins et rejette 100 % des exemples malveillants[4]. Les mêmes auteurs précisent que 15 % des modèles pickle populaires ne peuvent pas être chargés avec des politiques de chargement restrictives[4].
Le NIST, de son côté, propose le cadre AI RMF, destiné à un usage volontaire, pour mieux intégrer la fiabilité dans la conception, le développement, l'utilisation et l'évaluation des produits d'IA[6]. Son profil pour l'IA générative, publié le 26 juillet 2024, peut aider les organisations à identifier les risques propres à l'IA générative[6].
AutopsiesCas réels
2024 : 91 modèles malveillants sur un miroir de Hugging Face
Dans un article soumis le 14 septembre 2024, des chercheurs rapportent avoir déployé MalHug, en collaboration avec Ant Group, sur un miroir de Hugging Face au sein de l'infrastructure de l'entreprise. L'outil y est resté opérationnel plus de trois mois, a surveillé plus de 705 000 modèles et 176 000 jeux de données, et a repéré 91 modèles malveillants et 9 scripts malveillants de chargement de jeux de données[2]. Les menaces relevées comprennent le reverse shell, le vol d'identifiants de navigateur et la reconnaissance du système[2].
2025 : des scanners de modèles contournés
Dans un article soumis le 27 août 2025, des chercheurs montrent que des scanners conçus pour détecter les modèles pickle empoisonnés ont une logique de détection fragile, car leur compréhension de la surface d'empoisonnement est incomplète[3]. Sur 22 chemins de chargement identifiés, 19 échappent entièrement aux scanners existants[3]. Les chercheurs ont aussi découvert 9 instances d'une technique de contournement qu'ils nomment Exception-Oriented Programming, dont 7 contournent tous les scanners[3]. Ils ont trouvé 133 gadgets exploitables, avec un taux de contournement proche de 100 %, et de 89 % face au meilleur scanner[3]. Il s'agit d'une faille démontrée par des chercheurs. Ils ont divulgué leurs résultats de façon responsable aux éditeurs concernés et ont reçu des remerciements ainsi qu'une prime de 6 000 dollars[3].
2026 : l'exécution de code au chargement, étude à grande échelle
Dans un article soumis le 20 janvier 2026, des chercheurs étudient les pratiques de chargement de modèles avec code personnalisé sur cinq plateformes de partage, dont Hugging Face, ModelScope et OpenCSG[5]. Ils analysent aussi plus de 600 discussions de développeurs sur GitHub, les forums de Hugging Face et de PyTorch Hub, et Stack Overflow[5].
Sources
- OWASP, « LLM03:2025 Supply Chain », 10 avril 2024. https://genai.owasp.org/llmrisk/llm032025-supply-chain/ (consulté le 14 novembre 2026)
- arXiv, « Models Are Codes: Towards Measuring Malicious Code Poisoning Attacks on Pre-trained Model Hubs », 14 septembre 2024. https://arxiv.org/abs/2409.09368 (consulté le 14 novembre 2026)
- arXiv, « The Art of Hide and Seek: Making Pickle-Based Model Supply Chain Poisoning Stealthy Again », 27 août 2025. https://arxiv.org/abs/2508.19774 (consulté le 14 novembre 2026)
- arXiv, « PickleBall: Secure Deserialization of Pickle-based Machine Learning Models (Extended Report) », 21 août 2025. https://arxiv.org/abs/2508.15987 (consulté le 14 novembre 2026)
- arXiv, « An Empirical Study on Remote Code Execution in Machine Learning Model Hosting Ecosystems », 20 janvier 2026. https://arxiv.org/abs/2601.14163 (consulté le 14 novembre 2026)
- NIST, « AI Risk Management Framework », 12 juillet 2021. https://www.nist.gov/itl/ai-risk-management-framework (consulté le 14 novembre 2026)
Citer cet article
Brain, « Modèles d'IA piégés : le risque des fichiers Pickle », Cyberpedia, 2026. https:/
BibTeX
@misc{brain_cp292_fr_2026,
author = {Brain},
title = {Modèles d'IA piégés : le risque des fichiers Pickle},
year = {2026},
howpublished = {Cyberpedia},
url = {https://startbrain.io/cyberpedia/fr/articles/modeles-ia-pieges-fichiers-pickle/},
note = {CC BY 4.0}
}