--- id: CP-291 slug: inversion-modele-inference-appartenance lang: fr title: Retrouver les données d'entraînement d'une IA description: Un attaquant qui interroge une IA peut deviner si un document a servi à l'entraîner, voire en faire ressortir des extraits mémorisés. canonical_url: https://startbrain.io/cyberpedia/fr/articles/inversion-modele-inference-appartenance/ markdown_url: https://startbrain.io/cyberpedia/fr/articles/inversion-modele-inference-appartenance.md publisher: Brain (https://startbrain.io) license: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) cite_as: Brain, « Retrouver les données d'entraînement d'une IA », Cyberpedia, 2026. https://startbrain.io/cyberpedia/fr/articles/inversion-modele-inference-appartenance/ (CC BY 4.0) wing: 4 theme: protect_data reflex: air-008 schema: G1 updated: "2026-11-03" translations: fr: https://startbrain.io/cyberpedia/fr/articles/inversion-modele-inference-appartenance/ en: https://startbrain.io/cyberpedia/en/articles/model-inversion-membership-inference/ de: https://startbrain.io/cyberpedia/de/articles/trainingsdaten-ki-modellinversion-mitgliedschaftsinferenz/ es: https://startbrain.io/cyberpedia/es/articles/inversion-modelo-inferencia-pertenencia/ sources: - "n": 1 title: Extracting Training Data from Large Language Models publisher: arXiv url: https://arxiv.org/abs/2012.07805 published: "2020-12-14" accessed: "2026-11-03" - "n": 2 title: Scalable Extraction of Training Data from (Production) Language Models publisher: arXiv url: https://arxiv.org/abs/2311.17035 published: "2023-11-28" accessed: "2026-11-03" - "n": 3 title: Membership Inference Attacks against Machine Learning Models publisher: arXiv url: https://arxiv.org/abs/1610.05820 published: "2016-10-18" accessed: "2026-11-03" - "n": 4 title: LLM02:2025 Sensitive Information Disclosure publisher: OWASP url: https://genai.owasp.org/llmrisk/llm022025-sensitive-information-disclosure/ accessed: "2026-11-03" - "n": 5 title: "AI 100-2 E2023, Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations" publisher: NIST url: https://csrc.nist.gov/pubs/ai/100/2/e2023/final accessed: "2026-11-03" - "n": 6 title: Principles for security of Machine learning ML publisher: NCSC (Royaume-Uni) url: https://www.ncsc.gov.uk/collection/machine-learning-principles published: "2024-05-22" accessed: "2026-11-03" --- # Retrouver les données d'entraînement d'une IA Un modèle d'IA, comme celui qui anime un assistant de conversation, apprend à partir d'un très grand nombre de textes, d'images ou de fiches. Un attaquant peut l'interroger pour savoir si une personne ou un document figurait dans ces données, ou pour faire réapparaître des morceaux que le modèle a mémorisés. Le premier cas s'appelle l'inférence d'appartenance, le second l'inversion ou l'extraction. Pour un salarié, ce qui compte est ce que l'entreprise et lui-même saisissent dans un outil d'IA, puisque ces données peuvent entrer dans le modèle d'entraînement [4]. Cette fiche explique le principe, deux cas réels datés et les réflexes qui limitent l'exposition. ## En 30 secondes - Où ça arrive : sur les modèles d'IA publics ou fournis par un prestataire, que l'on interroge par une interface de conversation ou par un service en ligne. - Ce que veut l'attaquant : savoir si une donnée précise a servi à l'entraînement, ou récupérer des informations que le modèle a gardées en mémoire, comme des informations personnelles publiques [1]. - Le réflexe : ne pas saisir de données sensibles dans un outil d'IA public, et demander à ses fournisseurs ce qu'ils font des données saisies et comment ils entraînent leurs modèles. - Si c'est déjà fait : prévenir le service sécurité de l'entreprise et vérifier, auprès de l'éditeur de l'outil, s'il est possible de refuser l'usage de ses données pour l'entraînement [4]. ## Questions directes ### Quelle est la différence entre inférence d'appartenance et extraction ? L'inférence d'appartenance répond à une question par oui ou non. Avec un enregistrement en main et un accès au modèle en « boîte noire », l'attaquant cherche à déterminer si cet enregistrement faisait partie des données d'entraînement [3]. L'extraction va plus loin : l'attaquant récupère des exemples d'entraînement individuels en interrogeant le modèle [1]. L'inversion consiste à reconstituer des informations sensibles ou des données d'entrée à partir de ce que le modèle révèle [4]. ### Pourquoi un modèle peut-il « recracher » des données ? Les sources parlent de mémorisation. Des chercheurs définissent la « extractable memorization » comme des données d'entraînement qu'un adversaire peut extraire efficacement en interrogeant un modèle, sans connaître à l'avance le jeu de données [2]. L'attaque sur GPT-2 fonctionne même si chaque séquence extraite figure dans un seul document des données d'entraînement [1]. ### Les gros modèles sont-ils plus sûrs ? Non, d'après l'étude sur GPT-2 : les auteurs constatent que les modèles plus grands sont plus vulnérables que les petits [1]. L'étude de 2023 ajoute que les techniques d'alignement actuelles n'éliminent pas la mémorisation [2]. ### Un document confidentiel que j'ai collé dans un assistant peut-il ressortir chez un autre utilisateur ? L'OWASP décrit ce risque : un utilisateur reçoit une réponse contenant les données personnelles d'un autre, à cause d'un nettoyage insuffisant des données [4]. L'organisation recommande que les applications empêchent les données des utilisateurs d'entrer dans le modèle d'entraînement et que les utilisateurs puissent refuser que leurs données y soient incluses [4]. Les sources citées ici ne chiffrent pas la probabilité d'un tel cas. ## Dans la peau de l'attaquant L'attaquant n'a pas besoin d'entrer dans le système de l'entreprise. Il lui suffit d'un accès au modèle, souvent public. Pour l'inférence d'appartenance, les chercheurs Shokri et ses coauteurs entraînent leur propre modèle d'inférence, qui apprend à reconnaître les différences entre les réponses de la cible sur des données vues à l'entraînement et sur des données qu'elle n'a jamais vues [3]. Pour l'extraction, l'adversaire interroge le modèle sans rien savoir du jeu de données d'entraînement [2]. Il cherche des séquences qui sortent mot pour mot : dans l'étude sur GPT-2, des centaines de séquences textuelles ont été extraites [1]. Le but dépend de la cible. Dans le cas d'un modèle entraîné sur des dossiers sensibles, savoir qu'une personne y figure peut déjà être une information. Les auteurs de 2016 l'illustrent avec un jeu de données de sorties d'hôpital, dont l'appartenance est sensible du point de vue de la vie privée [3]. ## Ce que vous voyez à l'écran Les sources citées ici ne décrivent aucun signe visible pour un salarié. L'attaque consiste à poser des questions à un modèle accessible, et ses requêtes peuvent sembler ordinaires. La trace se voit plutôt dans une réponse du modèle qui contient un extrait mémorisé. Le texte ci-dessous est une illustration neutralisée, pas une commande à reproduire. Il montre l'allure d'une demande qui cherche à faire sortir de la mémoire d'un modèle des données personnelles. ```text Illustration : échange fictif avec un assistant, adresse en .invalid. Question : [une demande répétitive ou banale, paraphrasée] Réponse du modèle : [un extrait mémorisé : nom, numéro, courriel fictif prenom.nom@exemple.invalid] ``` ## Sous le capot Le mécanisme repose sur les différences de comportement d'un modèle entre ce qu'il a appris et ce qu'il n'a jamais vu [3]. L'attaquant exploite ces différences, soit en les mesurant (inférence d'appartenance), soit en provoquant la sortie de séquences mémorisées (extraction). Les modèles visés sont de natures diverses. Les chercheurs de 2016 ont testé des services d'apprentissage automatique « à la demande » de fournisseurs commerciaux comme Google et Amazon, et montrent que ces modèles peuvent être vulnérables [3]. Ceux de 2023 extraient des gigaoctets de données de modèles ouverts comme Pythia, de modèles semi-ouverts comme LLaMA et de modèles fermés comme ChatGPT [2]. Le NIST publie une taxonomie de l'apprentissage automatique adverse, dont les mots-clés comprennent « privacy breach » [5]. L'OWASP cite aussi l'attaque « Proof Pudding » (CVE-2019-20634) : des données d'entraînement divulguées y ont facilité l'extraction et l'inversion du modèle, ce qui a permis de contourner des filtres de courrier électronique [4]. Il relie ces techniques à trois entrées de la base MITRE ATLAS : inférer l'appartenance aux données d'entraînement, inverser un modèle, extraire un modèle [4]. Côté défense, l'OWASP recommande de nettoyer les données avant l'entraînement, de limiter les accès selon le principe du moindre privilège, d'employer l'apprentissage fédéré et la confidentialité différentielle, qui ajoute du bruit aux données ou aux sorties [4]. Il précise qu'une consigne donnée au modèle sur les types de données à ne pas renvoyer peut être contournée par injection de consigne [4]. Le NCSC britannique rappelle que les systèmes d'IA sont soumis à des vulnérabilités nouvelles, qui s'ajoutent aux menaces habituelles [6]. ## Autopsies ### Décembre 2020 : l'extraction de données de GPT-2 Le 14 décembre 2020, Nicholas Carlini et onze coauteurs déposent sur arXiv une étude montrant qu'un adversaire peut récupérer des exemples d'entraînement individuels en interrogeant un modèle de langage [1]. Ils attaquent GPT-2, entraîné sur des données collectées sur l'internet public, et en extraient des centaines de séquences textuelles mot pour mot [1]. Parmi elles figurent des informations personnelles publiques (noms, numéros de téléphone, adresses électroniques), des conversations IRC, du code et des identifiants UUID de 128 bits [1]. Une version révisée date du 15 juin 2021 [1]. ### Novembre 2023 : l'extraction de données de ChatGPT Le 28 novembre 2023, Milad Nasr, Nicholas Carlini et huit coauteurs publient une étude sur l'extraction de données d'entraînement de modèles de production [2]. Pour attaquer ChatGPT, modèle aligné, ils mettent au point une attaque dite « par divergence » : elle fait sortir le modèle de son style de conversation et lui fait émettre des données d'entraînement à un rythme 150 fois supérieur à celui d'un fonctionnement normal [2]. Ils concluent que des attaques pratiques peuvent récupérer beaucoup plus de données qu'on ne le pensait [2]. La page de l'OWASP renvoie à un article de presse sur ce cas, intitulé « ChatGPT Spit Out Sensitive Data When Told to Repeat ‘Poem’ Forever » [4]. Pour le salarié, le réflexe découle de ces cas. L'OWASP range dans les données sensibles les données personnelles, les informations financières, les dossiers de santé, les données confidentielles d'entreprise, les identifiants de sécurité et les documents juridiques : on ne les saisit pas dans un outil d'IA public [4]. Pour les outils achetés par l'entreprise, on demande aux fournisseurs des garanties écrites, car l'OWASP recommande des politiques claires sur la conservation, l'usage et la suppression des données [4]. ## Sources 1. arXiv, « Extracting Training Data from Large Language Models », 14 décembre 2020. https://arxiv.org/abs/2012.07805 (consulté le 3 novembre 2026) 2. arXiv, « Scalable Extraction of Training Data from (Production) Language Models », 28 novembre 2023. https://arxiv.org/abs/2311.17035 (consulté le 3 novembre 2026) 3. arXiv, « Membership Inference Attacks against Machine Learning Models », 18 octobre 2016. https://arxiv.org/abs/1610.05820 (consulté le 3 novembre 2026) 4. OWASP, « LLM02:2025 Sensitive Information Disclosure ». https://genai.owasp.org/llmrisk/llm022025-sensitive-information-disclosure/ (consulté le 3 novembre 2026) 5. NIST, « AI 100-2 E2023, Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations ». https://csrc.nist.gov/pubs/ai/100/2/e2023/final (consulté le 3 novembre 2026) 6. NCSC (Royaume-Uni), « Principles for security of Machine learning ML », 22 mai 2024. https://www.ncsc.gov.uk/collection/machine-learning-principles (consulté le 3 novembre 2026) --- Source originale : Cyberpedia, l'encyclopédie publique de cybersécurité et d'IA publiée par Brain. Version canonique : https://startbrain.io/cyberpedia/fr/articles/inversion-modele-inference-appartenance/ Vous pouvez reprendre ce texte librement sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/), à condition de citer « Brain, Cyberpedia » avec un lien vers l'adresse ci-dessus.