Retrouver les données d'entraînement d'une IA

L'attaquant n'a pas besoin d'entrer dans le système de l'entreprise. Il lui suffit d'un accès au modèle, souvent public. Pour l'inférence d'appartenance, les chercheurs Shokri et ses coauteurs entraînent leur propre modèle d'inférence, qui apprend à reconnaître les différences entre les réponses de la cible sur des données vues à l'entraînement et sur des données qu'elle n'a jamais vues³.

Pour l'extraction, l'adversaire interroge le modèle sans rien savoir du jeu de données d'entraînement². Il cherche des séquences qui sortent mot pour mot : dans l'étude sur GPT-2, des centaines de séquences textuelles ont été extraites¹.

Le but dépend de la cible. Dans le cas d'un modèle entraîné sur des dossiers sensibles, savoir qu'une personne y figure peut déjà être une information. Les auteurs de 2016 l'illustrent avec un jeu de données de sorties d'hôpital, dont l'appartenance est sensible du point de vue de la vie privée³.

Les sources citées ici ne décrivent aucun signe visible pour un salarié. L'attaque consiste à poser des questions à un modèle accessible, et ses requêtes peuvent sembler ordinaires. La trace se voit plutôt dans une réponse du modèle qui contient un extrait mémorisé.

Le texte ci-dessous est une illustration neutralisée, pas une commande à reproduire. Il montre l'allure d'une demande qui cherche à faire sortir de la mémoire d'un modèle des données personnelles.

Illustration : échange fictif avec un assistant, adresse en .invalid.
Question : [une demande répétitive ou banale, paraphrasée]
Réponse du modèle : [un extrait mémorisé : nom, numéro, courriel fictif
  [email protected]]

Le mécanisme repose sur les différences de comportement d'un modèle entre ce qu'il a appris et ce qu'il n'a jamais vu³. L'attaquant exploite ces différences, soit en les mesurant (inférence d'appartenance), soit en provoquant la sortie de séquences mémorisées (extraction).

Les modèles visés sont de natures diverses. Les chercheurs de 2016 ont testé des services d'apprentissage automatique « à la demande » de fournisseurs commerciaux comme Google et Amazon, et montrent que ces modèles peuvent être vulnérables³. Ceux de 2023 extraient des gigaoctets de données de modèles ouverts comme Pythia, de modèles semi-ouverts comme LLaMA et de modèles fermés comme ChatGPT².

Le NIST publie une taxonomie de l'apprentissage automatique adverse, dont les mots-clés comprennent « privacy breach »⁵. L'OWASP cite aussi l'attaque « Proof Pudding » (CVE-2019-20634) : des données d'entraînement divulguées y ont facilité l'extraction et l'inversion du modèle, ce qui a permis de contourner des filtres de courrier électronique⁴. Il relie ces techniques à trois entrées de la base MITRE ATLAS : inférer l'appartenance aux données d'entraînement, inverser un modèle, extraire un modèle⁴.

Côté défense, l'OWASP recommande de nettoyer les données avant l'entraînement, de limiter les accès selon le principe du moindre privilège, d'employer l'apprentissage fédéré et la confidentialité différentielle, qui ajoute du bruit aux données ou aux sorties⁴. Il précise qu'une consigne donnée au modèle sur les types de données à ne pas renvoyer peut être contournée par injection de consigne⁴. Le NCSC britannique rappelle que les systèmes d'IA sont soumis à des vulnérabilités nouvelles, qui s'ajoutent aux menaces habituelles⁶.

Décembre 2020 : l'extraction de données de GPT-2

Le 14 décembre 2020, Nicholas Carlini et onze coauteurs déposent sur arXiv une étude montrant qu'un adversaire peut récupérer des exemples d'entraînement individuels en interrogeant un modèle de langage¹. Ils attaquent GPT-2, entraîné sur des données collectées sur l'internet public, et en extraient des centaines de séquences textuelles mot pour mot¹. Parmi elles figurent des informations personnelles publiques (noms, numéros de téléphone, adresses électroniques), des conversations IRC, du code et des identifiants UUID de 128 bits¹. Une version révisée date du 15 juin 2021¹.

Novembre 2023 : l'extraction de données de ChatGPT

Le 28 novembre 2023, Milad Nasr, Nicholas Carlini et huit coauteurs publient une étude sur l'extraction de données d'entraînement de modèles de production². Pour attaquer ChatGPT, modèle aligné, ils mettent au point une attaque dite « par divergence » : elle fait sortir le modèle de son style de conversation et lui fait émettre des données d'entraînement à un rythme 150 fois supérieur à celui d'un fonctionnement normal². Ils concluent que des attaques pratiques peuvent récupérer beaucoup plus de données qu'on ne le pensait². La page de l'OWASP renvoie à un article de presse sur ce cas, intitulé « ChatGPT Spit Out Sensitive Data When Told to Repeat ‘Poem’ Forever »⁴.

Pour le salarié, le réflexe découle de ces cas. L'OWASP range dans les données sensibles les données personnelles, les informations financières, les dossiers de santé, les données confidentielles d'entreprise, les identifiants de sécurité et les documents juridiques : on ne les saisit pas dans un outil d'IA public⁴. Pour les outils achetés par l'entreprise, on demande aux fournisseurs des garanties écrites, car l'OWASP recommande des politiques claires sur la conservation, l'usage et la suppression des données⁴.