Recuperare i dati di addestramento di un'IA

L'attaccante non ha bisogno di entrare nel sistema dell'azienda. Gli basta un accesso al modello, spesso pubblico. Per l'inferenza di appartenenza, i ricercatori Shokri e i suoi coautori addestrano un proprio modello di inferenza, che impara a riconoscere le differenze tra le risposte del bersaglio sui dati visti durante l'addestramento e su quelli mai visti³.

Per l'estrazione, l'avversario interroga il modello senza sapere nulla del dataset di addestramento². Cerca sequenze che escono parola per parola: nello studio su GPT-2 sono state estratte centinaia di sequenze di testo¹.

L'obiettivo dipende dal bersaglio. Per un modello addestrato su fascicoli sensibili, sapere che una persona vi compare può già essere un'informazione. Gli autori del 2016 lo illustrano con un dataset di dimissioni ospedaliere, la cui appartenenza è sensibile dal punto di vista della privacy³.

Le fonti citate qui non descrivono alcun segnale visibile per un dipendente. L'attacco consiste nel porre domande a un modello accessibile, e le sue richieste possono sembrare ordinarie. La traccia si vede piuttosto in una risposta del modello che contiene un estratto memorizzato.

Il testo qui sotto è un'illustrazione neutralizzata, non un comando da riprodurre. Mostra l'aspetto di una richiesta che cerca di far uscire dati personali dalla memoria di un modello.

Illustrazione: scambio fittizio con un assistente, indirizzo in .invalid.
Domanda: [una richiesta ripetitiva o banale, parafrasata]
Risposta del modello: [un estratto memorizzato: nome, numero, e-mail fittizia
  [email protected]]

Il meccanismo si basa sulle differenze di comportamento di un modello tra ciò che ha appreso e ciò che non ha mai visto³. L'attaccante sfrutta queste differenze, misurandole (inferenza di appartenenza) oppure provocando l'uscita di sequenze memorizzate (estrazione).

I modelli presi di mira sono di natura diversa. I ricercatori del 2016 hanno testato servizi di apprendimento automatico «su richiesta» di fornitori commerciali come Google e Amazon, e mostrano che questi modelli possono essere vulnerabili³. Quelli del 2023 estraggono gigabyte di dati da modelli aperti come Pythia, da modelli semiaperti come LLaMA e da modelli chiusi come ChatGPT².

Il NIST pubblica una tassonomia dell'apprendimento automatico avversario, le cui parole chiave comprendono «privacy breach»⁵. L'OWASP cita anche l'attacco «Proof Pudding» (CVE-2019-20634): i dati di addestramento divulgati hanno facilitato l'estrazione e l'inversione del modello, permettendo di aggirare filtri di posta elettronica⁴. Collega queste tecniche a tre voci della base MITRE ATLAS: inferire l'appartenenza ai dati di addestramento, invertire un modello, estrarre un modello⁴.

Sul versante della difesa, l'OWASP raccomanda di ripulire i dati prima dell'addestramento, di limitare gli accessi secondo il principio del privilegio minimo, di usare l'apprendimento federato e la privacy differenziale, che aggiunge rumore ai dati o agli output⁴. Precisa che un'istruzione data al modello sui tipi di dati da non restituire può essere aggirata con l'iniezione di istruzioni⁴. L'NCSC britannico ricorda che i sistemi di IA sono soggetti a vulnerabilità nuove, che si aggiungono alle minacce abituali⁶.

Dicembre 2020: l'estrazione di dati da GPT-2

Il 14 dicembre 2020 Nicholas Carlini e undici coautori depositano su arXiv uno studio che mostra come un avversario possa recuperare singoli esempi di addestramento interrogando un modello linguistico¹. Attaccano GPT-2, addestrato su dati raccolti da internet pubblico, e ne estraggono centinaia di sequenze di testo parola per parola¹. Tra queste figurano informazioni personali pubbliche (nomi, numeri di telefono, indirizzi di posta elettronica), conversazioni IRC, codice e identificatori UUID a 128 bit¹. Una versione rivista è datata 15 giugno 2021¹.

Novembre 2023: l'estrazione di dati da ChatGPT

Il 28 novembre 2023 Milad Nasr, Nicholas Carlini e otto coautori pubblicano uno studio sull'estrazione di dati di addestramento da modelli di produzione². Per attaccare ChatGPT, un modello allineato, mettono a punto un attacco detto «per divergenza»: fa uscire il modello dal suo stile conversazionale e gli fa emettere dati di addestramento a un ritmo 150 volte superiore a quello del funzionamento normale². Concludono che attacchi pratici possono recuperare molti più dati di quanto si pensasse². La pagina dell'OWASP rimanda a un articolo di stampa su questo caso, intitolato «ChatGPT Spit Out Sensitive Data When Told to Repeat ‘Poem’ Forever»⁴.

Per il dipendente, il riflesso discende da questi casi. L'OWASP classifica tra i dati sensibili i dati personali, le informazioni finanziarie, le cartelle sanitarie, i dati riservati d'azienda, le credenziali di sicurezza e i documenti legali: non si inseriscono in uno strumento di IA pubblico⁴. Per gli strumenti acquistati dall'azienda si chiedono ai fornitori garanzie scritte, perché l'OWASP raccomanda politiche chiare su conservazione, uso e cancellazione dei dati⁴.