De trainingsdata van een AI terugvinden

De aanvaller hoeft het systeem van het bedrijf niet binnen te dringen. Toegang tot het model volstaat, en die is vaak openbaar. Voor lidmaatschapsinferentie trainen de onderzoekers Shokri en zijn medeauteurs hun eigen inferentiemodel, dat leert de verschillen te herkennen tussen de antwoorden van het doelwit op data die het tijdens de training zag en op data die het nooit heeft gezien³.

Bij extractie bevraagt de tegenstander het model zonder iets te weten over de trainingsdataset². Hij zoekt reeksen die woord voor woord naar buiten komen: in de studie over GPT-2 werden honderden tekstreeksen teruggehaald¹.

Het doel hangt af van het doelwit. Bij een model dat op gevoelige dossiers is getraind, kan het weten dat een persoon erin voorkomt al informatie op zich zijn. De auteurs van 2016 illustreren dit met een dataset van ziekenhuisontslagen, waarvan het lidmaatschap gevoelig is voor de privacy³.

De hier aangehaalde bronnen beschrijven geen zichtbaar teken voor een medewerker. De aanval bestaat uit het stellen van vragen aan een toegankelijk model, en die verzoeken kunnen gewoon lijken. Het spoor zit eerder in een antwoord van het model dat een onthouden fragment bevat.

De tekst hieronder is een geneutraliseerde illustratie, geen opdracht om na te doen. Hij toont hoe een verzoek eruitziet dat persoonsgegevens uit het geheugen van een model probeert te halen.

Illustratie: fictieve uitwisseling met een assistent, adres in .invalid.
Vraag: [een repetitief of banaal verzoek, geparafraseerd]
Antwoord van het model: [een onthouden fragment: naam, nummer, fictief e-mailadres
  [email protected]]

Het mechanisme berust op verschillen in gedrag van een model tussen wat het heeft geleerd en wat het nooit heeft gezien³. De aanvaller buit die verschillen uit, ofwel door ze te meten (lidmaatschapsinferentie), ofwel door de uitvoer van onthouden reeksen uit te lokken (extractie).

De doelwitmodellen zijn van uiteenlopende aard. De onderzoekers van 2016 testten "on demand" diensten voor machine learning van commerciële aanbieders zoals Google en Amazon, en tonen aan dat die modellen kwetsbaar kunnen zijn³. Die van 2023 halen gigabytes aan data terug uit open modellen zoals Pythia, half open modellen zoals LLaMA en gesloten modellen zoals ChatGPT².

NIST publiceert een taxonomie van adversarial machine learning, waarvan de trefwoorden "privacy breach" omvatten⁵. OWASP noemt ook de aanval "Proof Pudding" (CVE-2019-20634): gelekte trainingsdata maakten daar de extractie en inversie van het model gemakkelijker, waardoor e-mailfilters konden worden omzeild⁴. OWASP koppelt deze technieken aan drie items in de MITRE ATLAS-database: lidmaatschap van de trainingsdata afleiden, een model inverteren, een model extraheren⁴.

Aan de verdedigingskant beveelt OWASP aan data vóór de training op te schonen, toegang te beperken volgens het principe van de minste rechten, en federated learning en differentiële privacy te gebruiken, een techniek die ruis toevoegt aan de data of de uitvoer⁴. OWASP vermeldt dat een instructie aan het model over de soorten gegevens die het niet mag teruggeven, kan worden omzeild door promptinjectie⁴. Het Britse NCSC wijst erop dat AI-systemen onderhevig zijn aan nieuwe kwetsbaarheden, die bovenop de gebruikelijke dreigingen komen⁶.

December 2020: de extractie van data uit GPT-2

Op 14 december 2020 plaatsen Nicholas Carlini en elf medeauteurs op arXiv een studie die laat zien dat een tegenstander afzonderlijke trainingsvoorbeelden kan terughalen door een taalmodel te bevragen¹. Ze vallen GPT-2 aan, getraind op data van het openbare internet, en halen er honderden tekstreeksen woord voor woord uit terug¹. Daaronder staan openbare persoonsgegevens (namen, telefoonnummers, e-mailadressen), IRC-gesprekken, code en UUID's van 128 bit¹. Een herziene versie is gedateerd op 15 juni 2021¹.

November 2023: de extractie van data uit ChatGPT

Op 28 november 2023 publiceren Milad Nasr, Nicholas Carlini en acht medeauteurs een studie over de extractie van trainingsdata uit productiemodellen². Om ChatGPT, een model met alignment, aan te vallen ontwikkelen ze een zogenoemde "divergentieaanval": die brengt het model uit zijn gesprekstijl en laat het trainingsdata uitgeven in een tempo dat 150 keer hoger ligt dan bij normaal gebruik². Ze concluderen dat praktische aanvallen veel meer data kunnen terughalen dan men dacht². De pagina van OWASP verwijst naar een nieuwsartikel over dit geval, getiteld "ChatGPT Spit Out Sensitive Data When Told to Repeat ‘Poem’ Forever"⁴.

Voor de medewerker volgt de reflex uit deze gevallen. OWASP rekent persoonsgegevens, financiële informatie, gezondheidsdossiers, vertrouwelijke bedrijfsgegevens, inloggegevens voor beveiliging en juridische documenten tot de gevoelige gegevens: die voert men niet in een openbaar AI-hulpmiddel in⁴. Voor hulpmiddelen die het bedrijf koopt, vraagt men leveranciers om schriftelijke garanties, want OWASP beveelt duidelijk beleid aan over bewaring, gebruik en verwijdering van data⁴.