Trainingsdaten einer KI zurückgewinnen

Der Angreifer muss nicht in das System des Unternehmens eindringen. Ihm genügt ein Zugang zum Modell, der oft öffentlich ist. Für die Mitgliedschaftsinferenz trainieren die Forscher Shokri und seine Koautoren ein eigenes Inferenzmodell, das lernt, die Unterschiede zwischen den Antworten des Zielmodells auf Daten aus dem Training und auf nie gesehene Daten zu erkennen³.

Bei der Extraktion befragt der Angreifer das Modell, ohne etwas über den Trainingsdatensatz zu wissen². Er sucht nach Sequenzen, die wörtlich ausgegeben werden: In der Studie zu GPT-2 wurden Hunderte von Textsequenzen extrahiert¹.

Das Ziel hängt vom Opfer ab. Bei einem Modell, das mit sensiblen Akten trainiert wurde, kann schon das Wissen, dass eine Person darin vorkommt, eine Information sein. Die Autoren von 2016 zeigen das an einem Datensatz zu Krankenhausentlassungen, bei dem die Zugehörigkeit aus Sicht der Privatsphäre sensibel ist³.

Die hier zitierten Quellen beschreiben kein sichtbares Anzeichen für Beschäftigte. Der Angriff besteht darin, einem zugänglichen Modell Fragen zu stellen, und die Anfragen können gewöhnlich aussehen. Die Spur zeigt sich eher in einer Antwort des Modells, die einen memorierten Auszug enthält.

Der folgende Text ist eine neutralisierte Illustration und kein Befehl zum Nachahmen. Er zeigt, wie eine Anfrage aussieht, die personenbezogene Daten aus dem Gedächtnis eines Modells hervorlocken soll.

Illustration: fiktiver Austausch mit einem Assistenten, Adresse mit .invalid.
Frage: [eine repetitive oder banale Anfrage, paraphrasiert]
Antwort des Modells: [ein memorierter Auszug: Name, Nummer, fiktive E-Mail
  [email protected]]

Der Mechanismus beruht auf Unterschieden im Verhalten eines Modells zwischen dem, was es gelernt hat, und dem, was es nie gesehen hat³. Der Angreifer nutzt diese Unterschiede aus, entweder indem er sie misst (Mitgliedschaftsinferenz) oder indem er die Ausgabe memorierter Sequenzen provoziert (Extraktion).

Die angegriffenen Modelle sind unterschiedlicher Art. Die Forscher von 2016 testeten „On-Demand“-Dienste für maschinelles Lernen kommerzieller Anbieter wie Google und Amazon und zeigen, dass diese Modelle anfällig sein können³. Die Forscher von 2023 extrahieren Gigabyte an Daten aus offenen Modellen wie Pythia, halboffenen Modellen wie LLaMA und geschlossenen Modellen wie ChatGPT².

Das NIST veröffentlicht eine Taxonomie des adversarialen maschinellen Lernens, zu deren Schlüsselwörtern „privacy breach“ gehört⁵. OWASP nennt außerdem den Angriff „Proof Pudding“ (CVE-2019-20634): Dabei erleichterten offengelegte Trainingsdaten die Extraktion und Inversion des Modells, wodurch sich E-Mail-Filter umgehen ließen⁴. OWASP verknüpft diese Techniken mit drei Einträgen der Datenbank MITRE ATLAS: Zugehörigkeit zu Trainingsdaten ableiten, ein Modell invertieren, ein Modell extrahieren⁴.

Zur Abwehr empfiehlt OWASP, Daten vor dem Training zu bereinigen, Zugriffe nach dem Prinzip der minimalen Rechte zu beschränken sowie föderiertes Lernen und Differential Privacy einzusetzen, die den Daten oder den Ausgaben Rauschen hinzufügt⁴. OWASP weist darauf hin, dass eine Anweisung an das Modell, welche Arten von Daten es nicht ausgeben soll, sich durch Prompt Injection umgehen lässt⁴. Das britische NCSC erinnert daran, dass KI-Systeme neuen Schwachstellen ausgesetzt sind, die zu den üblichen Bedrohungen hinzukommen⁶.

Dezember 2020: die Datenextraktion aus GPT-2

Am 14. Dezember 2020 stellen Nicholas Carlini und elf Koautoren auf arXiv eine Studie ein, die zeigt, dass ein Angreifer einzelne Trainingsbeispiele zurückgewinnen kann, indem er ein Sprachmodell befragt¹. Sie greifen GPT-2 an, das mit Daten aus dem öffentlichen Internet trainiert wurde, und extrahieren daraus Hunderte von Textsequenzen wörtlich¹. Darunter befinden sich öffentlich bekannte personenbezogene Angaben (Namen, Telefonnummern, E-Mail-Adressen), IRC-Unterhaltungen, Code und 128-Bit-UUIDs¹. Eine überarbeitete Fassung stammt vom 15. Juni 2021¹.

November 2023: die Datenextraktion aus ChatGPT

Am 28. November 2023 veröffentlichen Milad Nasr, Nicholas Carlini und acht Koautoren eine Studie zur Extraktion von Trainingsdaten aus Produktionsmodellen². Um ChatGPT, ein ausgerichtetes Modell, anzugreifen, entwickeln sie einen sogenannten „Divergenz“-Angriff: Er bringt das Modell aus seinem Gesprächsstil heraus und lässt es Trainingsdaten in einer Rate ausgeben, die 150-mal höher liegt als im Normalbetrieb². Sie schließen, dass praktische Angriffe deutlich mehr Daten zurückgewinnen können, als man annahm². Die OWASP-Seite verweist auf einen Presseartikel zu diesem Fall mit dem Titel „ChatGPT Spit Out Sensitive Data When Told to Repeat ‘Poem’ Forever“⁴.

Für Beschäftigte ergibt sich der Reflex aus diesen Fällen. OWASP zählt personenbezogene Daten, Finanzinformationen, Gesundheitsakten, vertrauliche Unternehmensdaten, Sicherheitszugangsdaten und Rechtsdokumente zu den sensiblen Daten: Sie gibt man nicht in ein öffentliches KI-Werkzeug ein⁴. Bei Werkzeugen, die das Unternehmen kauft, verlangt man von den Lieferanten schriftliche Garantien, denn OWASP empfiehlt klare Richtlinien zu Aufbewahrung, Verwendung und Löschung von Daten⁴.