Cyberpediavon Brain

Trainingsdaten einer KI zurückgewinnen

Wer eine KI gezielt befragt, kann erraten, ob ein Dokument zum Training diente, und teils sogar gespeicherte Textauszüge hervorlocken.

Auf dieser Seite
  1. 1In 30 Sekunden
  2. 2Worum es geht
  3. 3Direkte Fragen
  4. 4In der Haut des Angreifers
  5. 5Was Sie auf dem Bildschirm sehen
  6. 6Unter der Haube
  7. 7Fallanalysen
  8. 8Quellen
  9. 9Diesen Artikel zitieren

In 30 Sekunden

Wo es vorkommt
Bei öffentlichen KI-Modellen oder bei Modellen, die ein Dienstleister bereitstellt und die man über eine Chat-Oberfläche oder einen Online-Dienst befragt.
Was der Angreifer will
Herausfinden, ob eine bestimmte Information zum Training gedient hat, oder Informationen abgreifen, die das Modell gespeichert hat, etwa öffentlich bekannte personenbezogene Angaben[1].
Der Reflex
Geben Sie keine sensiblen Daten in ein öffentliches KI-Werkzeug ein und fragen Sie Ihre Lieferanten, was sie mit den eingegebenen Daten tun und wie sie ihre Modelle trainieren.
Wenn es schon passiert ist
Informieren Sie die Sicherheitsabteilung des Unternehmens und klären Sie beim Anbieter des Werkzeugs, ob Sie der Verwendung Ihrer Daten für das Training widersprechen können[4].
Artikelübersicht

Worum es geht

Ein KI-Modell, etwa das hinter einem Chat-Assistenten, lernt aus sehr vielen Texten, Bildern oder Datensätzen. Ein Angreifer kann es befragen, um herauszufinden, ob eine Person oder ein Dokument in diesen Daten enthalten war, oder um Bruchstücke wieder hervorzuholen, die sich das Modell gemerkt hat. Den ersten Fall nennt man Mitgliedschaftsinferenz, den zweiten Inversion oder Extraktion.

Für Beschäftigte kommt es darauf an, was das Unternehmen und sie selbst in ein KI-Werkzeug eingeben, denn diese Daten können in das Trainingsmodell gelangen[4]. Dieser Beitrag erklärt das Prinzip, zwei datierte reale Fälle und die Reflexe, die das Risiko verringern.

Direkte Fragen

Was unterscheidet Mitgliedschaftsinferenz von Extraktion?

Die Mitgliedschaftsinferenz beantwortet eine Ja-Nein-Frage. Mit einem Datensatz in der Hand und einem Zugriff auf das Modell als „Black Box“ versucht der Angreifer festzustellen, ob dieser Datensatz zu den Trainingsdaten gehörte[3]. Die Extraktion geht weiter: Der Angreifer gewinnt einzelne Trainingsbeispiele zurück, indem er das Modell befragt[1]. Bei der Inversion rekonstruiert er sensible Informationen oder Eingabedaten aus dem, was das Modell preisgibt[4].

Warum kann ein Modell Daten „ausspucken“?

Die Quellen sprechen von Memorisierung. Forschende definieren „extractable memorization“ als Trainingsdaten, die ein Angreifer durch Befragen eines Modells effizient extrahieren kann, ohne den Datensatz vorab zu kennen[2]. Der Angriff auf GPT-2 funktioniert auch dann, wenn jede extrahierte Sequenz in nur einem Dokument der Trainingsdaten vorkommt[1].

Sind große Modelle sicherer?

Nein, laut der Studie zu GPT-2: Die Autoren stellen fest, dass größere Modelle anfälliger sind als kleinere[1]. Die Studie von 2023 ergänzt, dass die heutigen Alignment-Verfahren die Memorisierung nicht beseitigen[2].

Kann ein vertrauliches Dokument, das ich in einen Assistenten eingefügt habe, bei einer anderen Person wieder auftauchen?

OWASP beschreibt dieses Risiko: Eine Nutzerin oder ein Nutzer erhält eine Antwort mit den personenbezogenen Daten einer anderen Person, weil die Daten unzureichend bereinigt wurden[4]. Die Organisation empfiehlt, dass Anwendungen verhindern, dass Nutzerdaten in das Trainingsmodell gelangen, und dass Nutzer widersprechen können, wenn ihre Daten dort einfließen sollen[4]. Die hier zitierten Quellen beziffern die Wahrscheinlichkeit eines solchen Falls nicht.

In der Haut des Angreifers

Der Angreifer muss nicht in das System des Unternehmens eindringen. Ihm genügt ein Zugang zum Modell, der oft öffentlich ist. Für die Mitgliedschaftsinferenz trainieren die Forscher Shokri und seine Koautoren ein eigenes Inferenzmodell, das lernt, die Unterschiede zwischen den Antworten des Zielmodells auf Daten aus dem Training und auf nie gesehene Daten zu erkennen[3].

Bei der Extraktion befragt der Angreifer das Modell, ohne etwas über den Trainingsdatensatz zu wissen[2]. Er sucht nach Sequenzen, die wörtlich ausgegeben werden: In der Studie zu GPT-2 wurden Hunderte von Textsequenzen extrahiert[1].

Das Ziel hängt vom Opfer ab. Bei einem Modell, das mit sensiblen Akten trainiert wurde, kann schon das Wissen, dass eine Person darin vorkommt, eine Information sein. Die Autoren von 2016 zeigen das an einem Datensatz zu Krankenhausentlassungen, bei dem die Zugehörigkeit aus Sicht der Privatsphäre sensibel ist[3].

Was Sie auf dem Bildschirm sehen

Die hier zitierten Quellen beschreiben kein sichtbares Anzeichen für Beschäftigte. Der Angriff besteht darin, einem zugänglichen Modell Fragen zu stellen, und die Anfragen können gewöhnlich aussehen. Die Spur zeigt sich eher in einer Antwort des Modells, die einen memorierten Auszug enthält.

Der folgende Text ist eine neutralisierte Illustration und kein Befehl zum Nachahmen. Er zeigt, wie eine Anfrage aussieht, die personenbezogene Daten aus dem Gedächtnis eines Modells hervorlocken soll.

Auszug
Illustration: fiktiver Austausch mit einem Assistenten, Adresse mit .invalid.
Frage: [eine repetitive oder banale Anfrage, paraphrasiert]
Antwort des Modells: [ein memorierter Auszug: Name, Nummer, fiktive E-Mail
  [email protected]]

Unter der HaubeIT-Teams

Der Mechanismus beruht auf Unterschieden im Verhalten eines Modells zwischen dem, was es gelernt hat, und dem, was es nie gesehen hat[3]. Der Angreifer nutzt diese Unterschiede aus, entweder indem er sie misst (Mitgliedschaftsinferenz) oder indem er die Ausgabe memorierter Sequenzen provoziert (Extraktion).

Mitgliedschaftsinferenz und Extraktion: was sich ändert Eine Vergleichstabelle der beiden Angriffe auf ein KI-Modell. In den Spalten die Mitgliedschaftsinferenz und die Extraktion. In den Zeilen die Ausgangslage des Angreifers, was er tut und was er erhält. Bei der Mitgliedschaftsinferenz geht er von einem Datensatz in der Hand und einem Zugriff als Black Box aus, misst die Unterschiede im Verhalten des Modells und erhält ein Ja oder Nein. Bei der Extraktion befragt er das Modell, ohne etwas über den Trainingsdatensatz zu wissen, provoziert die Ausgabe memorierter Sequenzen und gewinnt einzelne Trainingsbeispiele zurück. Zwei Ziele des Angreifers Mitgliedschaftsinferenz Extraktion Unterschied Zu Beginn Ein Datensatz in der Hand, Zugriff auf das Modell als „Black Box“ Ohne zu wissen etwas über den Trainingsdatensatz Vorgehen Misst die Unterschiede im Verhalten des Modells Provoziert die Ausgabe memorierter Sequenzen Ergebnis Eine Antwort auf eine Ja-Nein-Frage Trainingsbeispiele einzelne, durch Befragen des Modells zurückgewonnen
Mitgliedschaftsinferenz und Extraktion: was sich ändert Eine Vergleichstabelle der beiden Angriffe auf ein KI-Modell. In den Spalten die Mitgliedschaftsinferenz und die Extraktion. In den Zeilen die Ausgangslage des Angreifers, was er tut und was er erhält. Bei der Mitgliedschaftsinferenz geht er von einem Datensatz in der Hand und einem Zugriff als Black Box aus, misst die Unterschiede im Verhalten des Modells und erhält ein Ja oder Nein. Bei der Extraktion befragt er das Modell, ohne etwas über den Trainingsdatensatz zu wissen, provoziert die Ausgabe memorierter Sequenzen und gewinnt einzelne Trainingsbeispiele zurück. Unterschied Zu Beginn Zwei Ziele des Angreifers Mitgliedschaftsinferenz Ein Datensatz in der Hand, Zugriff auf das Modell als „Black Box“ Extraktion Ohne zu wissen etwas über den Trainingsdatensatz Unterschied Vorgehen Zwei Ziele des Angreifers Mitgliedschaftsinferenz Misst die Unterschiede im Verhalten des Modells Extraktion Provoziert die Ausgabe memorierter Sequenzen Unterschied Ergebnis Zwei Ziele des Angreifers Mitgliedschaftsinferenz Eine Antwort auf eine Ja-Nein-Frage Extraktion Trainingsbeispiele einzelne, durch Befragen des Modells zurückgewonnen

orange: der Angriff oder der fremde Zugriff

Schema 1. Die Mitgliedschaftsinferenz beantwortet mit Ja oder Nein die Frage, ob ein Datensatz zu den Trainingsdaten gehörte; die Extraktion gewinnt einzelne Trainingsbeispiele zurück, indem sie das Modell befragt.

Die angegriffenen Modelle sind unterschiedlicher Art. Die Forscher von 2016 testeten „On-Demand“-Dienste für maschinelles Lernen kommerzieller Anbieter wie Google und Amazon und zeigen, dass diese Modelle anfällig sein können[3]. Die Forscher von 2023 extrahieren Gigabyte an Daten aus offenen Modellen wie Pythia, halboffenen Modellen wie LLaMA und geschlossenen Modellen wie ChatGPT[2].

Das NIST veröffentlicht eine Taxonomie des adversarialen maschinellen Lernens, zu deren Schlüsselwörtern „privacy breach“ gehört[5]. OWASP nennt außerdem den Angriff „Proof Pudding“ (CVE-2019-20634): Dabei erleichterten offengelegte Trainingsdaten die Extraktion und Inversion des Modells, wodurch sich E-Mail-Filter umgehen ließen[4]. OWASP verknüpft diese Techniken mit drei Einträgen der Datenbank MITRE ATLAS: Zugehörigkeit zu Trainingsdaten ableiten, ein Modell invertieren, ein Modell extrahieren[4].

Zur Abwehr empfiehlt OWASP, Daten vor dem Training zu bereinigen, Zugriffe nach dem Prinzip der minimalen Rechte zu beschränken sowie föderiertes Lernen und Differential Privacy einzusetzen, die den Daten oder den Ausgaben Rauschen hinzufügt[4]. OWASP weist darauf hin, dass eine Anweisung an das Modell, welche Arten von Daten es nicht ausgeben soll, sich durch Prompt Injection umgehen lässt[4]. Das britische NCSC erinnert daran, dass KI-Systeme neuen Schwachstellen ausgesetzt sind, die zu den üblichen Bedrohungen hinzukommen[6].

FallanalysenReale Fälle

Dezember 2020: die Datenextraktion aus GPT-2

Am 14. Dezember 2020 stellen Nicholas Carlini und elf Koautoren auf arXiv eine Studie ein, die zeigt, dass ein Angreifer einzelne Trainingsbeispiele zurückgewinnen kann, indem er ein Sprachmodell befragt[1]. Sie greifen GPT-2 an, das mit Daten aus dem öffentlichen Internet trainiert wurde, und extrahieren daraus Hunderte von Textsequenzen wörtlich[1]. Darunter befinden sich öffentlich bekannte personenbezogene Angaben (Namen, Telefonnummern, E-Mail-Adressen), IRC-Unterhaltungen, Code und 128-Bit-UUIDs[1]. Eine überarbeitete Fassung stammt vom 15. Juni 2021[1].

November 2023: die Datenextraktion aus ChatGPT

Am 28. November 2023 veröffentlichen Milad Nasr, Nicholas Carlini und acht Koautoren eine Studie zur Extraktion von Trainingsdaten aus Produktionsmodellen[2]. Um ChatGPT, ein ausgerichtetes Modell, anzugreifen, entwickeln sie einen sogenannten „Divergenz“-Angriff: Er bringt das Modell aus seinem Gesprächsstil heraus und lässt es Trainingsdaten in einer Rate ausgeben, die 150-mal höher liegt als im Normalbetrieb[2]. Sie schließen, dass praktische Angriffe deutlich mehr Daten zurückgewinnen können, als man annahm[2]. Die OWASP-Seite verweist auf einen Presseartikel zu diesem Fall mit dem Titel „ChatGPT Spit Out Sensitive Data When Told to Repeat ‘Poem’ Forever“[4].

Für Beschäftigte ergibt sich der Reflex aus diesen Fällen. OWASP zählt personenbezogene Daten, Finanzinformationen, Gesundheitsakten, vertrauliche Unternehmensdaten, Sicherheitszugangsdaten und Rechtsdokumente zu den sensiblen Daten: Sie gibt man nicht in ein öffentliches KI-Werkzeug ein[4]. Bei Werkzeugen, die das Unternehmen kauft, verlangt man von den Lieferanten schriftliche Garantien, denn OWASP empfiehlt klare Richtlinien zu Aufbewahrung, Verwendung und Löschung von Daten[4].

Quellen

  1. arXiv, „Extracting Training Data from Large Language Models“, 14. Dezember 2020. https://arxiv.org/abs/2012.07805 (abgerufen am 3. November 2026)
  2. arXiv, „Scalable Extraction of Training Data from (Production) Language Models“, 28. November 2023. https://arxiv.org/abs/2311.17035 (abgerufen am 3. November 2026)
  3. arXiv, „Membership Inference Attacks against Machine Learning Models“, 18. Oktober 2016. https://arxiv.org/abs/1610.05820 (abgerufen am 3. November 2026)
  4. OWASP, „LLM02:2025 Sensitive Information Disclosure“. https://genai.owasp.org/llmrisk/llm022025-sensitive-information-disclosure/ (abgerufen am 3. November 2026)
  5. NIST, „AI 100-2 E2023, Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations“. https://csrc.nist.gov/pubs/ai/100/2/e2023/final (abgerufen am 3. November 2026)
  6. NCSC (Royaume-Uni), „Principles for security of Machine learning ML“, 22. Mai 2024. https://www.ncsc.gov.uk/collection/machine-learning-principles (abgerufen am 3. November 2026)