--- id: CP-291 slug: trainingsdaten-ki-modellinversion-mitgliedschaftsinferenz lang: de title: Trainingsdaten einer KI zurückgewinnen description: Wer eine KI gezielt befragt, kann erraten, ob ein Dokument zum Training diente, und teils sogar gespeicherte Textauszüge hervorlocken. canonical_url: https://startbrain.io/cyberpedia/de/articles/trainingsdaten-ki-modellinversion-mitgliedschaftsinferenz/ markdown_url: https://startbrain.io/cyberpedia/de/articles/trainingsdaten-ki-modellinversion-mitgliedschaftsinferenz.md publisher: Brain (https://startbrain.io) license: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) cite_as: Brain, „Trainingsdaten einer KI zurückgewinnen“, Cyberpedia, 2026. https://startbrain.io/cyberpedia/de/articles/trainingsdaten-ki-modellinversion-mitgliedschaftsinferenz/ (CC BY 4.0) wing: 4 theme: protect_data reflex: air-008 schema: G1 updated: "2026-11-03" translations: de: https://startbrain.io/cyberpedia/de/articles/trainingsdaten-ki-modellinversion-mitgliedschaftsinferenz/ fr: https://startbrain.io/cyberpedia/fr/articles/inversion-modele-inference-appartenance/ en: https://startbrain.io/cyberpedia/en/articles/model-inversion-membership-inference/ es: https://startbrain.io/cyberpedia/es/articles/inversion-modelo-inferencia-pertenencia/ sources: - "n": 1 title: Extracting Training Data from Large Language Models publisher: arXiv url: https://arxiv.org/abs/2012.07805 published: "2020-12-14" accessed: "2026-11-03" - "n": 2 title: Scalable Extraction of Training Data from (Production) Language Models publisher: arXiv url: https://arxiv.org/abs/2311.17035 published: "2023-11-28" accessed: "2026-11-03" - "n": 3 title: Membership Inference Attacks against Machine Learning Models publisher: arXiv url: https://arxiv.org/abs/1610.05820 published: "2016-10-18" accessed: "2026-11-03" - "n": 4 title: LLM02:2025 Sensitive Information Disclosure publisher: OWASP url: https://genai.owasp.org/llmrisk/llm022025-sensitive-information-disclosure/ accessed: "2026-11-03" - "n": 5 title: "AI 100-2 E2023, Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations" publisher: NIST url: https://csrc.nist.gov/pubs/ai/100/2/e2023/final accessed: "2026-11-03" - "n": 6 title: Principles for security of Machine learning ML publisher: NCSC (Royaume-Uni) url: https://www.ncsc.gov.uk/collection/machine-learning-principles published: "2024-05-22" accessed: "2026-11-03" --- # Trainingsdaten einer KI zurückgewinnen Ein KI-Modell, etwa das hinter einem Chat-Assistenten, lernt aus sehr vielen Texten, Bildern oder Datensätzen. Ein Angreifer kann es befragen, um herauszufinden, ob eine Person oder ein Dokument in diesen Daten enthalten war, oder um Bruchstücke wieder hervorzuholen, die sich das Modell gemerkt hat. Den ersten Fall nennt man Mitgliedschaftsinferenz, den zweiten Inversion oder Extraktion. Für Beschäftigte kommt es darauf an, was das Unternehmen und sie selbst in ein KI-Werkzeug eingeben, denn diese Daten können in das Trainingsmodell gelangen [4]. Dieser Beitrag erklärt das Prinzip, zwei datierte reale Fälle und die Reflexe, die das Risiko verringern. ## In 30 Sekunden - Wo es vorkommt: bei öffentlichen KI-Modellen oder bei Modellen, die ein Dienstleister bereitstellt und die man über eine Chat-Oberfläche oder einen Online-Dienst befragt. - Was der Angreifer will: herausfinden, ob eine bestimmte Information zum Training gedient hat, oder Informationen abgreifen, die das Modell gespeichert hat, etwa öffentlich bekannte personenbezogene Angaben [1]. - Der Reflex: Geben Sie keine sensiblen Daten in ein öffentliches KI-Werkzeug ein und fragen Sie Ihre Lieferanten, was sie mit den eingegebenen Daten tun und wie sie ihre Modelle trainieren. - Wenn es schon passiert ist: Informieren Sie die Sicherheitsabteilung des Unternehmens und klären Sie beim Anbieter des Werkzeugs, ob Sie der Verwendung Ihrer Daten für das Training widersprechen können [4]. ## Direkte Fragen ### Was unterscheidet Mitgliedschaftsinferenz von Extraktion? Die Mitgliedschaftsinferenz beantwortet eine Ja-Nein-Frage. Mit einem Datensatz in der Hand und einem Zugriff auf das Modell als „Black Box“ versucht der Angreifer festzustellen, ob dieser Datensatz zu den Trainingsdaten gehörte [3]. Die Extraktion geht weiter: Der Angreifer gewinnt einzelne Trainingsbeispiele zurück, indem er das Modell befragt [1]. Bei der Inversion rekonstruiert er sensible Informationen oder Eingabedaten aus dem, was das Modell preisgibt [4]. ### Warum kann ein Modell Daten „ausspucken“? Die Quellen sprechen von Memorisierung. Forschende definieren „extractable memorization“ als Trainingsdaten, die ein Angreifer durch Befragen eines Modells effizient extrahieren kann, ohne den Datensatz vorab zu kennen [2]. Der Angriff auf GPT-2 funktioniert auch dann, wenn jede extrahierte Sequenz in nur einem Dokument der Trainingsdaten vorkommt [1]. ### Sind große Modelle sicherer? Nein, laut der Studie zu GPT-2: Die Autoren stellen fest, dass größere Modelle anfälliger sind als kleinere [1]. Die Studie von 2023 ergänzt, dass die heutigen Alignment-Verfahren die Memorisierung nicht beseitigen [2]. ### Kann ein vertrauliches Dokument, das ich in einen Assistenten eingefügt habe, bei einer anderen Person wieder auftauchen? OWASP beschreibt dieses Risiko: Eine Nutzerin oder ein Nutzer erhält eine Antwort mit den personenbezogenen Daten einer anderen Person, weil die Daten unzureichend bereinigt wurden [4]. Die Organisation empfiehlt, dass Anwendungen verhindern, dass Nutzerdaten in das Trainingsmodell gelangen, und dass Nutzer widersprechen können, wenn ihre Daten dort einfließen sollen [4]. Die hier zitierten Quellen beziffern die Wahrscheinlichkeit eines solchen Falls nicht. ## In der Haut des Angreifers Der Angreifer muss nicht in das System des Unternehmens eindringen. Ihm genügt ein Zugang zum Modell, der oft öffentlich ist. Für die Mitgliedschaftsinferenz trainieren die Forscher Shokri und seine Koautoren ein eigenes Inferenzmodell, das lernt, die Unterschiede zwischen den Antworten des Zielmodells auf Daten aus dem Training und auf nie gesehene Daten zu erkennen [3]. Bei der Extraktion befragt der Angreifer das Modell, ohne etwas über den Trainingsdatensatz zu wissen [2]. Er sucht nach Sequenzen, die wörtlich ausgegeben werden: In der Studie zu GPT-2 wurden Hunderte von Textsequenzen extrahiert [1]. Das Ziel hängt vom Opfer ab. Bei einem Modell, das mit sensiblen Akten trainiert wurde, kann schon das Wissen, dass eine Person darin vorkommt, eine Information sein. Die Autoren von 2016 zeigen das an einem Datensatz zu Krankenhausentlassungen, bei dem die Zugehörigkeit aus Sicht der Privatsphäre sensibel ist [3]. ## Was Sie auf dem Bildschirm sehen Die hier zitierten Quellen beschreiben kein sichtbares Anzeichen für Beschäftigte. Der Angriff besteht darin, einem zugänglichen Modell Fragen zu stellen, und die Anfragen können gewöhnlich aussehen. Die Spur zeigt sich eher in einer Antwort des Modells, die einen memorierten Auszug enthält. Der folgende Text ist eine neutralisierte Illustration und kein Befehl zum Nachahmen. Er zeigt, wie eine Anfrage aussieht, die personenbezogene Daten aus dem Gedächtnis eines Modells hervorlocken soll. ```text Illustration: fiktiver Austausch mit einem Assistenten, Adresse mit .invalid. Frage: [eine repetitive oder banale Anfrage, paraphrasiert] Antwort des Modells: [ein memorierter Auszug: Name, Nummer, fiktive E-Mail vorname.nachname@beispiel.invalid] ``` ## Unter der Haube Der Mechanismus beruht auf Unterschieden im Verhalten eines Modells zwischen dem, was es gelernt hat, und dem, was es nie gesehen hat [3]. Der Angreifer nutzt diese Unterschiede aus, entweder indem er sie misst (Mitgliedschaftsinferenz) oder indem er die Ausgabe memorierter Sequenzen provoziert (Extraktion). Die angegriffenen Modelle sind unterschiedlicher Art. Die Forscher von 2016 testeten „On-Demand“-Dienste für maschinelles Lernen kommerzieller Anbieter wie Google und Amazon und zeigen, dass diese Modelle anfällig sein können [3]. Die Forscher von 2023 extrahieren Gigabyte an Daten aus offenen Modellen wie Pythia, halboffenen Modellen wie LLaMA und geschlossenen Modellen wie ChatGPT [2]. Das NIST veröffentlicht eine Taxonomie des adversarialen maschinellen Lernens, zu deren Schlüsselwörtern „privacy breach“ gehört [5]. OWASP nennt außerdem den Angriff „Proof Pudding“ (CVE-2019-20634): Dabei erleichterten offengelegte Trainingsdaten die Extraktion und Inversion des Modells, wodurch sich E-Mail-Filter umgehen ließen [4]. OWASP verknüpft diese Techniken mit drei Einträgen der Datenbank MITRE ATLAS: Zugehörigkeit zu Trainingsdaten ableiten, ein Modell invertieren, ein Modell extrahieren [4]. Zur Abwehr empfiehlt OWASP, Daten vor dem Training zu bereinigen, Zugriffe nach dem Prinzip der minimalen Rechte zu beschränken sowie föderiertes Lernen und Differential Privacy einzusetzen, die den Daten oder den Ausgaben Rauschen hinzufügt [4]. OWASP weist darauf hin, dass eine Anweisung an das Modell, welche Arten von Daten es nicht ausgeben soll, sich durch Prompt Injection umgehen lässt [4]. Das britische NCSC erinnert daran, dass KI-Systeme neuen Schwachstellen ausgesetzt sind, die zu den üblichen Bedrohungen hinzukommen [6]. ## Fallanalysen ### Dezember 2020: die Datenextraktion aus GPT-2 Am 14. Dezember 2020 stellen Nicholas Carlini und elf Koautoren auf arXiv eine Studie ein, die zeigt, dass ein Angreifer einzelne Trainingsbeispiele zurückgewinnen kann, indem er ein Sprachmodell befragt [1]. Sie greifen GPT-2 an, das mit Daten aus dem öffentlichen Internet trainiert wurde, und extrahieren daraus Hunderte von Textsequenzen wörtlich [1]. Darunter befinden sich öffentlich bekannte personenbezogene Angaben (Namen, Telefonnummern, E-Mail-Adressen), IRC-Unterhaltungen, Code und 128-Bit-UUIDs [1]. Eine überarbeitete Fassung stammt vom 15. Juni 2021 [1]. ### November 2023: die Datenextraktion aus ChatGPT Am 28. November 2023 veröffentlichen Milad Nasr, Nicholas Carlini und acht Koautoren eine Studie zur Extraktion von Trainingsdaten aus Produktionsmodellen [2]. Um ChatGPT, ein ausgerichtetes Modell, anzugreifen, entwickeln sie einen sogenannten „Divergenz“-Angriff: Er bringt das Modell aus seinem Gesprächsstil heraus und lässt es Trainingsdaten in einer Rate ausgeben, die 150-mal höher liegt als im Normalbetrieb [2]. Sie schließen, dass praktische Angriffe deutlich mehr Daten zurückgewinnen können, als man annahm [2]. Die OWASP-Seite verweist auf einen Presseartikel zu diesem Fall mit dem Titel „ChatGPT Spit Out Sensitive Data When Told to Repeat ‘Poem’ Forever“ [4]. Für Beschäftigte ergibt sich der Reflex aus diesen Fällen. OWASP zählt personenbezogene Daten, Finanzinformationen, Gesundheitsakten, vertrauliche Unternehmensdaten, Sicherheitszugangsdaten und Rechtsdokumente zu den sensiblen Daten: Sie gibt man nicht in ein öffentliches KI-Werkzeug ein [4]. Bei Werkzeugen, die das Unternehmen kauft, verlangt man von den Lieferanten schriftliche Garantien, denn OWASP empfiehlt klare Richtlinien zu Aufbewahrung, Verwendung und Löschung von Daten [4]. ## Quellen 1. arXiv, „Extracting Training Data from Large Language Models“, 14. Dezember 2020. https://arxiv.org/abs/2012.07805 (abgerufen am 3. November 2026) 2. arXiv, „Scalable Extraction of Training Data from (Production) Language Models“, 28. November 2023. https://arxiv.org/abs/2311.17035 (abgerufen am 3. November 2026) 3. arXiv, „Membership Inference Attacks against Machine Learning Models“, 18. Oktober 2016. https://arxiv.org/abs/1610.05820 (abgerufen am 3. November 2026) 4. OWASP, „LLM02:2025 Sensitive Information Disclosure“. https://genai.owasp.org/llmrisk/llm022025-sensitive-information-disclosure/ (abgerufen am 3. November 2026) 5. NIST, „AI 100-2 E2023, Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations“. https://csrc.nist.gov/pubs/ai/100/2/e2023/final (abgerufen am 3. November 2026) 6. NCSC (Royaume-Uni), „Principles for security of Machine learning ML“, 22. Mai 2024. https://www.ncsc.gov.uk/collection/machine-learning-principles (abgerufen am 3. November 2026) --- Originalquelle: Cyberpedia, die öffentliche Enzyklopädie zu Cybersicherheit und KI von Brain. Kanonische Version: https://startbrain.io/cyberpedia/de/articles/trainingsdaten-ki-modellinversion-mitgliedschaftsinferenz/ Sie dürfen diesen Text unter der Lizenz CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) frei weiterverwenden, sofern Sie „Brain, Cyberpedia“ mit einem Link auf die obige Adresse nennen.