--- id: CP-279 slug: modellkollaps-ki-inhalte-web-verschmutzung lang: de title: Modellkollaps und die Verschmutzung des Webs durch KI description: Wie KI, die mit KI-Texten trainiert wird, an Vielfalt verliert, und wie Sie generierte Inhalte vor der Nutzung im Beruf prüfen. canonical_url: https://startbrain.io/cyberpedia/de/articles/modellkollaps-ki-inhalte-web-verschmutzung/ markdown_url: https://startbrain.io/cyberpedia/de/articles/modellkollaps-ki-inhalte-web-verschmutzung.md publisher: Brain (https://startbrain.io) license: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) cite_as: Brain, „Modellkollaps und die Verschmutzung des Webs durch KI“, Cyberpedia, 2026. https://startbrain.io/cyberpedia/de/articles/modellkollaps-ki-inhalte-web-verschmutzung/ (CC BY 4.0) wing: 4 theme: understand_ai reflex: air-003 schema: G2 updated: "2026-11-03" translations: de: https://startbrain.io/cyberpedia/de/articles/modellkollaps-ki-inhalte-web-verschmutzung/ fr: https://startbrain.io/cyberpedia/fr/articles/derive-modele-pollution-web-contenu-synthetique/ en: https://startbrain.io/cyberpedia/en/articles/model-collapse-ai-slop-web-pollution/ es: https://startbrain.io/cyberpedia/es/articles/deriva-modelos-contaminacion-web-contenido-sintetico/ sources: - "n": 1 title: "The Curse of Recursion: Training on Generated Data Makes Models Forget" publisher: arXiv url: https://arxiv.org/abs/2305.17493 published: "2023-05-27" accessed: "2026-11-03" - "n": 2 title: "The Curious Decline of Linguistic Diversity: Training Language Models on Synthetic Text" publisher: arXiv url: https://arxiv.org/abs/2311.09807 published: "2023-11-16" accessed: "2026-11-03" - "n": 3 title: Self-Consuming Generative Models Go MAD publisher: arXiv url: https://arxiv.org/abs/2307.01850 published: "2023-07-04" accessed: "2026-11-03" - "n": 4 title: LLM04:2025 Data and Model Poisoning publisher: OWASP url: https://genai.owasp.org/llmrisk/llm042025-data-and-model-poisoning/ accessed: "2026-11-03" - "n": 5 title: LLM09:2025 Misinformation publisher: OWASP url: https://genai.owasp.org/llmrisk/llm092025-misinformation/ accessed: "2026-11-03" - "n": 6 title: LLM03:2025 Supply Chain publisher: OWASP url: https://genai.owasp.org/llmrisk/llm032025-supply-chain/ accessed: "2026-11-03" - "n": 7 title: Guidelines for secure AI system development publisher: NCSC (Royaume-Uni) url: https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development published: "2023-11-27" accessed: "2026-11-03" - "n": 8 title: "Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile" publisher: NIST url: https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence published: "2024-07-26" accessed: "2026-11-03" --- # Modellkollaps und die Verschmutzung des Webs durch KI Schreibassistenten erzeugen Texte, die andere Modelle oder andere Beschäftigte anschließend weiterverwenden. Werden solche generierten Texte zum Training neuer Modelle genutzt, haben Forschende irreversible Defekte festgestellt. Dieser Effekt heißt „Model Collapse“, hier mit Modellkollaps übersetzt [1]. Dieser Artikel erklärt den Mechanismus ohne Gleichungen und nennt dann einfache Handgriffe: eine Information prüfen, gegenprüfen, zweifelhafte Inhalte erkennen und einen generierten Text nie unverändert übernehmen. ## In 30 Sekunden - Wo es vorkommt: in Werkzeugen zur Text- und Bilderzeugung und in den Online-Inhalten, mit denen sie trainiert werden. - Was es für Sie bedeutet: Eine Antwort kann glaubwürdig wirken und falsch sein oder nur eine verarmte Fassung eines bestehenden Inhalts darstellen. - Der Reflex: Übernehmen Sie keinen generierten Text, ohne ihn mit einer verlässlichen Quelle abgeglichen zu haben, die Sie selbst geöffnet haben. - Wenn es schon passiert ist: Lesen Sie das Dokument erneut, suchen Sie die Quelle jeder Aussage, korrigieren Sie und informieren Sie die Empfänger, falls ein Fehler verschickt wurde. ## Direkte Fragen ### Was ist Modellkollaps? Es ist die Verschlechterung eines Modells, das mit Inhalten anderer Modelle trainiert wurde. Forschende stellten fest, dass die Verwendung generierter Inhalte beim Training irreversible Defekte verursacht: Die „Ausläufer“ (Tails) der ursprünglichen Verteilung, also die seltenen Fälle, verschwinden. Sie nannten diesen Effekt „Model Collapse“ und beobachteten ihn bei variationalen Autoencodern, Gaußschen Mischmodellen und großen Sprachmodellen [1]. ### Betrifft das Phänomen nur Text? Nein. Ein anderes Team untersuchte generative Bildmodelle in Schleifen, in denen jede Generation mit den Ausgaben der vorigen trainiert wird. Ohne genügend frische reale Daten in jeder Generation nehmen Qualität (Precision, Präzision) oder Vielfalt (Recall, Abdeckung) künftiger Modelle allmählich ab. Die Autoren nennen diesen Zustand „Model Autophagy Disorder“ (MAD), in Anlehnung an den Rinderwahnsinn [3]. ### Und bei Sprachmodellen? Eine für NAACL 2024 (Findings) angenommene Studie maß die lexikalische, syntaktische und semantische Vielfalt nach aufeinanderfolgenden Feinabstimmungen mit synthetischem Text, auf Englisch. Sie stellt über die Iterationen einen stetigen Rückgang der Vielfalt der Ausgaben fest, besonders deutlich bei Aufgaben, die Kreativität erfordern [2]. ### Kann ein generierter Text falsch sein, ohne dass das Werkzeug „lügt“? Ja. OWASP beschreibt die Halluzination: Das Modell füllt Lücken mit statistischen Mustern, ohne den Inhalt zu verstehen, und erzeugt Antworten, die richtig scheinen, aber keine Grundlage haben. Verzerrungen in den Trainingsdaten und unvollständige Informationen tragen ebenfalls dazu bei [5]. ### Können Trainingsdaten absichtlich manipuliert werden? Ja. OWASP nennt Data Poisoning die Manipulation von Daten für Vortraining, Feinabstimmung oder Einbettungen, um Schwachstellen, Hintertüren oder Verzerrungen einzubringen. Das Risiko ist bei externen Quellen hoch, die ungeprüfte oder schädliche Inhalte enthalten können [4]. ## Wie es funktioniert Ein Sprachmodell lernt aus großen Textmengen, die im Web gesammelt wurden. Stammt ein wachsender Teil dieses Textes von Modellen, lernt das nächste teilweise aus Kopien. Die Autoren der ersten Studie vertreten die Ansicht, dass dieses Risiko ernst genommen werden muss, wenn man weiterhin vom Training mit Daten profitieren will, die in großem Umfang im Web gesammelt werden. Sie fügen hinzu, dass Daten aus echten Interaktionen von Menschen mit den Systemen an Wert gewinnen werden, je mehr sich generierte Inhalte in den aus dem Internet gesammelten Daten ausbreiten [1]. Die andere Arbeit stellt fest, dass Qualität oder Vielfalt abnehmen, wenn in jeder Generation nicht genügend frische reale Daten vorhanden sind [3]. Die eingesehenen Seiten beziffern nicht, welcher Anteil synthetischer Inhalte derzeit im Web liegt, und dieser Artikel nennt keine Zahl. ## Was Sie tun - Behandeln Sie eine generierte Antwort als Entwurf. OWASP nennt die übermäßige Abhängigkeit (Overreliance): Nutzer übernehmen falsche Daten ohne ausreichende Prüfung in wichtige Entscheidungen [5]. - Gleichen Sie mit verlässlichen externen Quellen ab. OWASP empfiehlt, die Ausgaben des Modells mit solchen Quellen abzugleichen und für sensible Informationen eine menschliche Durchsicht und eine Faktenprüfung vorzusehen [5]. - Suchen Sie den Ursprung jeder Tatsache, Zahl oder jedes Zitats, bevor Sie sie in ein Dokument schreiben. Finden Sie keine Quelle, streichen Sie die Aussage. - Prüfen Sie, ob ein Verweis existiert, bevor Sie ihn verwenden. OWASP nennt einen Fall, in dem ChatGPT falsche Gerichtsverfahren erfunden hat, mit schwerwiegenden Folgen vor Gericht [5]. - Übernehmen Sie bei Code keine vorgeschlagene Bibliothek ungeprüft. Assistenten schlagen unsichere oder nicht existierende Bibliotheken von Drittanbietern vor [5]. - Erkennen Sie zweifelhafte Inhalte: Text ohne Autor und Quelle, Behauptungen ohne Beleg, Widersprüche zu einer Quelle, die Sie kennen. Diese Kriterien sind Faustregeln dieses Artikels, keine Methode aus den Quellen. - Kennzeichnen Sie generierte Inhalte, wenn Sie sie weitergeben. OWASP empfiehlt, KI-generierte Inhalte deutlich zu kennzeichnen und über die Grenzen der Zuverlässigkeit zu informieren [5]. ## Die Fallstricke - Eine flüssige Antwort ist keine geprüfte Antwort: Die Fehlinformation eines Modells wirkt glaubwürdig [5]. - Eine Quelle, die einen generierten Text übernimmt, ist keine zweite Meinung. Zwei Seiten mit derselben Aussage können vom selben Modell stammen. - Auch die Modelle selbst können von außen kommen. OWASP stellt fest, dass es derzeit keine starke Garantie für die Herkunft veröffentlichter Modelle gibt: Die Beschreibungen (Model Cards) geben keine über ihren Ursprung [6]. - Ein vergiftetes Modell kann sich normal verhalten, bis ein Auslöser sein Verhalten ändert, was den Defekt schwer erkennbar macht [4]. - Die Nutzungsbedingungen eines Werkzeugs können erlauben, Ihre Daten für das Training zu verwenden. OWASP weist auf dieses Risiko hin, wenn Bedingungen und Datenschutzrichtlinie unklar sind [6]. Geben Sie keine sensiblen Informationen in ein Werkzeug ein, das Ihr Unternehmen nicht freigegeben hat. - Für einen KI-Fehler haftet die Organisation auch ohne Angreifer. OWASP nennt den Chatbot von Air Canada, dessen fehlerhafte Auskünfte an Reisende zu Störungen und rechtlichen Komplikationen führten, wobei die Fluggesellschaft erfolgreich verklagt wurde [5]. Auf Organisationsebene schlägt das NIST ein branchenübergreifendes Profil für generative KI vor, eine Ergänzung zum AI RMF 1.0, zur freiwilligen Anwendung [8]. Die am 27. November 2023 veröffentlichten Leitlinien des britischen NCSC decken Entwurf, Entwicklung, Bereitstellung und Betrieb von KI-Systemen ab, einschließlich der Sicherheit der Lieferkette [7]. ## Reale Fälle ### 27. Mai 2023: der „Fluch der Rekursion“ Ilia Shumailov und fünf Koautoren reichen bei arXiv einen Artikel ein, der fragt, was aus künftigen GPT-Modellen wird, wenn große Sprachmodelle einen großen Teil des Online-Textes erzeugen. Ihre Antwort: Generierte Inhalte im Training verursachen irreversible Defekte. Sie zeigen, dass der Effekt in mehreren Modellfamilien auftreten kann [1]. ### 4. Juli 2023: die Autophagie-Störung der Modelle Sina Alemohammad, Richard G. Baraniuk und sechs Koautoren reichen bei arXiv eine Analyse von drei Familien selbstverzehrender Schleifen bei Bildmodellen ein. Ihr Ergebnis: Ohne genügend frische reale Daten nehmen Präzision oder Vielfalt von Generation zu Generation ab [3]. ### 16. November 2023: der Rückgang der sprachlichen Vielfalt Yanzhu Guo und Koautoren reichen bei arXiv Experimente zur rekursiven Feinabstimmung auf Englisch ein. Die Vielfalt der Ausgaben sinkt mit jeder Iteration, vor allem bei kreativen Aufgaben [2]. ## Quellen 1. arXiv, „The Curse of Recursion: Training on Generated Data Makes Models Forget“, 27. Mai 2023. https://arxiv.org/abs/2305.17493 (abgerufen am 3. November 2026) 2. arXiv, „The Curious Decline of Linguistic Diversity: Training Language Models on Synthetic Text“, 16. November 2023. https://arxiv.org/abs/2311.09807 (abgerufen am 3. November 2026) 3. arXiv, „Self-Consuming Generative Models Go MAD“, 4. Juli 2023. https://arxiv.org/abs/2307.01850 (abgerufen am 3. November 2026) 4. OWASP, „LLM04:2025 Data and Model Poisoning“. https://genai.owasp.org/llmrisk/llm042025-data-and-model-poisoning/ (abgerufen am 3. November 2026) 5. OWASP, „LLM09:2025 Misinformation“. https://genai.owasp.org/llmrisk/llm092025-misinformation/ (abgerufen am 3. November 2026) 6. OWASP, „LLM03:2025 Supply Chain“. https://genai.owasp.org/llmrisk/llm032025-supply-chain/ (abgerufen am 3. November 2026) 7. NCSC (Royaume-Uni), „Guidelines for secure AI system development“, 27. November 2023. https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development (abgerufen am 3. November 2026) 8. NIST, „Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile“, 26. Juli 2024. https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence (abgerufen am 3. November 2026) --- Originalquelle: Cyberpedia, die öffentliche Enzyklopädie zu Cybersicherheit und KI von Brain. Kanonische Version: https://startbrain.io/cyberpedia/de/articles/modellkollaps-ki-inhalte-web-verschmutzung/ Sie dürfen diesen Text unter der Lizenz CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) frei weiterverwenden, sofern Sie „Brain, Cyberpedia“ mit einem Link auf die obige Adresse nennen.