--- id: CP-271 slug: ki-halluzination-erfundene-fakten lang: de title: "KI-Halluzination: Wenn das Modell etwas erfindet" description: "Ein Sprachmodell sagt das wahrscheinlichste Wort voraus, ohne zu prüfen, ob es stimmt: Es kann Fakten, Quellen und Code-Pakete erfinden." canonical_url: https://startbrain.io/cyberpedia/de/articles/ki-halluzination-erfundene-fakten/ markdown_url: https://startbrain.io/cyberpedia/de/articles/ki-halluzination-erfundene-fakten.md publisher: Brain (https://startbrain.io) license: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) cite_as: "Brain, „KI-Halluzination: Wenn das Modell etwas erfindet“, Cyberpedia, 2026. https://startbrain.io/cyberpedia/de/articles/ki-halluzination-erfundene-fakten/ (CC BY 4.0)" wing: 4 theme: verify_output reflex: air-006 schema: G2 updated: "2026-11-03" translations: de: https://startbrain.io/cyberpedia/de/articles/ki-halluzination-erfundene-fakten/ fr: https://startbrain.io/cyberpedia/fr/articles/hallucination-ia-faits-inventes/ en: https://startbrain.io/cyberpedia/en/articles/ai-hallucination-invented-facts/ es: https://startbrain.io/cyberpedia/es/articles/alucinacion-ia-hechos-inventados/ sources: - "n": 1 title: LLM09:2025 Misinformation publisher: OWASP url: https://genai.owasp.org/llmrisk/llm092025-misinformation/ accessed: "2026-11-03" - "n": 2 title: "Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile" publisher: NIST url: https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf accessed: "2026-11-03" - "n": 3 title: "A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions" publisher: arXiv url: https://arxiv.org/abs/2311.05232 accessed: "2026-11-03" - "n": 4 title: Survey of Hallucination in Natural Language Generation publisher: arXiv url: https://arxiv.org/abs/2202.03629 accessed: "2026-11-03" - "n": 5 title: AI Risk Management Framework publisher: NIST url: https://www.nist.gov/itl/ai-risk-management-framework accessed: "2026-11-03" --- # KI-Halluzination: Wenn das Modell etwas erfindet Ein KI-Assistent, der eine Zusammenfassung, einen Rechtsvermerk oder eine Literaturliste verfasst, greift nicht auf eine Faktendatenbank zu. Er erzeugt eine plausibel klingende Wortfolge. Irrt er sich, tut er das im selben selbstsicheren Ton wie bei einer richtigen Antwort, und nichts auf dem Bildschirm zeigt den Unterschied. Dieses Phänomen heißt Halluzination. Das US-amerikanische NIST verwendet auch den Begriff „Konfabulation“ und merkt an, dass umgangssprachlich von Halluzinationen oder Fabrikationen die Rede ist [2]. Für Beschäftigte ist eine KI-Antwort ein Entwurf, den man prüfen muss, und niemals eine Quelle. ## In 30 Sekunden - Wo es vorkommt: in jedem Text, den ein KI-Assistent erzeugt, vor allem bei offenen Fragen, die eine lange Antwort verlangen, und in Fachgebieten, die Kontextwissen erfordern [2]. - Was auf dem Spiel steht: Das Modell kann einen Fakt, eine Quellenangabe, ein Zitat oder den Namen einer Code-Bibliothek erfinden und ihn selbstbewusst präsentieren [1][2]. - Der Reflex: Der Reflex: Jeden wichtigen Fakt mit einer vertrauenswürdigen externen Quelle abgleichen und kritische Informationen von einem Menschen prüfen lassen, bevor man sie verwendet [1]. - Wenn es schon passiert ist: Den Empfänger des Dokuments warnen, mit einer verlässlichen Quelle korrigieren und den Fehler der Person melden, die im Unternehmen die KI-Werkzeuge betreut. ## Direkte Fragen ### Warum erfindet eine KI etwas? Laut OWASP füllen die Modelle Lücken in ihren Trainingsdaten mit statistischen Mustern, ohne den Inhalt zu verstehen. Die Antworten können dann richtig wirken, obwohl sie jeder Grundlage entbehren [1]. Das NIST beschreibt denselben Mechanismus: Die Modelle erzeugen Ausgaben, die der statistischen Verteilung ihrer Trainingsdaten nahekommen, und große Sprachmodelle sagen das nächste Wort in einem Satz voraus [2]. ### Ist das ein seltener Fehler? Das NIST stellt ihn als natürliche Folge der Konstruktion generativer Modelle dar [2]. Zwei Forschungsüberblicke, einer zur Textgenerierung im Allgemeinen, der andere zu großen Sprachmodellen, beschreiben ein eingehend untersuchtes Problem. Der erste behandelt automatische Zusammenfassung, Dialog, Frage-Antwort-Systeme und maschinelle Übersetzung [4]. Der zweite spricht von plausiblen, aber nicht faktischen Inhalten und von Zweifeln an der Verlässlichkeit dieser Modelle bei der Informationssuche [3]. ### Kann eine KI auch ihre Begründungen erfinden? Ja. Laut NIST können die Ausgaben erfundene Logik oder erfundene Zitate enthalten, die vorgeben, die Antwort zu erklären. Manchmal liefert ein Modell Denkschritte, obwohl die Antwort falsch ist [2]. Eine gut aufgemachte Quellenangabe beweist daher nichts. ### Geht das Risiko nur von der Maschine aus? Nein. OWASP nennt auch übermäßiges Vertrauen: Nutzer vertrauen erzeugten Inhalten zu sehr, prüfen sie nicht auf Richtigkeit und übernehmen falsche Daten in wichtige Entscheidungen [1]. Das NIST hält fest, dass das Risiko entsteht, wenn Nutzer Falsches glauben, oft wegen des selbstsicheren Tons der Antwort [2]. ## Wie es funktioniert Ein Sprachmodell unterscheidet nicht zwischen dem, was es „weiß“, und dem, was es ergänzt. Das NIST stellt klar, dass die statistische Vorhersage zu Ausgaben führen kann, die korrekt und stimmig sind, aber auch zu unrichtigen oder widersprüchlichen [2]. Besonders problematisch ist sie bei offenen Aufforderungen, die eine lange Antwort verlangen, und in Gebieten, die Kontextwissen erfordern [2]. Die Fabrikationen treten in mehreren Formen auf. OWASP führt vier auf. Die erste ist die sachliche Unrichtigkeit: Der Chatbot von Air Canada gab Reisenden falsche Auskünfte, und die Fluggesellschaft wurde erfolgreich verklagt [1]. Die zweite ist die unbegründete Behauptung. Als Beispiel wird ChatGPT genannt, das falsche Gerichtsfälle erfand, was vor Gericht zu ernsten Schwierigkeiten führte [1]. Die dritte ist die Illusion von Fachkompetenz, etwa Chatbots, die Gesundheitsthemen als unsicher darstellen, obwohl sie es nicht sind [1]. Die vierte ist gefährlicher Code: Das Modell schlägt unsichere oder nicht existierende Bibliotheken vor [1]. Diese Erfindungen lassen sich ausnutzen. OWASP beschreibt ein Szenario, in dem Angreifer Programmierassistenten testen, um die oft erfundenen Paketnamen herauszufinden, und dann unter diesen Namen echte Schadpakete in viel genutzten Repositorys veröffentlichen. Entwickler, die dem Vorschlag des Assistenten folgen, binden sie unwissentlich in ihre Software ein [1]. ## Was Sie tun Die folgenden Maßnahmen orientieren sich an den Empfehlungen von OWASP [1]. - Gleichen Sie wichtige Fakten mit vertrauenswürdigen externen Quellen ab [1]. - Öffnen Sie jeden Link und jede Quellenangabe, die die KI nennt. Existiert die Seite nicht oder sagt sie nicht, was die KI ihr zuschreibt, behandeln Sie die Angabe als erfunden. Das NIST weist darauf hin, dass erfundene Zitate in die Irre führen können [2]. - Fügen Sie eine ungeprüfte Antwort nicht in einen Vertrag, einen Rechtsvermerk, ein Finanzdokument oder einen Kundenbrief ein. OWASP fordert eine Prüfung durch Menschen, vor allem bei kritischen oder sensiblen Informationen [1]. - Bevor Sie ein Code-Paket installieren, das ein Assistent vorgeschlagen hat, prüfen Sie, ob es existiert und ob es legitim ist. OWASP fordert außerdem sichere Entwicklungspraktiken, damit keine Schwachstellen aus fehlerhaften Vorschlägen übernommen werden [1]. - Halten Sie in einer Entscheidungskette eine geschulte Person für die Prüfung bereit. OWASP betont die Schulung der Prüfer, damit sie sich nicht blind auf KI-erzeugte Inhalte verlassen [1]. ## Die Fallstricke - Flüssige Sprache täuscht. Ein gut geschriebener Text ist nicht automatisch richtig, und das NIST merkt an, dass der selbstsichere Ton dazu verleitet, Falsches zu glauben [2]. - Spezialisierte Gebiete sind am stärksten betroffen. OWASP nennt Recht und Gesundheit als Zusammenhänge, in denen unbegründete Behauptungen besonders schaden [1]. Das NIST gibt das Beispiel einer konfabulierten Zusammenfassung einer Patientenakte, die zu Fehldiagnosen führen könnte [2]. - Die KI ihre eigene Antwort noch einmal prüfen zu lassen, ersetzt keine externe Quelle. Sie kann eine falsche Antwort mit einer scheinbar logischen Begründung rechtfertigen [2]. - Für den Schaden braucht es keinen Angreifer. OWASP beschreibt ein Unternehmen, das erfolgreich verklagt wurde, nachdem es einen Chatbot für medizinische Diagnosen angeboten hatte, ohne dessen Verlässlichkeit sicherzustellen. Der Fehler lag in unzureichender Kontrolle, nicht in einem Angriff [1]. - Das Risiko lässt sich schwer beziffern. Das NIST schreibt, es sei schwierig, Ausmaß und nachgelagerte Auswirkungen von Konfabulationen abzuschätzen [2]. Sein Profil zur generativen KI, das Organisationen hilft, die spezifischen Risiken dieser Technologie zu erkennen, hat es am 26. Juli 2024 veröffentlicht [5]. ## Quellen 1. OWASP, „LLM09:2025 Misinformation“. https://genai.owasp.org/llmrisk/llm092025-misinformation/ (abgerufen am 3. November 2026) 2. NIST, „Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile“. https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf (abgerufen am 3. November 2026) 3. arXiv, „A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions“. https://arxiv.org/abs/2311.05232 (abgerufen am 3. November 2026) 4. arXiv, „Survey of Hallucination in Natural Language Generation“. https://arxiv.org/abs/2202.03629 (abgerufen am 3. November 2026) 5. NIST, „AI Risk Management Framework“. https://www.nist.gov/itl/ai-risk-management-framework (abgerufen am 3. November 2026) --- Originalquelle: Cyberpedia, die öffentliche Enzyklopädie zu Cybersicherheit und KI von Brain. Kanonische Version: https://startbrain.io/cyberpedia/de/articles/ki-halluzination-erfundene-fakten/ Sie dürfen diesen Text unter der Lizenz CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) frei weiterverwenden, sofern Sie „Brain, Cyberpedia“ mit einem Link auf die obige Adresse nennen.