Cyberpediavon Brain
DEENFR

KI-Halluzination: Wenn das Modell etwas erfindet

Ein Sprachmodell sagt das wahrscheinlichste Wort voraus, ohne zu prüfen, ob es stimmt: Es kann Fakten, Quellen und Code-Pakete erfinden.

In 30 Sekunden

Wo es vorkommt
In jedem Text, den ein KI-Assistent erzeugt, vor allem bei offenen Fragen, die eine lange Antwort verlangen, und in Fachgebieten, die Kontextwissen erfordern2.
Was auf dem Spiel steht
Das Modell kann einen Fakt, eine Quellenangabe, ein Zitat oder den Namen einer Code-Bibliothek erfinden und ihn selbstbewusst präsentieren12.
Der Reflex
Der Reflex: Jeden wichtigen Fakt mit einer vertrauenswürdigen externen Quelle abgleichen und kritische Informationen von einem Menschen prüfen lassen, bevor man sie verwendet1.
Wenn es schon passiert ist
Den Empfänger des Dokuments warnen, mit einer verlässlichen Quelle korrigieren und den Fehler der Person melden, die im Unternehmen die KI-Werkzeuge betreut.

Worum es geht

Ein KI-Assistent, der eine Zusammenfassung, einen Rechtsvermerk oder eine Literaturliste verfasst, greift nicht auf eine Faktendatenbank zu. Er erzeugt eine plausibel klingende Wortfolge. Irrt er sich, tut er das im selben selbstsicheren Ton wie bei einer richtigen Antwort, und nichts auf dem Bildschirm zeigt den Unterschied.

Dieses Phänomen heißt Halluzination. Das US-amerikanische NIST verwendet auch den Begriff „Konfabulation“ und merkt an, dass umgangssprachlich von Halluzinationen oder Fabrikationen die Rede ist2. Für Beschäftigte ist eine KI-Antwort ein Entwurf, den man prüfen muss, und niemals eine Quelle.

Direkte Fragen

Warum erfindet eine KI etwas?

Laut OWASP füllen die Modelle Lücken in ihren Trainingsdaten mit statistischen Mustern, ohne den Inhalt zu verstehen. Die Antworten können dann richtig wirken, obwohl sie jeder Grundlage entbehren1. Das NIST beschreibt denselben Mechanismus: Die Modelle erzeugen Ausgaben, die der statistischen Verteilung ihrer Trainingsdaten nahekommen, und große Sprachmodelle sagen das nächste Wort in einem Satz voraus2.

Ist das ein seltener Fehler?

Das NIST stellt ihn als natürliche Folge der Konstruktion generativer Modelle dar2. Zwei Forschungsüberblicke, einer zur Textgenerierung im Allgemeinen, der andere zu großen Sprachmodellen, beschreiben ein eingehend untersuchtes Problem. Der erste behandelt automatische Zusammenfassung, Dialog, Frage-Antwort-Systeme und maschinelle Übersetzung4. Der zweite spricht von plausiblen, aber nicht faktischen Inhalten und von Zweifeln an der Verlässlichkeit dieser Modelle bei der Informationssuche3.

Kann eine KI auch ihre Begründungen erfinden?

Ja. Laut NIST können die Ausgaben erfundene Logik oder erfundene Zitate enthalten, die vorgeben, die Antwort zu erklären. Manchmal liefert ein Modell Denkschritte, obwohl die Antwort falsch ist2. Eine gut aufgemachte Quellenangabe beweist daher nichts.

Geht das Risiko nur von der Maschine aus?

Nein. OWASP nennt auch übermäßiges Vertrauen: Nutzer vertrauen erzeugten Inhalten zu sehr, prüfen sie nicht auf Richtigkeit und übernehmen falsche Daten in wichtige Entscheidungen1. Das NIST hält fest, dass das Risiko entsteht, wenn Nutzer Falsches glauben, oft wegen des selbstsicheren Tons der Antwort2.

1Wie es funktioniert1 min

Ein Sprachmodell unterscheidet nicht zwischen dem, was es „weiß“, und dem, was es ergänzt. Das NIST stellt klar, dass die statistische Vorhersage zu Ausgaben führen kann, die korrekt und stimmig sind, aber auch zu unrichtigen oder widersprüchlichen2. Besonders problematisch ist sie bei offenen Aufforderungen, die eine lange Antwort verlangen, und in Gebieten, die Kontextwissen erfordern2.

Die Fabrikationen treten in mehreren Formen auf. OWASP führt vier auf. Die erste ist die sachliche Unrichtigkeit: Der Chatbot von Air Canada gab Reisenden falsche Auskünfte, und die Fluggesellschaft wurde erfolgreich verklagt1. Die zweite ist die unbegründete Behauptung. Als Beispiel wird ChatGPT genannt, das falsche Gerichtsfälle erfand, was vor Gericht zu ernsten Schwierigkeiten führte1. Die dritte ist die Illusion von Fachkompetenz, etwa Chatbots, die Gesundheitsthemen als unsicher darstellen, obwohl sie es nicht sind1. Die vierte ist gefährlicher Code: Das Modell schlägt unsichere oder nicht existierende Bibliotheken vor1.

Diese Erfindungen lassen sich ausnutzen. OWASP beschreibt ein Szenario, in dem Angreifer Programmierassistenten testen, um die oft erfundenen Paketnamen herauszufinden, und dann unter diesen Namen echte Schadpakete in viel genutzten Repositorys veröffentlichen. Entwickler, die dem Vorschlag des Assistenten folgen, binden sie unwissentlich in ihre Software ein1.

2Was Sie tun1 min

Die folgenden Maßnahmen orientieren sich an den Empfehlungen von OWASP1.

  • Gleichen Sie wichtige Fakten mit vertrauenswürdigen externen Quellen ab1.
  • Öffnen Sie jeden Link und jede Quellenangabe, die die KI nennt. Existiert die Seite nicht oder sagt sie nicht, was die KI ihr zuschreibt, behandeln Sie die Angabe als erfunden. Das NIST weist darauf hin, dass erfundene Zitate in die Irre führen können2.
  • Fügen Sie eine ungeprüfte Antwort nicht in einen Vertrag, einen Rechtsvermerk, ein Finanzdokument oder einen Kundenbrief ein. OWASP fordert eine Prüfung durch Menschen, vor allem bei kritischen oder sensiblen Informationen1.
  • Bevor Sie ein Code-Paket installieren, das ein Assistent vorgeschlagen hat, prüfen Sie, ob es existiert und ob es legitim ist. OWASP fordert außerdem sichere Entwicklungspraktiken, damit keine Schwachstellen aus fehlerhaften Vorschlägen übernommen werden1.
  • Halten Sie in einer Entscheidungskette eine geschulte Person für die Prüfung bereit. OWASP betont die Schulung der Prüfer, damit sie sich nicht blind auf KI-erzeugte Inhalte verlassen1.
3Die Fallstricke1 min
  • Flüssige Sprache täuscht. Ein gut geschriebener Text ist nicht automatisch richtig, und das NIST merkt an, dass der selbstsichere Ton dazu verleitet, Falsches zu glauben2.
  • Spezialisierte Gebiete sind am stärksten betroffen. OWASP nennt Recht und Gesundheit als Zusammenhänge, in denen unbegründete Behauptungen besonders schaden1. Das NIST gibt das Beispiel einer konfabulierten Zusammenfassung einer Patientenakte, die zu Fehldiagnosen führen könnte2.
  • Die KI ihre eigene Antwort noch einmal prüfen zu lassen, ersetzt keine externe Quelle. Sie kann eine falsche Antwort mit einer scheinbar logischen Begründung rechtfertigen2.
  • Für den Schaden braucht es keinen Angreifer. OWASP beschreibt ein Unternehmen, das erfolgreich verklagt wurde, nachdem es einen Chatbot für medizinische Diagnosen angeboten hatte, ohne dessen Verlässlichkeit sicherzustellen. Der Fehler lag in unzureichender Kontrolle, nicht in einem Angriff1.
  • Das Risiko lässt sich schwer beziffern. Das NIST schreibt, es sei schwierig, Ausmaß und nachgelagerte Auswirkungen von Konfabulationen abzuschätzen2. Sein Profil zur generativen KI, das Organisationen hilft, die spezifischen Risiken dieser Technologie zu erkennen, hat es am 26. Juli 2024 veröffentlicht5.

Merkblatt

Kennung
CP-271
Flügel
4. Künstliche Intelligenz
Brain-Kompetenz
Antworten prüfen (verify_output)
Brain-Reflex
air-006
Schema
G2 · Mythos gegen Realität
Sprachen
de, en, fr
Quellen
5 Quellen geprüft am 3. November 2026
Quellen5 Quellen
  1. OWASP, „LLM09:2025 Misinformation“. https://genai.owasp.org/llmrisk/llm092025-misinformation/ (abgerufen am 3. November 2026)
  2. NIST, „Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile“. https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf (abgerufen am 3. November 2026)
  3. arXiv, „A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions“. https://arxiv.org/abs/2311.05232 (abgerufen am 3. November 2026)
  4. arXiv, „Survey of Hallucination in Natural Language Generation“. https://arxiv.org/abs/2202.03629 (abgerufen am 3. November 2026)
  5. NIST, „AI Risk Management Framework“. https://www.nist.gov/itl/ai-risk-management-framework (abgerufen am 3. November 2026)

Diesen Artikel zitieren

Brain, „KI-Halluzination: Wenn das Modell etwas erfindet“, Cyberpedia, 2026. https://startbrain.io/cyberpedia/de/articles/ki-halluzination-erfundene-fakten/

BibTeX 
@misc{brain_cp271_de_2026,
  author = {Brain},
  title = {KI-Halluzination: Wenn das Modell etwas erfindet},
  year = {2026},
  howpublished = {Cyberpedia},
  url = {https://startbrain.io/cyberpedia/de/articles/ki-halluzination-erfundene-fakten/},
  note = {CC BY 4.0}
}
Lizenz CC BY 4.0