Cyberpediavon Brain
DEENFR

Der Anwalt und die erfundenen Urteile von ChatGPT

Ein KI-Assistent kann glaubwürdige Gerichtsentscheidungen erfinden. Warum das geschieht und wie Sie ein Zitat vor der Verwendung im Beruf prüfen.

In 30 Sekunden

Wo es vorkommt
In jedem Text eines KI-Assistenten, der ein Zitat, eine Zahl oder eine Gerichtsentscheidung enthält.
Was der Angreifer will
Niemand. Das Risiko liegt im Modell selbst, das eine falsche Antwort erzeugen kann, ohne dass ein Angreifer eingreift1.
Der Reflex
Übernehmen Sie kein Zitat, keine Zahl und keine Quellenangabe einer KI, ohne sie in der Originalquelle wiedergefunden zu haben, und lassen Sie den Text vor jeder beruflichen Verwendung von einer Person gegenlesen.
Wenn es schon passiert ist
Suchen Sie die Quelle jedes bereits verwendeten Elements, korrigieren oder entfernen Sie, was sich nicht bestätigen lässt, und informieren Sie die Empfänger des Dokuments.

Worum es geht

Ein KI-Assistent kann eine Gerichtsentscheidung hervorbringen, die es nicht gibt. OWASP erwähnt, dass ChatGPT erfundene Rechtsfälle erzeugt hat, mit erheblichen Folgen vor Gericht1. Dieses Risiko betrifft auch Beschäftigte, die den Text eines KI-Assistenten unverändert übernehmen.

Die hier zitierten Quellen nennen den Fall Mata v. Avianca nicht und erzählen ihn auch nicht. Dieser Beitrag übernimmt deshalb weder die Namen der Personen noch Daten oder die Sanktion: Er hält sich an das, was die Quellen belegen, und erklärt, was Beschäftigte daraus für ihre eigene Arbeit mitnehmen.

Direkte Fragen

Was ist im Fall Mata v. Avianca geschehen?

Unter den hier zitierten Quellen erwähnt nur die Seite von OWASP einen solchen Fall, ohne ihn zu benennen: ChatGPT habe dort erfundene Rechtsfälle erzeugt, was vor Gericht zu erheblichen Schwierigkeiten geführt habe1. Einzelheiten des Verfahrens, das Datum und die Sanktion enthält die Seite nicht.

Warum erfindet eine KI Quellenangaben?

Ein Sprachmodell greift nicht auf eine Faktendatenbank zu. OWASP erklärt, dass es Lücken in seinen Trainingsdaten mit statistischen Mustern füllt, ohne den Inhalt zu verstehen: Die Antwort kann richtig wirken und trotzdem unbegründet sein1. NIST beschreibt denselben Mechanismus: Diese Modelle erzeugen Ausgaben, die der statistischen Verteilung ihrer Trainingsdaten nahekommen, und große Sprachmodelle sagen das nächste Wort in einem Satz voraus2.

Ist das ein Fehler, der bald behoben wird?

Die Quellen versprechen das nicht. Ein Forschungsüberblick hält fest, dass diese Modelle plausible, aber nicht faktische Inhalte erzeugen können und dass dies ernste Fragen zu ihrer Zuverlässigkeit in Systemen zur Informationssuche aufwirft3. Eine theoretische Studie behauptet, es sei unmöglich, Halluzinationen in großen Sprachmodellen zu beseitigen, und diese würden zwangsläufig halluzinieren, wenn sie als allgemeine Problemlöser dienen4.

Welche Begriffe sollte man kennen?

NIST spricht von „Konfabulation“ für die Erzeugung falscher Inhalte, die selbstsicher vorgetragen werden, und stellt klar, dass die Alltagssprache auch „Halluzinationen“ oder „Erfindungen“ sagt2. Die Wörter bezeichnen dasselbe Phänomen.

Ist ein selbstsicher formulierter Text zuverlässiger?

Nein. Laut NIST entsteht das Risiko, wenn Nutzerinnen und Nutzer falsche Inhalte glauben, oft wegen des selbstsicheren Tons der Antwort, und anschließend auf dieser Grundlage handeln2.

1Wie es funktioniert1 min

Das Modell sucht nicht nach der Wahrheit, sondern erzeugt die wahrscheinlichste Wortfolge. NIST hält fest, dass diese statistische Vorhersage zutreffende und stimmige Ausgaben liefern kann, aber auch unzutreffende oder in sich widersprüchliche. Das Phänomen sei besonders deutlich bei offenen Fragen, die lange Antworten verlangen, und in Bereichen, die fachliche Expertise im jeweiligen Kontext erfordern2.

OWASP unterscheidet zwei zusammenhängende Probleme. Das erste ist die Halluzination: Das Modell erzeugt Inhalte, die zutreffend wirken, aber erfunden sind. Das zweite ist übermäßiges Vertrauen: Nutzer vertrauen dem erzeugten Text zu sehr und prüfen seine Richtigkeit nicht, sodass sie falsche Daten in wichtige Entscheidungen oder Abläufe einbauen1.

2Was Sie tun1 min

Die folgenden Vorgehensweisen geben die Maßnahmen von OWASP und NIST wieder, formuliert aus Sicht der Beschäftigten.

  • Behandeln Sie jedes Zitat, jede Zahl und jede Quellenangabe einer KI als ungeprüft. OWASP empfiehlt, dass Nutzer die Ausgaben mit verlässlichen externen Quellen abgleichen1.
  • Suchen Sie das Element in der Originalquelle: im Text der Entscheidung, im offiziellen Dokument, in der Studie. Eine Quellenangabe, die Sie nicht wiederfinden, verwenden Sie nicht.
  • Gleichen Sie mehrere verlässliche externe Quellen ab, statt sich mit einer einzigen Bestätigung zufriedenzugeben1.
  • Lassen Sie vor jeder beruflichen Verwendung einen Menschen prüfen. OWASP verlangt menschliche Aufsicht und Verfahren zur Faktenprüfung für kritische oder sensible Informationen, mit geschulten Prüfern, die sich nicht übermäßig auf erzeugte Inhalte verlassen1.
  • Kennzeichnen Sie gegenüber Ihren Lesern, was mit KI erstellt wurde. OWASP empfiehlt, erzeugte Inhalte klar zu kennzeichnen und die Nutzer über die Grenzen der Zuverlässigkeit zu informieren1.
  • In sensiblen Bereichen wie Gesundheit oder Gerichtsverfahren ist besondere Vorsicht geboten: OWASP nennt diese Zusammenhänge im Hinblick auf unbegründete Behauptungen1.
3Die Fallstricke2 min

Der selbstsichere Ton

Eine flüssige, bestimmte Antwort beweist nichts. NIST weist darauf hin, dass Konfabulationen auch die Form erfundener Begründungen oder Zitate annehmen können, die die Antwort scheinbar belegen, was dazu führen kann, dass man dem System zu Unrecht vertraut2. Eine sehr detaillierte Quellenangabe mit Nummer, Gericht und Datum ist daher kein Hinweis auf Echtheit.

Das Vertrauen, das mit der Zeit wächst

NIST beschreibt eine Automatisierungsverzerrung: Je zuverlässiger die Technik erscheint, desto eher können sich Menschen zu schnell auf ihre Ausgaben verlassen oder ihren Inhalt für besser halten als den anderer Quellen. Diese Verzerrung verschärft das Risiko der Konfabulation2. Ein Werkzeug, das zehnmal richtig geantwortet hat, hat damit beim elften Mal nicht zwingend recht.

Die KI bitten, sich selbst zu prüfen

Die hier zitierten Quellen untersuchen den Fall nicht direkt, dass man das Werkzeug seine eigene Antwort bestätigen lässt. Sie liefern aber Anhaltspunkte zur Zuverlässigkeit seiner Ausgaben. Eine Studie zu ChatGPT stellt Selbstwidersprüche fest, also zwei widersprüchliche Sätze im selben Kontext, und zwar bei 17,7 % der erzeugten Sätze. Die Autoren fügen hinzu, dass ein großer Teil dieser Widersprüche, bei ChatGPT 35,2 %, sich mit Texten aus dem Internet nicht überprüfen lässt5. Ihr Detektor, der auf Anweisungen an ChatGPT beruht, erreicht etwa 80 % F1-Score5. Das ist für die Forschung nützlich, lässt aber Fehler durch. NIST hält zudem fest, dass Modelle manchmal Begründungsschritte liefern, auch wenn die Antwort falsch ist2.

Glauben, das Problem verschwinde

Die theoretische Studie hält Halluzinationen für unvermeidlich4, und der Forschungsüberblick beschreibt ihre aktuellen Grenzen im Einzelnen3. Die menschliche Prüfung bleibt daher notwendig.

Dieselben Fehler auch außerhalb des Gerichtssaals

OWASP nennt weitere Fälle: Ein Chatbot von Air Canada gab Reisenden falsche Auskünfte, und das Unternehmen wurde erfolgreich verklagt1. Außerdem erwähnt OWASP Programmierassistenten, die nicht existierende oder unsichere Code-Bibliotheken vorschlagen1. In einem von OWASP beschriebenen Szenario ermitteln Angreifer die Paketnamen, die Assistenten häufig erfinden, veröffentlichen unter diesen Namen echte Schadpakete, und Entwickler binden sie ein1.

Merkblatt

Kennung
CP-272
Flügel
4. Künstliche Intelligenz
Brain-Kompetenz
Antworten prüfen (verify_output)
Brain-Reflex
air-026
Schema
G2 · Mythos gegen Realität
Sprachen
de, en, fr
Quellen
5 Quellen geprüft am 3. November 2026
Quellen5 Quellen
  1. OWASP, „LLM09:2025 Misinformation“. https://genai.owasp.org/llmrisk/llm092025-misinformation/ (abgerufen am 3. November 2026)
  2. NIST, „Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile“. https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf (abgerufen am 3. November 2026)
  3. arXiv, „A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions“, 9. November 2023. https://arxiv.org/abs/2311.05232 (abgerufen am 3. November 2026)
  4. arXiv, „Hallucination is Inevitable: An Innate Limitation of Large Language Models“, 22. Januar 2024. https://arxiv.org/abs/2401.11817 (abgerufen am 3. November 2026)
  5. arXiv, „Self-contradictory Hallucinations of Large Language Models: Evaluation, Detection and Mitigation“, 25. Mai 2023. https://arxiv.org/abs/2305.15852 (abgerufen am 3. November 2026)

Diesen Artikel zitieren

Brain, „Der Anwalt und die erfundenen Urteile von ChatGPT“, Cyberpedia, 2026. https://startbrain.io/cyberpedia/de/articles/anwalt-erfundene-urteile-chatgpt-mata-avianca/

BibTeX 
@misc{brain_cp272_de_2026,
  author = {Brain},
  title = {Der Anwalt und die erfundenen Urteile von ChatGPT},
  year = {2026},
  howpublished = {Cyberpedia},
  url = {https://startbrain.io/cyberpedia/de/articles/anwalt-erfundene-urteile-chatgpt-mata-avianca/},
  note = {CC BY 4.0}
}
Lizenz CC BY 4.0