Cyberpediavon Brain

KI-Antwort prüfen: Selbstkritik und genaue Zitate

Eine KI ihre Antwort prüfen und Passagen zitieren zu lassen, verringert Fehler, ohne sie zu beseitigen: Prüfen Sie das Zitat selbst.

Auf dieser Seite
  1. 1In 30 Sekunden
  2. 2Worum es geht
  3. 3Direkte Fragen
  4. 4Wie es funktioniert
  5. 5Was Sie tun
  6. 6Die Fallstricke
  7. 7Quellen
  8. 8Diesen Artikel zitieren

In 30 Sekunden

Wo es passiert
Jedes Mal, wenn ein KI-Assistent einen Text, eine Zusammenfassung oder eine Antwort erzeugt, die Sie verwenden wollen.
Was Sie riskieren
Laut NIST können Nutzer einen falschen Inhalt glauben, oft wegen des selbstsicheren Tons der Antwort, und dann darauf aufbauend handeln oder ihn weitergeben[1].
Der Reflex
Gleichen Sie die Antwort mit einer verlässlichen Quelle ab, bevor Sie sie verwenden, vor allem bei kritischen oder sensiblen Informationen[2].
Was hilft
Eine kritische Überprüfung und Zitate zu verlangen verbessert die Ergebnisse, lässt die Fehler aber nicht verschwinden[3][4][5].

Worum es geht

Ein KI-Assistent kann eine flüssige, selbstsichere und falsche Antwort formulieren. Das NIST nennt dieses Phänomen Konfabulation und führt aus, dass umgangssprachlich auch von „Halluzinationen“ oder „Fabrikationen“ die Rede ist[1]. Laut NIST erzeugen generative Modelle Ausgaben, die sich der statistischen Verteilung ihrer Trainingsdaten annähern, was ein richtiges wie ein falsches Ergebnis liefern kann[1].

Zwei Vorgehensweisen sind beschrieben, um diese Fehler zu verringern. Die erste besteht darin, den Assistenten zu bitten, seine eigene Antwort noch einmal zu lesen und zu kritisieren. Die zweite besteht darin, ihn zu bitten, sich auf genaue Passagen zu stützen, die zu jeder Aussage als Beleg zitiert werden. Beide helfen, aber keine ersetzt die eigene Überprüfung.

Direkte Fragen

Warum kann eine KI sich mit Überzeugung irren?

Laut NIST sind Konfabulationen ein natürliches Ergebnis der Bauweise generativer Modelle: Sie erzeugen Ausgaben, die sich der statistischen Verteilung ihrer Trainingsdaten annähern, und große Sprachmodelle sagen das jeweils nächste Wort voraus[1]. Diese Dynamik ist besonders ausgeprägt bei offenen Anfragen, die eine lange Antwort verlangen, und in Bereichen, die kontextbezogenes Fachwissen erfordern[1]. OWASP beschreibt denselben Mechanismus: Das Modell füllt die Lücken seiner Trainingsdaten mit statistischen Regelmäßigkeiten, ohne den Inhalt wirklich zu verstehen, und kann deshalb plausible, aber unbegründete Antworten geben[2].

Hilft es, den Assistenten seine Antwort noch einmal lesen zu lassen?

Forschungsarbeiten weisen darauf hin. Bei der Methode Self-Refine erzeugt das Modell zunächst eine erste Antwort, gibt dann eine Rückmeldung dazu und nutzt sie, um die Antwort zu verbessern, und zwar wiederholt. Ein einziges Modell übernimmt alle drei Rollen, ohne zusätzliche Trainingsdaten[3]. Bei 7 Aufgaben, die mit GPT-3.5, ChatGPT und GPT-4 getestet wurden, berichten die Autoren, dass die so gewonnenen Ausgaben von menschlichen Bewertern und von automatischen Metriken bevorzugt werden, mit einem Zuwachs von etwa 20 % in absoluten Werten im Durchschnitt[3].

Die Methode Chain-of-Verification (CoVe) geht bei der Überprüfung weiter: Das Modell schreibt einen Entwurf, plant Prüffragen, beantwortet sie unabhängig davon, damit die Antworten nicht vom Entwurf beeinflusst werden, und erzeugt dann eine überprüfte Endantwort[4]. Die Autoren zeigen, dass CoVe die Halluzinationen bei mehreren Aufgaben verringert[4].

Helfen genaue Zitate?

Microsoft gibt an, dass die Bitte um Zitate die Häufigkeit falscher Antworten senken kann, während allgemeine Anweisungen wie schreibe nur wahre Fakten manchmal nicht genügen[5]. Wenn man das Modell bittet, das Quellenmaterial zu zitieren, sobald es etwas behauptet, ist es viel wahrscheinlicher, dass seine Aussagen in diesem Material verankert sind[5]. Microsoft fügt hinzu, dass es umso besser ist, je näher das Zitat am gestützten Text steht: Zitate im Text seien bessere Schutzmaßnahmen als am Ende gesammelte[5].

Das Beispiel von Microsoft bittet das Modell zu prüfen, ob eine Aussage durch ein genaues Zitat aus bereitgestellten Auszügen gestützt wird. Das Modell antwortet, dass dies nicht der Fall ist, weil die Auszüge von einem Erdbeben und nicht von einem Ausbruch handeln[5].

Genügen diese Vorgehensweisen?

Nein. Microsoft stellt klar, dass die Antworten des Modells auch bei guter Gestaltung der Anweisungen immer validiert werden müssen[5]. Eine Anweisung, die in einem Fall gut funktioniert hat, lässt sich nicht unbedingt auf andere Anwendungen übertragen[5]. Das NIST fügt hinzu, dass die Ausgaben einer KI konfabulierte Begründungen oder Zitate enthalten können, die vorgeben, die Antwort zu rechtfertigen, was zu übermäßigem Vertrauen in sie führen kann[1]. Die Autoren von CoVe bezeichnen die Halluzination selbst als ungelöstes Problem[4].

Wie es funktioniert

Bei der Selbstkritik gibt das Modell eine Rückmeldung zu seinem eigenen Text und nutzt sie dann, um ihn zu verbessern[3]. In der Variante mit Prüffragen stellt es sich Sachfragen zu seinem eigenen Entwurf und beantwortet sie gesondert[4].

Bei der Bitte um Zitate muss das Modell jede Aussage mit einer Passage der bereitgestellten Dokumente verknüpfen. Microsoft beobachtet, dass es dadurch bei jeder falschen Antwort zwei Fehler begehen muss: die erfundene Antwort und dann das falsche Zitat[5].

Die Bitte um Zitate stützt sich auf die Verankerung (Grounding im Englischen). Laut Google ist das die Fähigkeit, die Ausgabe eines Modells mit überprüfbaren Informationsquellen zu verknüpfen; wenn man dem Modell Zugriff auf bestimmte Daten gibt, verbindet das seine Ausgabe mit diesen Daten und verringert das Risiko von Erfindungen[7]. Google gibt außerdem an, dass die Verankerung Links zu den Quellen liefert, was eine nachträgliche Kontrolle ermöglicht[7]. Microsoft empfiehlt nachdrücklich, Verankerungsdaten bereitzustellen, wenn die Anwendung von verlässlichen und aktuellen Informationen abhängt und nicht rein kreativ ist[5].

Was Sie tun

  • Geben Sie dem Assistenten das Dokument, zu dem Sie eine Antwort wollen, anstatt auf sein Gedächtnis zu setzen: Microsoft empfiehlt nachdrücklich, Verankerungsdaten bereitzustellen, wenn die Anwendung nicht reine Kreation ist[5].
  • Lassen Sie ihm einen Ausweg. Microsoft schlägt vor, eine Anweisung wie antworte not found aufzunehmen, falls die Antwort nicht im Text steht, was ihm helfen kann, eine falsche Antwort zu vermeiden[5].
  • Microsoft schlägt vor, Zitate zu verlangen, die direkt neben jeder Aussage stehen[5].
  • Bitten Sie ihn, seine Antwort noch einmal zu lesen und zu kritisieren oder sich vor der Antwort Prüffragen zu stellen: Das sind die Ansätze, die in den Arbeiten zu Self-Refine und CoVe untersucht wurden[3][4].
  • Öffnen Sie danach das Originaldokument, suchen Sie die zitierte Passage und prüfen Sie, ob sie wirklich sagt, was die Antwort behauptet. OWASP verlangt, Nutzer zu ermutigen, die Ausgaben mit verlässlichen externen Quellen abzugleichen[2].
  • Verlassen Sie sich bei einer wichtigen Entscheidung nicht allein auf die Antwort. OWASP empfiehlt menschliche Aufsicht und eine Faktenprüfung, insbesondere bei kritischen oder sensiblen Informationen[2]. Das NIST gibt an, dass die Risiken konfabulierter Inhalte in Anwendungen, die für folgenschwere Entscheidungen dienen, besonders wichtig zu überwachen sein können[1].

Die Fallstricke

  • Das Zitat kann falsch sein. Das NIST hält fest, dass konfabulierte Zitate den Eindruck einer soliden Begründung erwecken können[1].
  • Der Ton beruhigt zu Unrecht. Eine selbstsichere Antwort ist keine überprüfte Antwort[1].
  • Das übermäßige Vertrauen. OWASP nennt Übervertrauen, wenn man erzeugten Inhalten zu sehr traut, ohne ihre Richtigkeit zu prüfen, und hält fest, dass Nutzer dann falsche Daten in kritische Entscheidungen einfließen lassen können[2]. Das NIST spricht von Automatisierungsverzerrung, einer übermäßigen Ehrerbietung gegenüber automatisierten Systemen, die das Risiko der Konfabulation verschärfen kann[1].
  • Eine Technik gilt nicht für alle Modelle. Microsoft hat seine Beispiele mit einem GPT-4-Basismodell auf Englisch getestet und warnt, dass manche Techniken bei neueren Modellen andere Ergebnisse liefern können[5]. Microsoft empfiehlt diese Techniken nicht für Modelle des logischen Schlussfolgerns wie gpt-5 und die o-Serie[5].
  • Automatische Kontrollwerkzeuge haben ihre Grenzen. Die Verankerungserkennung von Microsoft hilft zu prüfen, dass die Antworten auf den bereitgestellten Dokumenten beruhen[6]. Microsoft stellt klar, dass sie für Englisch optimiert ist[6] und am 30. April 2027 eingestellt wird[6].

Quellen

  1. NIST, „Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile“. https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf (abgerufen am 14. November 2026)
  2. OWASP, „LLM09:2025 Misinformation“, 10. April 2024. https://genai.owasp.org/llmrisk/llm092025-misinformation/ (abgerufen am 14. November 2026)
  3. arXiv, „Self-Refine: Iterative Refinement with Self-Feedback“, 30. März 2023. https://arxiv.org/abs/2303.17651 (abgerufen am 14. November 2026)
  4. arXiv, „Chain-of-Verification Reduces Hallucination in Large Language Models“, 20. September 2023. https://arxiv.org/abs/2309.11495 (abgerufen am 14. November 2026)
  5. Microsoft, „Prompt engineering techniques“. https://learn.microsoft.com/en-us/azure/foundry/openai/concepts/prompt-engineering (abgerufen am 14. November 2026)
  6. Microsoft, „Groundedness detection“. https://learn.microsoft.com/en-us/azure/ai-services/content-safety/concepts/groundedness (abgerufen am 14. November 2026)
  7. Google, „Grounding overview“. https://docs.cloud.google.com/gemini-enterprise-agent-platform/models/grounding/overview (abgerufen am 14. November 2026)