Cyberpediadoor Brain

Een AI-antwoord controleren: zelfkritiek en exacte citaten

Een AI vragen haar antwoord te herlezen en passages te citeren vermindert fouten zonder ze weg te nemen: controleer het citaat zelf.

Op deze pagina
  1. 1In 30 seconden
  2. 2Waar gaat het over
  3. 3Directe vragen
  4. 4Hoe het werkt
  5. 5Wat u doet
  6. 6De valkuilen
  7. 7Bronnen
  8. 8Dit artikel citeren

In 30 seconden

Waar het gebeurt
Telkens wanneer een AI-assistent een tekst, een samenvatting of een antwoord produceert dat u van plan bent te gebruiken.
Wat u riskeert
Volgens het NIST kunnen gebruikers onjuiste inhoud geloven, vaak door de stellige toon van het antwoord, en daarna op die basis handelen of de inhoud doorgeven[1].
De reflex
Het antwoord natrekken bij een betrouwbare bron voordat u het gebruikt, vooral voor kritieke of gevoelige informatie[2].
Wat helpt
Om een kritische herlezing en om citaten vragen verbetert de resultaten, zonder de fouten te laten verdwijnen[3][4][5].

Waar gaat het over

Een AI-assistent kan een vlot, stellig en onjuist antwoord opstellen. Het NIST noemt dit verschijnsel een confabulatie en preciseert dat men in de omgangstaal ook spreekt van "hallucinaties" of "fabricaties"[1]. Volgens het NIST produceren generatieve modellen output die de statistische verdeling van hun trainingsdata benadert, wat zowel een juist als een onjuist resultaat kan opleveren[1].

Er worden twee handelingen beschreven om deze fouten te verminderen. De eerste bestaat uit de assistent vragen zijn eigen antwoord te herlezen en te bekritiseren. De tweede bestaat uit hem vragen te steunen op precieze passages, die bij elke bewering worden aangehaald. Deze handelingen helpen, maar geen van beide ontslaat ervan zelf te controleren.

Directe vragen

Waarom kan een AI zich stellig vergissen?

Volgens het NIST zijn confabulaties een natuurlijk gevolg van de manier waarop generatieve modellen zijn ontworpen: ze produceren output die de statistische verdeling van hun trainingsdata benadert, en grote taalmodellen voorspellen het volgende woord[1]. Deze dynamiek speelt vooral bij open vragen die een lang antwoord vragen, en in domeinen die contextuele expertise vereisen[1]. OWASP beschrijft hetzelfde mechanisme: het model vult de hiaten in zijn trainingsdata aan met statistische regelmatigheden, zonder de inhoud echt te begrijpen, en kan dus aannemelijke antwoorden geven die nergens op berusten[2].

Is het nuttig de assistent zijn antwoord te laten herlezen?

Onderzoek geeft dat aan. De methode Self-Refine laat het model een eerste antwoord opstellen, laat het daarna feedback op dat antwoord geven en die gebruiken om het te verbeteren, herhaaldelijk. Eén enkel model speelt de drie rollen, zonder extra trainingsdata[3]. Op 7 geteste taken met GPT-3.5, ChatGPT en GPT-4 melden de auteurs dat de zo verkregen output de voorkeur krijgt van menselijke beoordelaars en van automatische maatstaven, met een winst van ongeveer 20 % in absolute waarde gemiddeld[3].

De methode Chain-of-Verification (CoVe) gaat verder in de herlezing: het model schrijft een concept, plant controlevragen, beantwoordt die onafhankelijk zodat de antwoorden niet door het concept worden beïnvloed, en produceert dan een gecontroleerd eindantwoord[4]. De auteurs tonen aan dat CoVe hallucinaties vermindert bij meerdere taken[4].

Is het nuttig om exacte citaten te vragen?

Microsoft geeft aan dat het vragen van citaten de frequentie van onjuiste antwoorden kan verminderen, terwijl algemene instructies zoals schrijf alleen ware feiten soms niet volstaan[5]. Als men het model vraagt het bronmateriaal aan te halen wanneer het iets beweert, hebben zijn beweringen veel meer kans in dat materiaal verankerd te zijn[5]. Microsoft voegt eraan toe dat het beter is naarmate het citaat dichter bij de tekst staat die het ondersteunt: citaten in de tekst zouden betere bescherming bieden dan citaten die aan het eind zijn gebundeld[5].

Het voorbeeld van Microsoft vraagt het model te controleren of een bewering wordt ondersteund door een precies citaat uit aangeleverde fragmenten. Het model antwoordt dat dit niet het geval is, omdat de fragmenten over een aardbeving gaan en niet over een uitbarsting[5].

Volstaan deze handelingen?

Nee. Microsoft preciseert dat de antwoorden van het model altijd moeten worden gevalideerd, zelfs met een goed ontwerp van de instructies[5]. Een instructie die in een geval goed werkte, laat zich niet per se veralgemenen naar andere toepassingen[5]. Het NIST voegt eraan toe dat de output van een AI geconfabuleerde logica of citaten kan bevatten die beweren het antwoord te rechtvaardigen, wat kan leiden tot overmatig vertrouwen in het antwoord[1]. De auteurs van CoVe zelf noemen hallucinatie een onopgelost probleem[4].

Hoe het werkt

Bij zelfkritiek geeft het model feedback op zijn eigen tekst en gebruikt die daarna om de tekst te verbeteren[3]. In de variant met controlevragen stelt het zich feitelijke vragen over zijn eigen concept en beantwoordt die apart[4].

Bij het vragen van citaten moet het model elke bewering koppelen aan een passage uit de aangeleverde documenten. Microsoft merkt op dat het model daardoor bij elk onjuist antwoord twee fouten moet maken: het verzonnen antwoord en daarna het verkeerde citaat[5].

Het vragen van citaten steunt op verankering (grounding in het Engels). Volgens Google is dat het vermogen om de output van een model te koppelen aan verifieerbare informatiebronnen; wie het model toegang geeft tot precieze data, koppelt zijn productie aan die data en vermindert de risico's van verzinsels[7]. Google geeft ook aan dat verankering koppelingen naar de bronnen biedt, wat controle achteraf mogelijk maakt[7]. Microsoft raadt sterk aan verankeringsdata aan te leveren wanneer het gebruik afhangt van betrouwbare en actuele informatie en niet puur creatief is[5].

Wat u doet

  • Geef de assistent het document waarover u een antwoord wilt, in plaats van op zijn geheugen te rekenen: Microsoft raadt sterk aan verankeringsdata aan te leveren wanneer het gebruik niet om pure creatie gaat[5].
  • Geef hem een uitweg. Microsoft stelt voor een instructie op te nemen zoals antwoord met not found als het antwoord niet in de tekst staat, wat kan helpen een onjuist antwoord te vermijden[5].
  • Microsoft stelt voor om citaten te vragen die direct naast elke bewering staan[5].
  • Vraag hem zijn antwoord te herlezen en te bekritiseren, of zich controlevragen te stellen voordat hij antwoordt: dat zijn de benaderingen die in de onderzoeken naar Self-Refine en CoVe zijn bestudeerd[3][4].
  • Open daarna het oorspronkelijke document, zoek de aangehaalde passage op en controleer dat ze echt zegt wat het antwoord beweert. OWASP vraagt gebruikers aan te moedigen de output na te trekken bij betrouwbare externe bronnen[2].
  • Vertrouw voor een belangrijke beslissing niet op het antwoord alleen. OWASP raadt menselijk toezicht en een controle van de feiten aan, in het bijzonder voor kritieke of gevoelige informatie[2]. Het NIST geeft aan dat de risico's van geconfabuleerde inhoud vooral belangrijk kunnen zijn om te bewaken in toepassingen die dienen om beslissingen met zware gevolgen te nemen[1].

De valkuilen

  • Het citaat kan onjuist zijn. Het NIST merkt op dat geconfabuleerde citaten een stevige rechtvaardiging kunnen doen geloven[1].
  • De toon stelt ten onrechte gerust. Een stellig antwoord is geen gecontroleerd antwoord[1].
  • Het overmatige vertrouwen. OWASP noemt overmatig vertrouwen het feit dat men gegenereerde inhoud te veel vertrouwt zonder de juistheid ervan te controleren, en merkt op dat gebruikers dan onjuiste gegevens kunnen opnemen in kritieke beslissingen[2]. Het NIST spreekt van automatiseringsvooroordeel, een overmatig ontzag voor geautomatiseerde systemen, dat het risico van confabulatie kan verergeren[1].
  • Een techniek is niet voor alle modellen geldig. Microsoft heeft zijn voorbeelden getest op een basismodel GPT-4, in het Engels, en waarschuwt dat sommige technieken met recentere modellen andere resultaten kunnen geven[5]. Microsoft raadt deze technieken niet aan voor redeneermodellen zoals gpt-5 en de o-serie[5].
  • Automatische controletools hebben hun grenzen. De verankeringsdetectie van Microsoft helpt te controleren dat de antwoorden op de aangeleverde documenten berusten[6]. Microsoft preciseert dat ze is geoptimaliseerd voor het Engels[6], en dat ze op 30 april 2027 buiten gebruik zal worden gesteld[6].

Bronnen

  1. NIST, “Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile”. https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf (geraadpleegd op 14 november 2026)
  2. OWASP, “LLM09:2025 Misinformation”, 10 april 2024. https://genai.owasp.org/llmrisk/llm092025-misinformation/ (geraadpleegd op 14 november 2026)
  3. arXiv, “Self-Refine: Iterative Refinement with Self-Feedback”, 30 maart 2023. https://arxiv.org/abs/2303.17651 (geraadpleegd op 14 november 2026)
  4. arXiv, “Chain-of-Verification Reduces Hallucination in Large Language Models”, 20 september 2023. https://arxiv.org/abs/2309.11495 (geraadpleegd op 14 november 2026)
  5. Microsoft, “Prompt engineering techniques”. https://learn.microsoft.com/en-us/azure/foundry/openai/concepts/prompt-engineering (geraadpleegd op 14 november 2026)
  6. Microsoft, “Groundedness detection”. https://learn.microsoft.com/en-us/azure/ai-services/content-safety/concepts/groundedness (geraadpleegd op 14 november 2026)
  7. Google, “Grounding overview”. https://docs.cloud.google.com/gemini-enterprise-agent-platform/models/grounding/overview (geraadpleegd op 14 november 2026)