Cyberpediadoor Brain

Een contract door een AI laten nalezen: wat zij opmerkt, wat zij mist

Een AI-assistent kan risicovolle clausules in een contract opmerken, maar laat er ook weg en verzint. De gemeten grenzen en de juiste handelwijze.

Op deze pagina
  1. 1In 30 seconden
  2. 2Waar gaat het over
  3. 3Directe vragen
  4. 4Hoe het werkt
  5. 5Wat u doet
  6. 6De valkuilen
  7. 7Bronnen
  8. 8Dit artikel citeren

In 30 seconden

Waar het gebeurt
Wanneer men een AI-assistent vraagt de risicovolle clausules in een contract op te sporen[1].
Wat er mis kan gaan
Modellen antwoorden no related clause terwijl een relevante clausule aanwezig is[1], en een model kan juridische beweringen produceren zonder grondslag[2].
De reflex
Geen gevoelige informatie in een verzoek aan een openbaar model zetten[3], en de resultaten door een persoon laten controleren wanneer er veel op het spel staat[2].

Waar gaat het over

Onderzoekers hebben gemeten in hoeverre taalmodellen, clausule voor clausule, de juridische risico's van commerciële contracten kunnen identificeren. Hun testomgeving, ContractEval, heeft 4 propriëtaire modellen en 15 opensourcemodellen getest[1]. Zij concluderen dat de meeste modellen een niveau bereiken dat vergelijkbaar is met dat van beginnende juridische assistenten[1].

Dit artikel legt een medewerker uit wat dit onderzoek laat zien, wat een AI-assistent kan weglaten of verzinnen, en welke handelwijze past voordat men hem een document toevertrouwt.

Directe vragen

Vindt een AI-assistent alle clausules van een contract?

Het onderzoek van ContractEval laat niet toe dit te stellen. De auteurs hebben de dataset Contract Understanding Atticus Dataset (CUAD) gebruikt[1]. Zij stellen vast dat de opensourcemodellen vaker antwoorden no related clause genereren, ook wanneer relevante clausules aanwezig zijn[1]. Zij zien daarin een mogelijk teken van laziness in de redenering of van een gering vertrouwen van het model bij het halen van de relevante inhoud[1].

De propriëtaire modellen behalen betere resultaten dan de opensourcemodellen in nauwkeurigheid en in efficiëntie van de antwoorden, hoewel sommige opensourcemodellen op sommige punten concurrerend blijven[1].

Maakt een redeneermodus de analyse betrouwbaarder?

Niet noodzakelijk. Volgens ContractEval verbetert de redeneermodus (thinking) de efficiëntie van de antwoorden maar vermindert hij de nauwkeurigheid, waarschijnlijk omdat hij eenvoudiger taken overmatig ingewikkeld maakt[1].

Kan een AI teksten of rechterlijke uitspraken verzinnen?

Ja. OWASP geeft het voorbeeld van ChatGPT, dat valse juridische zaken heeft verzonnen, met aanzienlijke gevolgen voor een rechtbank[2]. OWASP noemt dit een hallucinatie: het model genereert inhoud die juist lijkt maar verzonnen is[2]. Een technisch rapport van Alex Dantart analyseert dit probleem van de hallucinaties van taalmodellen die op het recht worden toegepast, met hun oorzaken en hun verschijningsvormen[4].

Waarom lijkt een onjuist antwoord zo zeker van zichzelf?

OWASP beschrijft de desinformatie van een model als onjuiste of misleidende informatie die geloofwaardig lijkt[2]. Het NCSC (Verenigd Koninkrijk) schreef in 2023 dat de modellen de tekortkoming hebben overtuigend over te komen, of ze nu gelijk hebben of niet[3]. Het voegde eraan toe dat hun antwoorden maar gedeeltelijk juist kunnen zijn, vooral wanneer het onderwerp specialistisch is[3].

Kan men een contract in een openbare assistent plakken?

Het NCSC raadt aan geen gevoelige informatie op te nemen in de verzoeken aan openbare modellen, en hun geen verzoeken voor te leggen die een probleem zouden vormen als ze openbaar werden[3]. Het beschrijft ook de praktijk om grote hoeveelheden tekst, zelfs hele documenten, in de vraag te kopiëren om context te geven, en raadt die niet aan bij gevoelige informatie op openbare modellen[3].

Wat gebeurt er met wat ik in de assistent schrijf?

Volgens het NCSC is het verzoek zichtbaar voor de organisatie die het model levert, wordt het opgeslagen en zal het vrijwel zeker op een dag worden gebruikt om de dienst of het model te ontwikkelen[3]. Op het moment van schrijven preciseerde het NCSC dat een model de informatie uit de verzoeken niet automatisch aan zijn model toevoegde voor andere gebruikers[3]. Het merkt ook op dat online opgeslagen verzoeken kunnen worden gehackt, gelekt of, waarschijnlijker, per ongeluk openbaar gemaakt[3].

Bestaat er een kader om deze risico's te beoordelen?

Het NIST publiceerde op 26 januari 2023 zijn AI Risk Management Framework, voor vrijwillig gebruik[5]. Op 26 juli 2024 publiceerde het NIST-AI-600-1, een profiel gewijd aan generatieve AI, dat organisaties kan helpen de risico's te identificeren die eigen zijn aan deze tools[5].

Hoe het werkt

Volgens het NCSC is een taalmodel getraind op een grote hoeveelheid tekst en leidt het daaruit een waarschijnlijkheidsmodel af, gebaseerd op de relaties tussen woorden[3]. OWASP legt uit dat hallucinaties ontstaan doordat het model de lacunes in zijn trainingsdata opvult met statistische regelmatigheden, zonder de inhoud te begrijpen[2]. Het kan dan antwoorden produceren die juist lijken maar nergens op berusten[2].

Een gangbare tegenmaatregel is de Retrieval-Augmented Generation (RAG). OWASP beveelt die aan: ze bestaat erin relevante en geverifieerde informatie op te halen uit externe betrouwbare databases terwijl het antwoord wordt gegenereerd, wat helpt hallucinaties te beperken[2]. Een literatuuroverzicht over RAG presenteert die als een combinatie van taalmodellen en systemen voor het opzoeken van informatie, bedoeld om de feitelijke verankering te versterken en hallucinaties te verzachten[6]. Hetzelfde overzicht noemt onder de hardnekkige moeilijkheden de kwaliteit van het opzoeken van informatie en vragen rond vertrouwelijkheid[6]. Het rapport van Alex Dantart onderzoekt ook de doeltreffendheid van RAG en zet de grenzen ervan uiteen[4].

Wat u doet

  • Controleer wat een tekst bevat voordat u hem plakt: het NCSC raadt aan geen gevoelige informatie op te nemen in de verzoeken aan een openbaar model[3].
  • Lees de gebruiksvoorwaarden en het privacybeleid van de tool voordat u er gevoelige vragen aan stelt: het NCSC geeft aan dat ze goed begrepen moeten worden[3].
  • Bij een tool van een cloudleverancier nodigt het NCSC organisaties uit te begrijpen hoe hun gegevens worden beheerd: hebben de onderzoekers of partners van de leverancier er toegang toe, en onder welke voorwaarden kan een medewerker van de leverancier de verzoeken zien[3]?
  • Vergelijk de antwoorden met externe betrouwbare bronnen. OWASP beveelt aan deze controle aan te moedigen en menselijk toezicht en feitencontrole in te voeren, vooral voor kritieke of gevoelige informatie[2].
  • Neem een antwoord no related clause niet als bewijs dat geen enkele clausule van toepassing is: ContractEval heeft zulke antwoorden vastgesteld terwijl er relevante clausules aanwezig waren[1].
  • Houd de regie over het oordeel. Het rapport van Alex Dantart benadrukt het menselijk toezicht, dat het onvervangbaar acht, en stelt een "adviserende" AI voor, een tool die het professionele oordeel versterkt in plaats van het te vervangen[4].

De valkuilen

  • Overmatig vertrouwen. OWASP noemt zo het feit dat men gegenereerde inhoud te veel vertrouwen schenkt zonder de juistheid ervan te controleren, wat het effect van onjuiste informatie verergert wanneer die in een beslissing terechtkomt[2].
  • Een beginnersniveau. De auteurs van ContractEval vergelijken de meeste modellen met beginnende juridische assistenten en schatten in dat opensourcemodellen een gerichte aanpassing (fine-tuning) nodig hebben om correct en efficiënt te zijn in juridische situaties waarin veel op het spel staat[1].
  • Een redeneermodus die voor een kwaliteitsgarantie wordt gehouden: hij vermindert de nauwkeurigheid in de tests van ContractEval[1].
  • Een antwoord dat juist klinkt. Het NCSC merkt op dat overtuigende antwoorden maar gedeeltelijk juist kunnen zijn[3].

Bronnen

  1. arXiv, “ContractEval: Benchmarking LLMs for Clause-Level Legal Risk Identification in Commercial Contracts”, 5 augustus 2025. https://arxiv.org/abs/2508.03080 (geraadpleegd op 14 november 2026)
  2. OWASP, “LLM09:2025 Misinformation”, 10 april 2024. https://genai.owasp.org/llmrisk/llm092025-misinformation/ (geraadpleegd op 14 november 2026)
  3. NCSC (Royaume-Uni), “ChatGPT and large language models: what's the risk?”, 14 maart 2023. https://www.ncsc.gov.uk/blog-post/chatgpt-and-large-language-models-whats-the-risk (geraadpleegd op 14 november 2026)
  4. arXiv, “Inteligencia Artificial jurídica y el desafío de la veracidad: análisis de alucinaciones, optimización de RAG y principios para una integración responsable”, 11 september 2025. https://arxiv.org/abs/2509.09467 (geraadpleegd op 14 november 2026)
  5. NIST, “AI Risk Management Framework”, 12 juli 2021. https://www.nist.gov/itl/ai-risk-management-framework (geraadpleegd op 14 november 2026)
  6. arXiv, “A Systematic Review of Key Retrieval-Augmented Generation (RAG) Systems: Progress, Gaps, and Future Directions”, 25 juli 2025. https://arxiv.org/abs/2507.18910 (geraadpleegd op 14 november 2026)