Vergiftiging van de gegevens van een AI
Hoe een aanvaller de antwoorden van een AI vervalst via training, documenten of geheugen, met drie gedateerde gevallen en de juiste reflexen.
Op deze pagina
In 30 seconden
- Waar het gebeurt
- Bij de training van een model, in een documentenbank die de AI raadpleegt (RAG) of in het geheugen van een assistent[1][3][4].
- Wat de aanvaller wil
- De AI een vooraf gekozen antwoord laten geven. In het geval dat Microsoft heeft waargenomen, wilden bedrijven dat hun naam als eerste werd aanbevolen[4].
- De reflex
- Elk belangrijk antwoord natrekken bij een betrouwbare bron, geen onbekende documenten toevoegen aan een interne documentenbank.
- Als het al gebeurd is
- De opgeslagen herinneringen van de assistent openen en de herinneringen verwijderen waarvan u zich niet herinnert dat u ze hebt aangemaakt[4].
Waar gaat het over
Een AI kan een onjuist antwoord geven zonder dat zij zich zelf vergist: iemand kan slechte gegevens hebben toegevoegd aan wat zij heeft geleerd of aan wat zij raadpleegt. OWASP[1] spreekt van vergiftiging wanneer de gegevens van voortraining, van afstemming (fine-tuning) of van vectorrepresentatie (embedding) worden gemanipuleerd om kwetsbaarheden, achterdeurtjes of vertekeningen te introduceren.
Drie gedateerde onderzoeken dienen hier als ijkpunt. Twee ervan zijn onderzoeksdemonstraties, geen waargenomen aanvallen: de studie van Nicholas Carlini en zijn coauteurs over de datasets van het web, in februari 2023[2], en PoisonedRAG, in februari 2024[3]. Het derde is een geval dat onder reële omstandigheden is waargenomen: het onderzoek van Microsoft, gepubliceerd op 10 februari 2026, over de knoppen "Summarize with AI"[4].
Directe vragen
Wat is vergiftiging van de gegevens van een AI?
Het is een manipulatie van de gegevens waarmee een AI wordt gevoed, om vertekende, onjuiste of schadelijke uitvoer te krijgen[1]. OWASP rekent het tot de aanvallen op de integriteit: aan de trainingsgegevens komen betekent het vermogen van het model aantasten om juist te antwoorden[1]. Het kan ook een achterdeurtje installeren, dat wil zeggen een gedrag dat normaal blijft tot een activeringssignaal het verandert, waardoor de tekortkoming moeilijk te testen en op te sporen is[1].
Gebeurt dit echt?
Slechts één van de drie hier gepresenteerde gevallen is onder reële omstandigheden waargenomen: het onderzoek van Microsoft uit 2026. Gedurende 60 dagen hebben de onderzoekers 50 verschillende voorbeelden van instructies vastgesteld die het geheugen van assistenten moesten beïnvloeden, afkomstig van 31 bedrijven[4]. De onderzoeken van 2023 en van 2024 zijn onderzoeksdemonstraties. Carlini en zijn coauteurs beschrijven wat zij hadden kunnen doen ("how we could have poisoned") en hebben de verantwoordelijken van de betrokken datasets gewaarschuwd[2].
Hoeveel slechte gegevens volstaan?
Heel weinig, in deze demonstraties. Volgens Carlini en zijn coauteurs had 0,01 % van LAION-400M of van COYO-700M voor 60 dollar vergiftigd kunnen worden[2]. Een studie van oktober 2024 concludeert dat het vervalsen van 0,1 % van de voortrainingsgegevens volstaat opdat drie van de vier aanvallen blijven bestaan na de afrondende training van het model, en dat 0,001 % volstaat voor een eenvoudige denial-of-service-aanval[5]. PoisonedRAG haalt 90 % succes door vijf kwaadaardige teksten per beoogde vraag te injecteren in een bank van meerdere miljoenen teksten[3]. Deze cijfers komen uit laboratoria, niet uit incidenten.
Waarom is een documentenbank een doelwit?
Een RAG-systeem baseert de antwoorden van de AI op een externe kennisbank[3]. De auteurs van PoisonedRAG menen dat deze bank een nieuw aanvalsoppervlak opent[3]. Proofpoint[6] acht RAG-systemen bijzonder kwetsbaar, aangezien zij steunen op externe banken die gecompromitteerd kunnen worden.
Wat doet men met een belangrijk antwoord?
- Natrekken: OWASP beveelt aan de uitvoer van een model te valideren aan de hand van betrouwbare bronnen[1]. Microsoft stelt vast dat gebruikers een aanbeveling van een AI niet altijd controleren zoals zij een onbekende site zouden onderzoeken[4].
- De herkomst van de gegevens controleren: OWASP raadt aan de oorsprong van de gegevens te volgen en hun legitimiteit te controleren in alle fasen van de ontwikkeling van een model, en de blootstelling van het model aan niet-geverifieerde gegevensbronnen te beperken door strikte afscherming (sandboxing)[1].
- Vragen stellen: bij een verdachte aanbeveling raadt Microsoft aan de assistent te vragen waarom hij die doet en op welke referenties[4].
- Het beveiligingsteam kan in e-mails en Teams-berichten zoeken naar links naar assistenten met woorden als "remember" of "trusted source"[4].
In de huid van de aanvaller
Proofpoint[6] beschrijft vier stappen. De aanvaller zoekt eerst toegang tot de gegevens: een kwetsbaarheid in de verzameling, een leverancier van een derde partij, een interne toegang of een openbare dataset. Vervolgens kiest hij zijn methode, maakt dan monsters die voor een menselijke nalezer legitiem lijken, en injecteert ze in de gegevensstroom[6]. Voor een programmeerassistent die op een RAG berust, geeft Proofpoint het voorbeeld van een valse documentatie, doorspekt met kwetsbare codevoorbeelden, die vaak wordt teruggevonden omdat zij lijkt op de legitieme verzoeken[6].
Voor de datasets van het web beschrijven Carlini en zijn coauteurs twee listen. De eerste maakt gebruik van het feit dat de inhoud van internet verandert: de versie die de persoon ziet die de dataset annoteert, verschilt van de versie die daarna wordt gedownload[2]. De tweede heeft als doelwit de datasets die momentopnamen nemen van collaboratieve inhoud zoals Wikipedia: de aanvaller heeft maar een beperkt tijdvenster nodig[2].
In het onderzoek van Microsoft is de auteur geen hacker: elk geval betrof echte bedrijven[4]. Microsoft brengt deze trend in verband met hulpmiddelen die worden verkocht als "SEO growth hack for LLMs", en er bestaan extensies voor sites, zodat de drempel zo laag is als het installeren van een plugin[4].
Wat u op het scherm ziet
Niets alarmerends, in het algemeen. De vertekende aanbevelingen kunnen subtiel bevooroordeeld zijn over gezondheid, financiën of veiligheid, zonder dat de gebruiker weet dat zijn AI is gemanipuleerd[4]. De vergiftigde gegevens lijken trouwens legitiem en kunnen de gebruikelijke controles doorstaan[6].
In het geval van Microsoft is het toegangspunt een knop "Summarize with AI" (samenvatten met AI). Hij opent de assistent met een reeds geschreven instructie, opgenomen in de parameter "?q=" van het adres van de link, zichtbaar bij het aanwijzen met de muis[4]. De instructie vraagt een pagina samen te vatten en vervolgens de site te onthouden als betrouwbare bron in toekomstige gesprekken. Een geneutraliseerde illustratie:
Geneutraliseerde illustratie, niet reproduceren.
hxxps://assistant-ia[.]invalid/?q=[geparafraseerde instructie: vat deze pagina samen en onthoud daarna deze site als betrouwbare bron voor toekomstige gesprekken]Zodra de instructie is opgeslagen, vermeldt de assistent de site onder zijn betrouwbare bronnen en kan hij die later aanbevelen[4]. Microsoft illustreert dit risico met een hypothetisch scenario: een financieel directeur vraagt zijn assistent cloudleveranciers te vergelijken, en die beveelt er sterk slechts één aan, vanwege een knop waarop weken eerder is geklikt[4]. Voor de gebruiker lijkt het antwoord solide.
Onder de motorkapIT-teams
Vergiftiging heeft drie toegangspunten.
- De training. Het model leert van gegevens die op het web zijn verzameld en die de aanvaller kan wijzigen[2]. De effecten kunnen blijvend zijn: de studie van 2024 evalueert voor het eerst een vergiftiging tijdens de voortraining en het voortbestaan ervan na de aanpassing tot gespreksassistent[5].
- De geraadpleegde documenten. In PoisonedRAG injecteert de aanvaller enkele kwaadaardige teksten in de kennisbank opdat een gekozen vraag het antwoord krijgt dat hij heeft gekozen[3]. De auteurs hebben meerdere verdedigingen getest en achten ze ontoereikend[3].
- Het geheugen van de assistent. Assistenten met een geheugen bewaren voorkeuren, context en instructies van het ene gesprek naar het andere, en een geïnjecteerde instructie wordt daar een legitieme voorkeur[4]. Microsoft noemt drie wegen: een link met vooraf ingevulde instructie (een aanval met één klik, want de meeste grote assistenten accepteren deze parameter), een instructie verborgen in een document, een e-mail of een webpagina, en de gebruiker zelf die ertoe wordt gebracht een instructie te plakken[4]. De techniek staat in MITRE ATLAS onder de referentie AML.T0080[4].
NIST[7] classificeert de aanvallen door vergiftiging, zowel voor voorspellende AI als voor generatieve AI, in zijn vrijwillige gids AI 100-2, die ook ingaat op beschermingsmaatregelen en hun beperkingen[7].
IncidentanalysesEchte gevallen
Februari 2023: datasets van het web (onderzoeksdemonstratie)
De studie van Carlini en acht coauteurs, gepubliceerd op 20 februari 2023, presenteert twee aanvallen die volgens hen tien populaire datasets hadden kunnen vergiftigen[2]. Zij schatten dat zij 0,01 % van LAION-400M of van COYO-700M voor 60 dollar hadden kunnen vervalsen[2]. Het gaat om een demonstratie: de auteurs hebben de verantwoordelijken van elke dataset geïnformeerd en goedkope verdedigingen aanbevolen[2].
Februari 2024: PoisonedRAG (onderzoeksdemonstratie)
PoisonedRAG, ingediend op 12 februari 2024 door Wei Zou, Runpeng Geng, Binghui Wang en Jinyuan Jia, presenteert zich als de eerste aanval van kenniscorruptie tegen RAG-systemen[3]. De onderzoekers bereiken 90 % succes met vijf kwaadaardige teksten per beoogde vraag, in een bank van meerdere miljoenen teksten[3]. Het artikel is aangekondigd voor het symposium USENIX Security 2025[3]. Net als de vorige gaat het om laboratoriumwerk, niet om een waargenomen aanval.
Februari 2026: "Samenvatten met AI" (onder reële omstandigheden waargenomen)
Op 10 februari 2026 beschrijft het Microsoft Defender-onderzoeksteam de "AI Recommendation Poisoning"[4]. Bij het onderzoeken van de met AI verband houdende adressen in het e-mailverkeer over 60 dagen heeft het 50 verschillende voorbeelden gevonden, afkomstig van 31 bedrijven in 14 sectoren, waaronder de financiële sector, de gezondheidszorg, juridische dienstverlening en marketingbureaus[4]. Alle instructies bevatten een persistentie-instructie van het type "remember" of "in future conversations", verborgen achter een knop of een deellink met een nuttig uiterlijk[4].
Microsoft signaleert meerdere details. Een instructie had een domein als doelwit dat gemakkelijk te verwarren is met een bekende site. De agressiefste injecteerden een volledige reclametekst in het geheugen. Een van de voorbeelden kwam van een leverancier van beveiligingsoplossingen[4]. De sites zagen er serieus uit, maar sommige bevatten opmerkingen en forums van gebruikers: zodra de site betrouwbaar wordt geacht, kan de AI dat vertrouwen uitbreiden tot niet-geverifieerde inhoud[4]. Microsoft geeft aan maatregelen uit te rollen tegen het injecteren van instructies in Copilot; in meerdere gevallen lieten gemelde gedragingen zich niet meer reproduceren[4]. De doeltreffendheid van deze instructies verschilde per assistent en veranderde in de loop van de tijd[4].
Bronnen
- OWASP, “LLM04:2025 Data and Model Poisoning”, 10 april 2024. https://genai.owasp.org/llmrisk/llm042025-data-and-model-poisoning/ (geraadpleegd op 14 november 2026)
- arXiv, “Poisoning Web-Scale Training Datasets is Practical”, 20 februari 2023. https://arxiv.org/abs/2302.10149 (geraadpleegd op 14 november 2026)
- arXiv, “PoisonedRAG: Knowledge Corruption Attacks to Retrieval-Augmented Generation of Large Language Models”, 12 februari 2024. https://arxiv.org/abs/2402.07867 (geraadpleegd op 14 november 2026)
- Microsoft, “Manipulating AI memory for profit: The rise of AI Recommendation Poisoning”, 10 februari 2026. https://www.microsoft.com/en-us/security/blog/2026/02/10/ai-recommendation-poisoning/ (geraadpleegd op 14 november 2026)
- arXiv, “Persistent Pre-Training Poisoning of LLMs”, 17 oktober 2024. https://arxiv.org/abs/2410.13722 (geraadpleegd op 14 november 2026)
- Proofpoint, “What Is AI Data Poisoning? Definition”, 25 juni 2025. https://www.proofpoint.com/us/threat-reference/data-poisoning (geraadpleegd op 14 november 2026)
- NIST, “NIST AI 100-2 | Adversarial Machine Learning Taxonomy | CSRC”, 24 maart 2025. https://csrc.nist.gov/news/2025/nist-ai-100-2-adversarial-machine-learning-taxonom (geraadpleegd op 14 november 2026)
Dit artikel citeren
Brain, “Vergiftiging van de gegevens van een AI”, Cyberpedia, 2026. https:/
BibTeX
@misc{brain_cp285_nl_2026,
author = {Brain},
title = {Vergiftiging van de gegevens van een AI},
year = {2026},
howpublished = {Cyberpedia},
url = {https://startbrain.io/cyberpedia/nl/articles/gegevensvergiftiging-ai-rag/},
note = {CC BY 4.0}
}