Tokenisatie bij LLM's
Een taalmodel leest tekstfragmenten, geen zinnen. Wat dat betekent voor een medewerker, en welke veiligheidsvallen er zijn.
In 30 seconden
- Waar het gebeurt
- Telkens wanneer u een tekst, een naam of een document in een AI-assistent plakt, of de assistent vraagt een pagina samen te vatten.
- Wat de aanvaller wil
- Het model instructies laten lezen die u niet ziet, want een promptinjectie kan voor een mens onzichtbaar zijn2.
- De reflex
- Geef nauwkeurige instructies, controleer cijfers en citaten bij de bron en plak nooit gevoelige gegevens in een tool die niet is goedgekeurd.
- Als het al gebeurd is
- Verwittig uw beveiligingsteam en vermeld welke tool u gebruikte en om wat voor gegevens het ging.
Waar gaat het over
Wie schrijft naar een AI-assistent, heeft de indruk dat die zinnen leest zoals een collega dat doet. Het onderzoek waarop dit artikel steunt beschrijft een andere werking: zeldzame woorden worden gecodeerd als reeksen eenheden die kleiner zijn dan een woord. Hier heten die fragmenten (of tokens)1.
Dit artikel legt het idee in eenvoudige taal uit. Daarna komt aan bod wat een medewerker eraan heeft om verzoeken te formuleren, antwoorden te controleren en een paar veiligheidsvallen te vermijden. De bronnen in het dossier beschrijven hoe tekst wordt opgedeeld en hoe aanvallen met verwarrende tekst werken. Ze meten niet wat een gesprek kost en ook niet hoe groot het contextvenster van een bepaald product is. Die punten komen hier dus niet aan bod.
Directe vragen
Leest een taalmodel woorden zoals wij ze schrijven?
Niet zoals ze er staan. In 2015 beschreven onderzoekers modellen voor automatische vertaling die met een vaste woordenschat werken, terwijl vertalen een probleem met een open woordenschat is1. Hun oplossing is zeldzame of onbekende woorden te coderen als reeksen eenheden die kleiner zijn dan een woord1.
Hoe wordt de tekst opgedeeld?
De auteurs van 2015 vergelijken meerdere segmentatietechnieken, waaronder eenvoudige modellen van tekenreeksen en een segmentatie op basis van het compressiealgoritme "byte pair encoding"1. Ze meten een winst van 1,1 BLEU-punt voor Engels naar Duits en van 1,3 voor Engels naar Russisch, vergeleken met een terugvalmethode op basis van een woordenboek1.
Hangt het af van de taal?
De tool SentencePiece, in 2018 gepresenteerd door Taku Kudo en John Richardson, beschrijft zichzelf als een taalonafhankelijke opdeler in subeenheden3. Ze leert haar eenheden rechtstreeks uit ruwe zinnen, terwijl bestaande tools uitgingen van tekst die al in woorden was opgedeeld3. Ze is gepubliceerd als open source onder de Apache 2-licentie3. De hier aangehaalde bronnen meten niet in hoeverre de ene taal slechter wordt bediend dan de andere: die vraag blijft hier open.
Waarom geeft een zeldzame naam of een verzonnen woord problemen?
Het uitgangspunt van het artikel uit 2015 is dat eigennamen, samengestelde woorden en leenwoorden beter in stukken dan als hele woorden worden vertaald1. Zeldzame woorden worden gecodeerd in subeenheden1. Het verband met fouten bij zeldzame namen is een lezing van dit artikel, geen gemeten resultaat uit de bronnen.
Hebben de modellen bekende beperkingen?
Het model GPT-3, in 2020 gepresenteerd met 175 miljard parameters, krijgt zijn taken en voorbeelden uitsluitend als tekst4. De auteurs merken op dat het taken aankan zoals woorden in de juiste volgorde zetten of getallen van drie cijfers optellen, maar ook dat het bij sommige datasets moeite blijft houden4. Een goed resultaat de ene keer garandeert dus geen goed resultaat de volgende keer.
1Hoe het werkt1 min
De bronnen geven het volgende principe. Het model werkt met een woordenschat van vaste omvang1. Zeldzame woorden worden opgebouwd uit meerdere eenheden1. De opdeeltool kan worden getraind op ruwe tekst, zonder voorafgaande opdeling in woorden3.
Instructies lopen via hetzelfde kanaal als gegevens. In de studie over GPT-3 worden taken en voorbeelden "specified purely via text interaction with the model"4. Volgens OWASP verwijst promptinjectie naar invoer die het gedrag van het model op onbedoelde wijze verandert, ook als die voor een mens onzichtbaar is, zodra het model ze leest2. Beide punten aan elkaar koppelen is een lezing van dit artikel, geen bewering van OWASP.
2Wat u doet2 min
Duidelijke instructies geven. Geef de verwachte rol, de taak en het formaat van het antwoord aan. OWASP raadt ontwerpers van systemen aan de rol, de mogelijkheden en de beperkingen van het model vast te leggen en een duidelijk uitvoerformaat te bepalen2. Een medewerker kan dat principe overnemen in zijn eigen verzoeken.
Om bronnen vragen en ze daarna controleren. OWASP raadt aan om een gedetailleerde redenering en bronvermeldingen te vragen en de uitkomst tegelijk te valideren met deterministische code2. Voor een medewerker komt dat neer op een handmatige controle: de genoemde bron openen, het cijfer nalezen en nagaan of het citaat woord voor woord bestaat. De auteurs van GPT-3 melden zelf datasets waarbij het model moeite blijft houden4.
Belangrijke handelingen in eigen hand houden. OWASP beveelt menselijke goedkeuring aan voor bewerkingen met bijzondere rechten, om niet-toegestane handelingen te voorkomen2. Laat een assistent geen bericht versturen en geen bestand wijzigen zonder dat u het eerst hebt nagelezen.
Geen gevoelige gegevens plakken. OWASP rekent het vrijgeven van gevoelige informatie tot de mogelijke gevolgen van een promptinjectie2. Het Britse NCSC streeft naar AI-systemen die werken zonder gevoelige gegevens bloot te geven aan onbevoegde derden5. Pas binnen het bedrijf de regel van uw organisatie over toegestane tools toe.
Externe inhoud gescheiden houden van uw instructies. Wanneer de assistent een webpagina of een ontvangen bestand samenvat, kan die inhoud verborgen instructies bevatten2. OWASP raadt aan onbetrouwbare inhoud te scheiden en duidelijk te markeren2.
3De valkuilen2 min
Onzichtbare of verwarrende tekst. Volgens OWASP hoeft een promptinjectie niet leesbaar te zijn voor een mens, zolang de inhoud door het model wordt gelezen2. In een scenario dat OWASP beschrijft, laat een gebruiker een webpagina samenvatten die verborgen instructies bevat: het model voegt een afbeelding in die aan een adres is gekoppeld, en het privégesprek wordt weggesluisd2.
Betekenisloze tekenreeksen. OWASP beschrijft een aanvaller die aan een verzoek een schijnbaar onzinnige reeks tekens toevoegt. Die reeks beïnvloedt het antwoord en omzeilt de beveiligingen2. Het onderzoek kent daar een geautomatiseerde versie van: een adversarieel achtervoegsel dat is gevonden met hebzuchtige en op gradiënten gebaseerde zoektechnieken6.
Gemengde talen en coderingen. OWASP noemt ook de aanvaller die meerdere talen gebruikt of zijn instructies codeert, bijvoorbeeld in Base64 of met emoji's, om aan filters te ontsnappen2.
Vervalste bestanden. In een ander OWASP-scenario bevat een cv versnipperde instructies. Wanneer een model de sollicitatie beoordeelt, worden de stukken samengevoegd en volgt een positieve aanbeveling, ondanks de werkelijke inhoud van het cv2. In een derde scenario vertekent een aangepast document in een opslagplaats die een toepassing voor retrieval-augmented generation gebruikt, de resultaten2.
Onvolmaakte beveiligingen. OWASP stelt dat retrieval-augmented generation en fine-tuning promptinjecties niet volledig uitsluiten2. Het acht het ook onzeker dat er een waterdichte preventiemethode bestaat2. Het NCSC wijst erop dat AI-systemen nieuwe kwetsbaarheden hebben, die naast de klassieke dreigingen moeten worden aangepakt5. Het NIST publiceerde in januari 2024 een taxonomie van aanvallen op machine learning, met een woordenlijst voor lezers zonder expertise7.
4Echte gevallen1 min
Juli 2023: een achtervoegsel dat op meerdere assistenten werkt
Op 27 juli 2023 dienen Andy Zou en zijn coauteurs, onder wie Nicholas Carlini, een methode in die automatisch een achtervoegsel maakt om aan een verzoek toe te voegen6. Dat achtervoegsel moet de kans maximaliseren dat het model bevestigend antwoordt in plaats van te weigeren6. Getraind op meerdere verzoeken en op twee modellen (Vicuna-7B en 13B) lokt het ook ongewenste inhoud uit in de openbare interfaces van ChatGPT, Bard en Claude, en in open modellen zoals LLaMA-2-Chat, Pythia en Falcon6.
Fiche
- Identificatie
- CP-258
- Vleugel
- 4. Kunstmatige intelligentie
- Brain-competentie
- AI begrijpen (understand_ai)
- Brain-reflex
- air-005
- Schema
- G3 · Anatomische doorsnede
- Talen
- de, en, es, fr, it, nl
- Bronnen
- 7 bronnen gecontroleerd op 3 november 2026
Bronnen7 bronnen
- arXiv, “Neural Machine Translation of Rare Words with Subword Units”, 31 augustus 2015. https://arxiv.org/abs/1508.07909 (geraadpleegd op 3 november 2026)
- OWASP, “LLM01:2025 Prompt Injection”, 10 april 2024. https://genai.owasp.org/llmrisk/llm01-prompt-injection/ (geraadpleegd op 3 november 2026)
- arXiv, “SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing”, 19 augustus 2018. https://arxiv.org/abs/1808.06226 (geraadpleegd op 3 november 2026)
- arXiv, “Language Models are Few-Shot Learners”, 28 mei 2020. https://arxiv.org/abs/2005.14165 (geraadpleegd op 3 november 2026)
- NCSC (Royaume-Uni), “Guidelines for secure AI system development”, 27 november 2023. https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development (geraadpleegd op 3 november 2026)
- arXiv, “Universal and Transferable Adversarial Attacks on Aligned Language Models”, 27 juli 2023. https://arxiv.org/abs/2307.15043 (geraadpleegd op 3 november 2026)
- NIST, “Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations”. https://csrc.nist.gov/pubs/ai/100/2/e2023/final (geraadpleegd op 3 november 2026)
Dit artikel citeren
Brain, “Tokenisatie bij LLM's”, Cyberpedia, 2026. https:/
BibTeX
@misc{brain_cp258_nl_2026,
author = {Brain},
title = {Tokenisatie bij LLM's},
year = {2026},
howpublished = {Cyberpedia},
url = {https://startbrain.io/cyberpedia/nl/articles/tokenisatie-llm-tekstfragmenten/},
note = {CC BY 4.0}
}