--- id: CP-258 slug: tokenisatie-llm-tekstfragmenten lang: nl title: Tokenisatie bij LLM's description: Een taalmodel leest tekstfragmenten, geen zinnen. Wat dat betekent voor een medewerker, en welke veiligheidsvallen er zijn. canonical_url: https://startbrain.io/cyberpedia/nl/articles/tokenisatie-llm-tekstfragmenten/ markdown_url: https://startbrain.io/cyberpedia/nl/articles/tokenisatie-llm-tekstfragmenten.md publisher: Brain (https://startbrain.io) license: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) cite_as: Brain, “Tokenisatie bij LLM's”, Cyberpedia, 2026. https://startbrain.io/cyberpedia/nl/articles/tokenisatie-llm-tekstfragmenten/ (CC BY 4.0) wing: 4 theme: understand_ai reflex: air-005 schema: G3 updated: "2026-11-03" translations: nl: https://startbrain.io/cyberpedia/nl/articles/tokenisatie-llm-tekstfragmenten/ fr: https://startbrain.io/cyberpedia/fr/articles/tokenisation-llm-fragments/ en: https://startbrain.io/cyberpedia/en/articles/llm-tokenization-explained/ de: https://startbrain.io/cyberpedia/de/articles/tokenisierung-llm-textfragmente/ es: https://startbrain.io/cyberpedia/es/articles/tokenizacion-llm-fragmentos/ it: https://startbrain.io/cyberpedia/it/articles/tokenizzazione-llm-frammenti/ sources: - "n": 1 title: Neural Machine Translation of Rare Words with Subword Units publisher: arXiv url: https://arxiv.org/abs/1508.07909 published: "2015-08-31" accessed: "2026-11-03" - "n": 2 title: LLM01:2025 Prompt Injection publisher: OWASP url: https://genai.owasp.org/llmrisk/llm01-prompt-injection/ published: "2024-04-10" accessed: "2026-11-03" - "n": 3 title: "SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing" publisher: arXiv url: https://arxiv.org/abs/1808.06226 published: "2018-08-19" accessed: "2026-11-03" - "n": 4 title: Language Models are Few-Shot Learners publisher: arXiv url: https://arxiv.org/abs/2005.14165 published: "2020-05-28" accessed: "2026-11-03" - "n": 5 title: Guidelines for secure AI system development publisher: NCSC (Royaume-Uni) url: https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development published: "2023-11-27" accessed: "2026-11-03" - "n": 6 title: Universal and Transferable Adversarial Attacks on Aligned Language Models publisher: arXiv url: https://arxiv.org/abs/2307.15043 published: "2023-07-27" accessed: "2026-11-03" - "n": 7 title: "Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations" publisher: NIST url: https://csrc.nist.gov/pubs/ai/100/2/e2023/final accessed: "2026-11-03" --- # Tokenisatie bij LLM's Wie schrijft naar een AI-assistent, heeft de indruk dat die zinnen leest zoals een collega dat doet. Het onderzoek waarop dit artikel steunt beschrijft een andere werking: zeldzame woorden worden gecodeerd als reeksen eenheden die kleiner zijn dan een woord. Hier heten die fragmenten (of tokens) [1]. Dit artikel legt het idee in eenvoudige taal uit. Daarna komt aan bod wat een medewerker eraan heeft om verzoeken te formuleren, antwoorden te controleren en een paar veiligheidsvallen te vermijden. De bronnen in het dossier beschrijven hoe tekst wordt opgedeeld en hoe aanvallen met verwarrende tekst werken. Ze meten niet wat een gesprek kost en ook niet hoe groot het contextvenster van een bepaald product is. Die punten komen hier dus niet aan bod. ## In 30 seconden - Waar het gebeurt: telkens wanneer u een tekst, een naam of een document in een AI-assistent plakt, of de assistent vraagt een pagina samen te vatten. - Wat de aanvaller wil: het model instructies laten lezen die u niet ziet, want een promptinjectie kan voor een mens onzichtbaar zijn [2]. - De reflex: geef nauwkeurige instructies, controleer cijfers en citaten bij de bron en plak nooit gevoelige gegevens in een tool die niet is goedgekeurd. - Als het al gebeurd is: verwittig uw beveiligingsteam en vermeld welke tool u gebruikte en om wat voor gegevens het ging. ## Directe vragen ### Leest een taalmodel woorden zoals wij ze schrijven? Niet zoals ze er staan. In 2015 beschreven onderzoekers modellen voor automatische vertaling die met een vaste woordenschat werken, terwijl vertalen een probleem met een open woordenschat is [1]. Hun oplossing is zeldzame of onbekende woorden te coderen als reeksen eenheden die kleiner zijn dan een woord [1]. ### Hoe wordt de tekst opgedeeld? De auteurs van 2015 vergelijken meerdere segmentatietechnieken, waaronder eenvoudige modellen van tekenreeksen en een segmentatie op basis van het compressiealgoritme "byte pair encoding" [1]. Ze meten een winst van 1,1 BLEU-punt voor Engels naar Duits en van 1,3 voor Engels naar Russisch, vergeleken met een terugvalmethode op basis van een woordenboek [1]. ### Hangt het af van de taal? De tool SentencePiece, in 2018 gepresenteerd door Taku Kudo en John Richardson, beschrijft zichzelf als een taalonafhankelijke opdeler in subeenheden [3]. Ze leert haar eenheden rechtstreeks uit ruwe zinnen, terwijl bestaande tools uitgingen van tekst die al in woorden was opgedeeld [3]. Ze is gepubliceerd als open source onder de Apache 2-licentie [3]. De hier aangehaalde bronnen meten niet in hoeverre de ene taal slechter wordt bediend dan de andere: die vraag blijft hier open. ### Waarom geeft een zeldzame naam of een verzonnen woord problemen? Het uitgangspunt van het artikel uit 2015 is dat eigennamen, samengestelde woorden en leenwoorden beter in stukken dan als hele woorden worden vertaald [1]. Zeldzame woorden worden gecodeerd in subeenheden [1]. Het verband met fouten bij zeldzame namen is een lezing van dit artikel, geen gemeten resultaat uit de bronnen. ### Hebben de modellen bekende beperkingen? Het model GPT-3, in 2020 gepresenteerd met 175 miljard parameters, krijgt zijn taken en voorbeelden uitsluitend als tekst [4]. De auteurs merken op dat het taken aankan zoals woorden in de juiste volgorde zetten of getallen van drie cijfers optellen, maar ook dat het bij sommige datasets moeite blijft houden [4]. Een goed resultaat de ene keer garandeert dus geen goed resultaat de volgende keer. ## Hoe het werkt De bronnen geven het volgende principe. Het model werkt met een woordenschat van vaste omvang [1]. Zeldzame woorden worden opgebouwd uit meerdere eenheden [1]. De opdeeltool kan worden getraind op ruwe tekst, zonder voorafgaande opdeling in woorden [3]. Instructies lopen via hetzelfde kanaal als gegevens. In de studie over GPT-3 worden taken en voorbeelden "specified purely via text interaction with the model" [4]. Volgens OWASP verwijst promptinjectie naar invoer die het gedrag van het model op onbedoelde wijze verandert, ook als die voor een mens onzichtbaar is, zodra het model ze leest [2]. Beide punten aan elkaar koppelen is een lezing van dit artikel, geen bewering van OWASP. ## Wat u doet Duidelijke instructies geven. Geef de verwachte rol, de taak en het formaat van het antwoord aan. OWASP raadt ontwerpers van systemen aan de rol, de mogelijkheden en de beperkingen van het model vast te leggen en een duidelijk uitvoerformaat te bepalen [2]. Een medewerker kan dat principe overnemen in zijn eigen verzoeken. Om bronnen vragen en ze daarna controleren. OWASP raadt aan om een gedetailleerde redenering en bronvermeldingen te vragen en de uitkomst tegelijk te valideren met deterministische code [2]. Voor een medewerker komt dat neer op een handmatige controle: de genoemde bron openen, het cijfer nalezen en nagaan of het citaat woord voor woord bestaat. De auteurs van GPT-3 melden zelf datasets waarbij het model moeite blijft houden [4]. Belangrijke handelingen in eigen hand houden. OWASP beveelt menselijke goedkeuring aan voor bewerkingen met bijzondere rechten, om niet-toegestane handelingen te voorkomen [2]. Laat een assistent geen bericht versturen en geen bestand wijzigen zonder dat u het eerst hebt nagelezen. Geen gevoelige gegevens plakken. OWASP rekent het vrijgeven van gevoelige informatie tot de mogelijke gevolgen van een promptinjectie [2]. Het Britse NCSC streeft naar AI-systemen die werken zonder gevoelige gegevens bloot te geven aan onbevoegde derden [5]. Pas binnen het bedrijf de regel van uw organisatie over toegestane tools toe. Externe inhoud gescheiden houden van uw instructies. Wanneer de assistent een webpagina of een ontvangen bestand samenvat, kan die inhoud verborgen instructies bevatten [2]. OWASP raadt aan onbetrouwbare inhoud te scheiden en duidelijk te markeren [2]. ## De valkuilen Onzichtbare of verwarrende tekst. Volgens OWASP hoeft een promptinjectie niet leesbaar te zijn voor een mens, zolang de inhoud door het model wordt gelezen [2]. In een scenario dat OWASP beschrijft, laat een gebruiker een webpagina samenvatten die verborgen instructies bevat: het model voegt een afbeelding in die aan een adres is gekoppeld, en het privégesprek wordt weggesluisd [2]. Betekenisloze tekenreeksen. OWASP beschrijft een aanvaller die aan een verzoek een schijnbaar onzinnige reeks tekens toevoegt. Die reeks beïnvloedt het antwoord en omzeilt de beveiligingen [2]. Het onderzoek kent daar een geautomatiseerde versie van: een adversarieel achtervoegsel dat is gevonden met hebzuchtige en op gradiënten gebaseerde zoektechnieken [6]. Gemengde talen en coderingen. OWASP noemt ook de aanvaller die meerdere talen gebruikt of zijn instructies codeert, bijvoorbeeld in Base64 of met emoji's, om aan filters te ontsnappen [2]. Vervalste bestanden. In een ander OWASP-scenario bevat een cv versnipperde instructies. Wanneer een model de sollicitatie beoordeelt, worden de stukken samengevoegd en volgt een positieve aanbeveling, ondanks de werkelijke inhoud van het cv [2]. In een derde scenario vertekent een aangepast document in een opslagplaats die een toepassing voor retrieval-augmented generation gebruikt, de resultaten [2]. Onvolmaakte beveiligingen. OWASP stelt dat retrieval-augmented generation en fine-tuning promptinjecties niet volledig uitsluiten [2]. Het acht het ook onzeker dat er een waterdichte preventiemethode bestaat [2]. Het NCSC wijst erop dat AI-systemen nieuwe kwetsbaarheden hebben, die naast de klassieke dreigingen moeten worden aangepakt [5]. Het NIST publiceerde in januari 2024 een taxonomie van aanvallen op machine learning, met een woordenlijst voor lezers zonder expertise [7]. ## Echte gevallen ### Juli 2023: een achtervoegsel dat op meerdere assistenten werkt Op 27 juli 2023 dienen Andy Zou en zijn coauteurs, onder wie Nicholas Carlini, een methode in die automatisch een achtervoegsel maakt om aan een verzoek toe te voegen [6]. Dat achtervoegsel moet de kans maximaliseren dat het model bevestigend antwoordt in plaats van te weigeren [6]. Getraind op meerdere verzoeken en op twee modellen (Vicuna-7B en 13B) lokt het ook ongewenste inhoud uit in de openbare interfaces van ChatGPT, Bard en Claude, en in open modellen zoals LLaMA-2-Chat, Pythia en Falcon [6]. ## Bronnen 1. arXiv, “Neural Machine Translation of Rare Words with Subword Units”, 31 augustus 2015. https://arxiv.org/abs/1508.07909 (geraadpleegd op 3 november 2026) 2. OWASP, “LLM01:2025 Prompt Injection”, 10 april 2024. https://genai.owasp.org/llmrisk/llm01-prompt-injection/ (geraadpleegd op 3 november 2026) 3. arXiv, “SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing”, 19 augustus 2018. https://arxiv.org/abs/1808.06226 (geraadpleegd op 3 november 2026) 4. arXiv, “Language Models are Few-Shot Learners”, 28 mei 2020. https://arxiv.org/abs/2005.14165 (geraadpleegd op 3 november 2026) 5. NCSC (Royaume-Uni), “Guidelines for secure AI system development”, 27 november 2023. https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development (geraadpleegd op 3 november 2026) 6. arXiv, “Universal and Transferable Adversarial Attacks on Aligned Language Models”, 27 juli 2023. https://arxiv.org/abs/2307.15043 (geraadpleegd op 3 november 2026) 7. NIST, “Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations”. https://csrc.nist.gov/pubs/ai/100/2/e2023/final (geraadpleegd op 3 november 2026) --- Oorspronkelijke bron: Cyberpedia, de openbare encyclopedie over cyberveiligheid en AI van Brain. Canonieke versie: https://startbrain.io/cyberpedia/nl/articles/tokenisatie-llm-tekstfragmenten/ U mag deze tekst vrij hergebruiken onder de licentie CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/), mits u “Brain, Cyberpedia” vermeldt met een link naar bovenstaand adres.