Cyberpediadoor Brain

Contextvenster: het werkgeheugen van een AI

Het contextvenster begrenst wat een AI-assistent in één keer leest. Wat hij slecht leest, en eenvoudige handelingen om het beter te gebruiken.

Op deze pagina
  1. 1In 30 seconden
  2. 2Waar gaat het over
  3. 3Directe vragen
  4. 4Hoe het werkt
  5. 5Wat u doet
  6. 6De valkuilen
  7. 7Bronnen
  8. 8Dit artikel citeren

In 30 seconden

Waar het gebeurt
In elk gesprek met een AI-assistent, zodra men een lang document plakt of meerdere opdrachten geeft.
Wat er gebeurt
Het model werkt binnen een tekstlimiet, en ook binnen die limiet kan het informatie die midden in een lange tekst staat slecht gebruiken[3].
De reflex
De taak opdelen, de opdracht aan het begin plaatsen en aan het eind herhalen, en daarna het antwoord controleren[5].
Als het al gebeurd is
Lees het antwoord punt voor punt na, met de oorspronkelijke tekst voor u.

Waar gaat het over

Wanneer u een AI-assistent een vraag stelt, antwoordt hij op basis van de informatie die men hem doorgeeft: Google noemt die informatie de context[2]. De hoeveelheid tekst die het model in één keer in aanmerking kan nemen, heet het contextvenster. Google vergelijkt het met het kortetermijngeheugen: een persoon kan maar een beperkte hoeveelheid informatie onthouden, en dat geldt ook voor generatieve modellen[2].

Dit venster wordt gemeten in tokens, niet in pagina's. Recente modellen hebben het sterk vergroot, maar uit onderzoek blijkt dat een groot venster geen betrouwbare lezing garandeert van alles wat erin staat[3][4]. Dit artikel legt uit wat de medewerker daarvan moet onthouden en welke handelingen fouten beperken.

Directe vragen

Wat is een token?

Een taalmodel verdeelt de tekst eerst in eenheden die tokens heten: woorden, groepen tekens of combinaties van woorden en leestekens[1]. De verdelingsmethode verschilt per model. De GPT-modellen van OpenAI gebruiken bijvoorbeeld een verdeling in subwoorden[1]. Microsoft merkt op dat gangbare woorden van meerdere lettergrepen vaak in één token passen, terwijl zeldzamere woorden in lettergrepen worden gesplitst[5].

Wat is het contextvenster?

Het is het maximale aantal tokens dat het model kan verwerken[1]. Deze limiet wordt vaak uitgedrukt als een gecombineerd venster, dat de invoertokens (wat u schrijft) en de uitvoertokens (wat het model produceert) samen omvat[1]. Hoe langer de invoer, hoe minder ruimte er overblijft voor de uitvoer.

Microsoft geeft een voorbeeld met cijfers: bij een venster van 100 tokens en een zin van negen woorden, woord voor woord opgedeeld, neemt de invoer negen tokens in beslag en blijven er 91 over voor de uitvoer. Teken voor teken opgedeeld neemt dezelfde zin er 34 in beslag en blijven er maar 66 over[1].

Hoe groot is een venster tegenwoordig?

Volgens Google verwerkten de meeste generatieve modellen van de afgelopen jaren maar 8.000 tokens tegelijk, waarna recentere modellen 32.000 of 128.000 tokens accepteerden[2]. Google geeft aan dat Gemini 1 miljoen tokens accepteert, wat overeenkomt met 8 Engelse romans van gemiddelde lengte of 50.000 regels code[2].

Onthoudt het model wat ik heb aangeleverd?

Voorbeelden die men in een opdracht opneemt, veranderen het model niet blijvend: ze sturen het alleen voor het lopende antwoord[5]. Google beschrijft methoden die men gebruikte om smalle vensters te beheren: oude berichten laten vallen naarmate er nieuwe binnenkomen, of ze vervangen door een samenvatting wanneer het venster bijna vol raakt[2].

Voorkomt een groot venster fouten?

Nee. Onderzoekers hebben verschillende modellen getest, waaronder Claude 3, Gemini Pro, GPT 3.5 Turbo, Llama 3 Instruct en Mistral Instruct, op sentimentanalyse en de indeling van nieuwsartikelen. Zij melden dat de modellen tekortschieten bij lange reeksen, ondanks hun grote vensters[4]. Ook Google erkent een beperking: wanneer men in een lange context naar meerdere precieze gegevens zoekt, bereikt het model niet dezelfde nauwkeurigheid als voor één gegeven, en de prestaties kunnen sterk variëren afhankelijk van de context[2].

Hoe het werkt

Microsoft herinnert eraan dat het model, ongeacht de opdracht, antwoordt met wat het het meest waarschijnlijk acht op grond van zijn trainingsdata, en dat het voor vragen geen apart verwerkingspad volgt[5].

De positie van de informatie telt. De studie "Lost in the Middle", ingediend in juli 2023, heeft de prestaties van modellen gemeten op twee taken: een vraag beantwoorden op basis van meerdere documenten en een waarde terugvinden die bij een sleutel hoort. De auteurs stellen vast dat de prestaties vaak het best zijn wanneer de nuttige informatie aan het begin of aan het eind van de aangeleverde tekst staat, en dat ze duidelijk achteruitgaan wanneer die in het midden staat, ook bij modellen die voor lange contexten zijn ontworpen[3].

Microsoft beschrijft van zijn kant een recentheidsbias: informatie aan het eind van de opdracht kan het antwoord meer beïnvloeden dan die aan het begin[5]. Microsoft preciseert ook dat de volgorde van de elementen het resultaat kan veranderen, ook de volgorde van de voorbeelden die aan het model worden gegeven[5].

De lengte kost iets. Generatieve AI-diensten rekenen vaak per token af en hanteren een maximumaantal tokens per minuut[1]. Voor een organisatie die een assistent inzet, rekent OWASP onder de risico's het voortdurend versturen van invoer die het contextvenster overschrijdt, wat kan leiden tot overmatig verbruik van middelen en tot verslechtering van de dienst[7]. OWASP beveelt een strikte validatie van invoer aan, zodat die geen redelijke groottegrenzen overschrijdt[7].

Wat u doet

  • Verdeel de taak. Microsoft geeft aan dat taalmodellen het vaak beter doen wanneer de taak in kleinere stappen is verdeeld, bijvoorbeeld eerst de relevante feiten extraheren en daarna het vervolg schrijven[5].
  • Plaats de opdracht aan het begin, herhaal haar aan het eind. Microsoft geeft aan dat het noemen van de taak aan het begin van de opdracht, vóór de context en de voorbeelden, kan helpen betere uitvoer te produceren, en dat het de moeite waard is om de instructies aan het eind van de opdracht te herhalen[5]. Microsoft voegt toe dat zijn tests met ChatGPT en GPT-4 met of zonder de eerste techniek hetzelfde antwoord opleverden[5].
  • Geef het model een uitweg. Microsoft stelt bijvoorbeeld voor te vragen om "not found" te antwoorden als het antwoord er niet in staat, wat het model kan helpen een onjuist antwoord te vermijden[5].
  • Lever de referentietekst aan en vraag om citaten. Microsoft raadt sterk aan het model gegevens te geven waarop het kan steunen wanneer het antwoord op betrouwbare en actuele informatie moet berusten[5]. Om citaten vragen kan helpen de frequentie van onjuiste antwoorden te verminderen, en citaten die in de tekst staan, dicht bij de bewering, zijn betere tegenmaatregelen dan citaten aan het eind van het antwoord[5].
  • Controleer altijd. Ook bij een goed geschreven opdracht geeft Microsoft aan dat men de antwoorden van het model moet valideren, want een opdracht die in één geval goed heeft gewerkt, laat zich niet noodzakelijk veralgemenen[5].

De valkuilen

Het geplakte document kan opdrachten bevatten

Wanneer een assistent een website of een bestand leest, kan de inhoud instructies bevatten die het model interpreteert en die zijn gedrag veranderen: OWASP spreekt van indirecte opdrachtinjectie[6]. In een scenario dat OWASP beschrijft, vraagt een gebruiker een model een webpagina samen te vatten die verborgen instructies bevat, die leiden tot de exfiltratie van het privégesprek[6]. OWASP beveelt aan onbetrouwbare inhoud te scheiden en duidelijk te identificeren, en te voorzien in menselijke goedkeuring voor geprivilegieerde handelingen[6].

Een groot venster geeft valse zekerheid

Google geeft aan dat men voor één gezocht gegeven ongeveer 99 % succes kan behalen, maar dat het resultaat niet hetzelfde is wanneer men er meerdere moet terugvinden[2]. Een antwoord kan dus volledig lijken terwijl het punten uit een lange tekst weglaat.

De adviezen hangen af van het model

Microsoft waarschuwt dat elk model zich anders gedraagt en dat zijn technieken niet op alle modellen op dezelfde manier van toepassing zijn. Deze technieken worden niet aanbevolen voor redeneermodellen zoals gpt-5 en de o-serie[5].

Bronnen

  1. Microsoft, “Understand tokens”. https://learn.microsoft.com/en-us/dotnet/ai/conceptual/understanding-tokens (geraadpleegd op 14 november 2026)
  2. Google, “Long context | Gemini Enterprise Agent Platform | Google Cloud Documentation”. https://docs.cloud.google.com/gemini-enterprise-agent-platform/models/long-context (geraadpleegd op 14 november 2026)
  3. arXiv, “Lost in the Middle: How Language Models Use Long Contexts”, 6 juli 2023. https://arxiv.org/abs/2307.03172 (geraadpleegd op 14 november 2026)
  4. arXiv, “Efficient Solutions For An Intriguing Failure of LLMs: Long Context Window Does Not Mean LLMs Can Analyze Long Sequences Flawlessly”, 3 augustus 2024. https://arxiv.org/abs/2408.01866 (geraadpleegd op 14 november 2026)
  5. Microsoft, “Prompt engineering techniques”. https://learn.microsoft.com/en-us/azure/foundry/openai/concepts/prompt-engineering (geraadpleegd op 14 november 2026)
  6. OWASP, “LLM01:2025 Prompt Injection”, 10 april 2024. https://genai.owasp.org/llmrisk/llm01-prompt-injection/ (geraadpleegd op 14 november 2026)
  7. OWASP, “LLM10:2025 Unbounded Consumption”, 10 april 2024. https://genai.owasp.org/llmrisk/llm102025-unbounded-consumption/ (geraadpleegd op 14 november 2026)