Cyberpediavon Brain

Kontextfenster: das Arbeitsgedächtnis einer KI

Das Kontextfenster begrenzt, was ein KI-Assistent auf einmal liest. Was er schlecht liest, und einfache Handgriffe für eine bessere Nutzung.

Auf dieser Seite
  1. 1In 30 Sekunden
  2. 2Worum es geht
  3. 3Direkte Fragen
  4. 4Wie es funktioniert
  5. 5Was Sie tun
  6. 6Die Fallstricke
  7. 7Quellen
  8. 8Diesen Artikel zitieren

In 30 Sekunden

Wo es vorkommt
In jedem Gespräch mit einem KI-Assistenten, sobald man ein langes Dokument einfügt oder mehrere Anweisungen gibt.
Was passiert
Das Modell arbeitet innerhalb einer Textgrenze, und selbst innerhalb dieser Grenze kann es eine Information, die mitten in einem langen Text steht, schlecht verwerten[3].
Der Reflex
Die Aufgabe aufteilen, die Anweisung an den Anfang setzen und am Ende wiederholen, dann die Antwort prüfen[5].
Wenn es schon passiert ist
Lesen Sie die Antwort Punkt für Punkt mit dem Originaltext vor Augen noch einmal durch.

Worum es geht

Wenn Sie einem KI-Assistenten eine Frage stellen, antwortet er auf der Grundlage der Informationen, die man ihm übermittelt: Google nennt diese Informationen den Kontext[2]. Die Textmenge, die das Modell auf einmal berücksichtigen kann, heißt Kontextfenster. Google vergleicht es mit dem Kurzzeitgedächtnis: Ein Mensch kann sich nur eine begrenzte Menge an Informationen merken, und bei generativen Modellen verhält es sich genauso[2].

Dieses Fenster wird in Token gemessen, nicht in Seiten. Neuere Modelle haben es stark vergrößert, doch Forschungsarbeiten zeigen, dass ein großes Fenster nicht garantiert, dass alles darin zuverlässig gelesen wird[3][4]. Dieser Artikel erklärt, was Beschäftigte daraus mitnehmen sollten und welche Handgriffe Fehler begrenzen.

Direkte Fragen

Was ist ein Token?

Ein Sprachmodell zerlegt den Text zuerst in Einheiten, die Token genannt werden: Wörter, Zeichengruppen oder Kombinationen aus Wörtern und Satzzeichen[1]. Die Zerlegungsmethode hängt vom Modell ab. Die GPT-Modelle von OpenAI verwenden zum Beispiel eine Zerlegung in Wortteile[1]. Microsoft stellt fest, dass häufige, mehrsilbige Wörter oft in ein einziges Token passen, während seltenere Wörter in Silben zerlegt werden[5].

Was ist das Kontextfenster?

Es ist die maximale Anzahl an Token, die das Modell verarbeiten kann[1]. Diese Grenze wird oft als kombiniertes Fenster angegeben, das die Eingabe-Token (was Sie schreiben) und die Ausgabe-Token (was das Modell erzeugt) zusammen umfasst[1]. Je länger die Eingabe, desto weniger Platz bleibt für die Ausgabe.

Microsoft nennt ein Zahlenbeispiel: Bei einem Fenster von 100 Token und einem Satz aus neun Wörtern, der Wort für Wort zerlegt wird, belegt die Eingabe neun Token, und für die Ausgabe bleiben 91. Wird derselbe Satz Zeichen für Zeichen zerlegt, belegt er 34 Token, und es bleiben nur 66[1].

Wie groß ist ein Fenster heute?

Laut Google verarbeiteten die meisten generativen Modelle der letzten Jahre nur 8.000 Token auf einmal, danach akzeptierten neuere Modelle 32.000 oder 128.000 Token[2]. Google gibt an, dass Gemini 1 Million Token akzeptiert, was 8 englischen Romanen mittlerer Länge oder 50.000 Codezeilen entspricht[2].

Behält das Modell, was ich geliefert habe?

Beispiele, die man in eine Anweisung einfügt, verändern das Modell nicht dauerhaft: Sie lenken es nur für die laufende Antwort[5]. Google beschreibt Methoden, die man früher einsetzte, um enge Fenster zu verwalten: alte Nachrichten verwerfen, sobald neue eintreffen, oder sie durch eine Zusammenfassung ersetzen, wenn das Fenster fast voll ist[2].

Verhindert ein großes Fenster Fehler?

Nein. Forschende haben mehrere Modelle getestet, darunter Claude 3, Gemini Pro, GPT 3.5 Turbo, Llama 3 Instruct und Mistral Instruct, bei der Stimmungsanalyse und der Einordnung von Presseartikeln. Sie berichten, dass die Modelle bei langen Sequenzen trotz ihrer großen Fenster unzureichend abschneiden[4]. Auch Google räumt eine Grenze ein: Sucht man mehrere genaue Informationen in einem langen Kontext, erreicht das Modell nicht dieselbe Genauigkeit wie bei einer einzelnen, und die Leistung kann je nach Kontext stark schwanken[2].

Wie es funktioniert

Microsoft weist darauf hin, dass das Modell unabhängig von der Anweisung mit dem antwortet, was es nach seinen Trainingsdaten für am wahrscheinlichsten hält, und dass es für Fragen keinen eigenen Verarbeitungsweg gibt[5].

Die Position der Information zählt. Die Studie „Lost in the Middle“, im Juli 2023 eingereicht, hat die Leistung von Modellen bei zwei Aufgaben gemessen: eine Frage anhand mehrerer Dokumente beantworten und einen zu einem Schlüssel gehörenden Wert wiederfinden. Die Autoren beobachten, dass die Leistung oft am besten ist, wenn die nützliche Information am Anfang oder am Ende des gelieferten Textes steht, und deutlich nachlässt, wenn sie in der Mitte steht, auch bei Modellen, die für lange Kontexte entwickelt wurden[3].

Microsoft beschreibt seinerseits eine Aktualitätsverzerrung: Die Information am Ende der Anweisung kann die Antwort stärker beeinflussen als die am Anfang[5]. Microsoft stellt außerdem klar, dass die Reihenfolge der Elemente das Ergebnis verändern kann, auch die Reihenfolge der Beispiele, die dem Modell gegeben werden[5].

Länge hat einen Preis. Dienste für generative KI rechnen oft pro Token ab und wenden eine maximale Anzahl an Token pro Minute an[1]. Für eine Organisation, die einen Assistenten betreibt, zählt OWASP zu den Risiken das fortlaufende Senden von Eingaben, die das Kontextfenster überschreiten, was zu übermäßigem Ressourcenverbrauch führen und den Dienst beeinträchtigen kann[7]. OWASP empfiehlt eine strenge Validierung der Eingaben, damit sie angemessene Größengrenzen nicht überschreiten[7].

Was Sie tun

  • Teilen Sie die Aufgabe auf. Microsoft gibt an, dass Sprachmodelle oft besser abschneiden, wenn die Aufgabe in kleinere Schritte unterteilt wird, zum Beispiel zuerst die relevanten Fakten extrahieren und dann den Rest verfassen[5].
  • Setzen Sie die Anweisung an den Anfang und wiederholen Sie sie am Ende. Microsoft gibt an, dass es zu besseren Ausgaben beitragen kann, die Aufgabe am Anfang der Anweisung zu nennen, vor Kontext und Beispielen, und dass es sich lohnt, die Anweisungen am Ende zu wiederholen[5]. Microsoft fügt hinzu, dass seine Tests mit ChatGPT und GPT-4 mit und ohne die erste Technik dieselbe Antwort ergeben haben[5].
  • Geben Sie dem Modell einen Ausweg. Microsoft schlägt zum Beispiel vor, es antworten zu lassen „not found“ (nicht gefunden), wenn die Antwort nicht vorhanden ist, was dem Modell helfen kann, eine falsche Antwort zu vermeiden[5].
  • Liefern Sie den Referenztext und verlangen Sie Quellenangaben. Microsoft empfiehlt nachdrücklich, dem Modell Daten zu geben, auf die es sich stützen kann, wenn die Antwort auf verlässlichen, aktuellen Informationen beruhen soll[5]. Quellenangaben zu verlangen kann helfen, die Häufigkeit falscher Antworten zu senken, und Quellenangaben im Text, nahe an der Aussage, sind bessere Schutzmaßnahmen als Quellenangaben am Ende der Antwort[5].
  • Prüfen Sie immer. Selbst bei einer gut formulierten Anweisung gibt Microsoft an, dass die Antworten des Modells validiert werden müssen, denn eine Anweisung, die in einem Fall gut funktioniert hat, lässt sich nicht unbedingt verallgemeinern[5].

Die Fallstricke

Das eingefügte Dokument kann Anweisungen enthalten

Liest ein Assistent eine Website oder eine Datei, kann der Inhalt Anweisungen enthalten, die das Modell auslegt und die sein Verhalten verändern: OWASP spricht von indirekter Einschleusung von Anweisungen[6]. In einem von OWASP beschriebenen Szenario bittet ein Benutzer ein Modell, eine Webseite mit versteckten Anweisungen zusammenzufassen, die zum Abfluss der privaten Unterhaltung führen[6]. OWASP empfiehlt, nicht vertrauenswürdige Inhalte zu trennen und klar zu kennzeichnen und für privilegierte Vorgänge eine menschliche Freigabe vorzusehen[6].

Ein großes Fenster vermittelt falsche Sicherheit

Google gibt an, dass man bei einer einzelnen gesuchten Information etwa 99 % Erfolg erzielen kann, das Ergebnis aber nicht dasselbe ist, wenn mehrere gefunden werden müssen[2]. Eine Antwort kann also vollständig wirken und dennoch Punkte aus einem langen Text auslassen.

Die Ratschläge hängen vom Modell ab

Microsoft warnt, dass sich jedes Modell anders verhält und dass seine Techniken nicht bei allen gleich wirken. Diese Techniken werden für Modelle des logischen Schlussfolgerns wie gpt-5 und die o-Serie nicht empfohlen[5].

Quellen

  1. Microsoft, „Understand tokens“. https://learn.microsoft.com/en-us/dotnet/ai/conceptual/understanding-tokens (abgerufen am 14. November 2026)
  2. Google, „Long context | Gemini Enterprise Agent Platform | Google Cloud Documentation“. https://docs.cloud.google.com/gemini-enterprise-agent-platform/models/long-context (abgerufen am 14. November 2026)
  3. arXiv, „Lost in the Middle: How Language Models Use Long Contexts“, 6. Juli 2023. https://arxiv.org/abs/2307.03172 (abgerufen am 14. November 2026)
  4. arXiv, „Efficient Solutions For An Intriguing Failure of LLMs: Long Context Window Does Not Mean LLMs Can Analyze Long Sequences Flawlessly“, 3. August 2024. https://arxiv.org/abs/2408.01866 (abgerufen am 14. November 2026)
  5. Microsoft, „Prompt engineering techniques“. https://learn.microsoft.com/en-us/azure/foundry/openai/concepts/prompt-engineering (abgerufen am 14. November 2026)
  6. OWASP, „LLM01:2025 Prompt Injection“, 10. April 2024. https://genai.owasp.org/llmrisk/llm01-prompt-injection/ (abgerufen am 14. November 2026)
  7. OWASP, „LLM10:2025 Unbounded Consumption“, 10. April 2024. https://genai.owasp.org/llmrisk/llm102025-unbounded-consumption/ (abgerufen am 14. November 2026)