Cyberpediavon Brain
DEENFR

Die Tokenisierung bei LLMs

Ein Sprachmodell liest Textfragmente, keine Sätze. Was das für Beschäftigte bedeutet und welche Sicherheitsfallen es gibt.

In 30 Sekunden

Wo es vorkommt
Jedes Mal, wenn Sie einen Text, einen Namen oder ein Dokument in einen KI-Assistenten einfügen oder ihn bitten, eine Seite zusammenzufassen.
Was der Angreifer will
Das Modell Anweisungen lesen lassen, die Sie nicht sehen, denn eine Prompt-Injection kann für Menschen nicht wahrnehmbar sein2.
Der Reflex
Formulieren Sie präzise Anweisungen, prüfen Sie Zahlen und Zitate an der Quelle und fügen Sie nie sensible Daten in ein nicht freigegebenes Werkzeug ein.
Wenn es schon passiert ist
Informieren Sie Ihr Sicherheitsteam und nennen Sie das verwendete Werkzeug und die Art der eingefügten Daten.

Worum es geht

Wenn man einem KI-Assistenten schreibt, hat man den Eindruck, er lese Sätze wie ein Kollege. Die Forschungsarbeiten, auf die sich diese Fiche stützt, beschreiben eine andere Arbeitsweise: Seltene Wörter werden als Folgen von Einheiten kodiert, die kleiner sind als ein Wort. Hier heißen sie Fragmente (oder Tokens)1.

Diese Fiche erklärt die Idee in einfachen Worten. Danach zeigt sie, was Beschäftigte daraus für ihre Anfragen mitnehmen können, wie sie Antworten prüfen und wie sie einige Sicherheitsfallen vermeiden. Die Quellen des Dossiers beschreiben die Zerlegung des Texts und die Angriffe mit verwirrendem Text. Sie messen weder die Kosten eines Austauschs noch die Größe des Kontextfensters eines bestimmten Produkts. Diese Punkte werden hier daher nicht behandelt.

Direkte Fragen

Liest ein Sprachmodell die Wörter so, wie wir sie schreiben?

Nicht unverändert. Forscher beschrieben 2015 für die maschinelle Übersetzung Modelle, die mit einem festen Vokabular arbeiten, obwohl Übersetzen ein Problem mit offenem Vokabular ist1. Ihre Lösung besteht darin, seltene oder unbekannte Wörter als Folgen von Einheiten zu kodieren, die kleiner sind als ein Wort1.

Wie wird der Text zerlegt?

Die Autoren von 2015 vergleichen mehrere Segmentierungstechniken, darunter einfache Modelle für Zeichenfolgen und eine Segmentierung auf Grundlage des Kompressionsalgorithmus „Byte Pair Encoding“1. Sie messen einen Gewinn von 1,1 BLEU-Punkten für Englisch-Deutsch und von 1,3 für Englisch-Russisch gegenüber einem Wörterbuch-Rückfallverfahren1.

Hängt das von der Sprache ab?

Das Werkzeug SentencePiece, 2018 von Taku Kudo und John Richardson vorgestellt, beschreibt sich als sprachunabhängiger Zerleger in Teilwörter3. Es lernt seine Einheiten direkt aus unbearbeiteten Sätzen, während bestehende Werkzeuge einen bereits in Wörter zerlegten Text voraussetzten3. Es ist als Open Source unter der Apache-2-Lizenz veröffentlicht3. Die hier zitierten Quellen messen nicht, in welchem Maß eine Sprache schlechter bedient wird als eine andere: Diese Frage bleibt hier offen.

Warum bereitet ein seltener Name oder ein erfundenes Wort Probleme?

Die Grundidee des Artikels von 2015 ist, dass sich Eigennamen, zusammengesetzte Wörter und Lehnwörter in Teilen besser übersetzen lassen als als ganze Wörter1. Seltene Wörter werden in Teileinheiten kodiert1. Der Zusammenhang mit Fehlern bei seltenen Namen ist eine Deutung dieser Fiche, kein in den Quellen gemessenes Ergebnis.

Haben die Modelle bekannte Grenzen?

Das Modell GPT-3, 2020 mit 175 Milliarden Parametern vorgestellt, erhält seine Aufgaben und Beispiele ausschließlich als Text4. Seine Autoren stellen fest, dass es Aufgaben wie das Ordnen durcheinandergeratener Wörter oder dreistellige Additionen löst, aber bei manchen Datensätzen weiterhin Schwierigkeiten hat4. Ein einmal richtiges Ergebnis garantiert also nicht, dass es beim nächsten Mal wieder richtig ist.

1Wie es funktioniert1 min

Die Quellen nennen folgendes Prinzip. Das Modell arbeitet mit einem Vokabular fester Größe1. Seltene Wörter werden aus mehreren Einheiten zusammengesetzt1. Das Zerlegungswerkzeug kann mit unbearbeitetem Text trainiert werden, ohne vorherige Zerlegung in Wörter3.

Anweisungen laufen über denselben Kanal wie Daten. In der Studie zu GPT-3 werden Aufgaben und Beispiele „specified purely via text interaction with the model“4. Laut OWASP bezeichnet Prompt-Injection Eingaben, die das Verhalten des Modells auf unbeabsichtigte Weise verändern, auch wenn sie für Menschen nicht wahrnehmbar sind, sobald das Modell sie liest2. Beide Punkte zusammenzubringen ist eine Deutung dieser Fiche, keine Aussage von OWASP.

2Was Sie tun2 min

Klare Anweisungen formulieren. Nennen Sie die erwartete Rolle, die Aufgabe und das Format der Antwort. OWASP empfiehlt den Entwicklern von Systemen, die Rolle, die Fähigkeiten und die Grenzen des Modells festzulegen und ein klares Ausgabeformat zu definieren2. Beschäftigte können sich das sinngemäß für ihre Anfragen zu eigen machen.

Quellen verlangen und dann prüfen. OWASP rät, eine ausführliche Begründung und Quellenangaben zu verlangen und das Ergebnis zugleich mit deterministischem Code zu validieren2. Für Beschäftigte bedeutet das eine manuelle Kontrolle: die genannte Quelle öffnen, die Zahl nachlesen, prüfen, dass das Zitat wörtlich vorkommt. Die Autoren von GPT-3 weisen selbst auf Datensätze hin, bei denen das Modell weiterhin Schwierigkeiten hat4.

Wichtige Handlungen selbst in der Hand behalten. OWASP empfiehlt eine menschliche Freigabe für privilegierte Operationen, um nicht autorisierte Handlungen zu verhindern2. Lassen Sie einen Assistenten keine Nachricht senden und keine Datei ändern, ohne dass Sie sie vorher durchgesehen haben.

Keine sensiblen Daten einfügen. OWASP zählt die Offenlegung sensibler Informationen zu den möglichen Folgen einer Prompt-Injection2. Das britische NCSC zielt auf KI-Systeme, die funktionieren, ohne unbefugten Dritten sensible Daten preiszugeben5. Wenden Sie im Unternehmen die Regel Ihrer Organisation zu den zugelassenen Werkzeugen an.

Externe Inhalte von Ihren Anweisungen trennen. Wenn der Assistent eine Webseite oder eine erhaltene Datei zusammenfasst, kann dieser Inhalt versteckte Anweisungen enthalten2. OWASP rät, nicht vertrauenswürdige Inhalte zu trennen und klar zu kennzeichnen2.

3Die Fallen2 min

Unsichtbarer oder verwirrender Text. Laut OWASP muss eine Prompt-Injection für Menschen nicht lesbar sein, solange das Modell den Inhalt liest2. In einem von OWASP beschriebenen Szenario lässt ein Nutzer eine Webseite mit versteckten Anweisungen zusammenfassen: Das Modell fügt ein mit einer Adresse verknüpftes Bild ein, und die private Unterhaltung wird abgezogen2.

Sinnlose Zeichenfolgen. OWASP beschreibt einen Angreifer, der einer Anfrage eine scheinbar absurde Zeichenfolge anhängt. Diese Folge beeinflusst die Antwort und umgeht die Schutzmaßnahmen2. Die Forschung liefert eine automatisierte Variante: ein adversariales Suffix, das mit gierigen und gradientenbasierten Suchverfahren gefunden wurde6.

Gemischte Sprachen und Kodierungen. OWASP nennt auch den Angreifer, der mehrere Sprachen verwendet oder seine Anweisungen kodiert, etwa in Base64 oder mit Emojis, um Filter zu umgehen2.

Präparierte Dateien. In einem weiteren OWASP-Szenario enthält ein Lebenslauf aufgeteilte Anweisungen. Wenn ein Modell die Bewerbung bewertet, setzen sich die Teile zusammen und führen trotz des tatsächlichen Inhalts des Lebenslaufs zu einer positiven Empfehlung2. In einem dritten verfälscht ein veränderes Dokument in einem Datenbestand, den eine Anwendung mit abrufgestützter Generierung nutzt, die Ergebnisse2.

Unvollkommene Schutzmaßnahmen. OWASP stellt klar, dass abrufgestützte Generierung und Feinabstimmung Prompt-Injections nicht vollständig beseitigen2. Es hält es zudem für ungewiss, dass es eine lückenlose Methode zur Vorbeugung gibt2. Das NCSC weist darauf hin, dass KI-Systeme neue Schwachstellen haben, die zusätzlich zu den klassischen Bedrohungen zu behandeln sind5. Das NIST veröffentlichte im Januar 2024 eine Taxonomie der Angriffe auf maschinelles Lernen mit einem Glossar für Leser ohne Fachkenntnisse7.

4Reale Fälle1 min

Juli 2023: ein Suffix, das bei mehreren Assistenten wirkt

Am 27. Juli 2023 reichen Andy Zou und seine Koautoren, darunter Nicholas Carlini, eine Methode ein, die automatisch ein an eine Anfrage anzuhängendes Suffix erzeugt6. Dieses Suffix soll die Wahrscheinlichkeit maximieren, dass das Modell zustimmend antwortet, statt abzulehnen6. Es wurde auf mehreren Anfragen und an zwei Modellen (Vicuna-7B und 13B) trainiert und löst auch in den öffentlichen Oberflächen von ChatGPT, Bard und Claude sowie in offenen Modellen wie LLaMA-2-Chat, Pythia und Falcon unerwünschte Inhalte aus6.

Merkblatt

Kennung
CP-258
Flügel
4. Künstliche Intelligenz
Brain-Kompetenz
KI verstehen (understand_ai)
Brain-Reflex
air-005
Schema
G3 · Anatomischer Schnitt
Sprachen
de, en, fr
Quellen
7 Quellen geprüft am 3. November 2026
Quellen7 Quellen
  1. arXiv, „Neural Machine Translation of Rare Words with Subword Units“, 31. August 2015. https://arxiv.org/abs/1508.07909 (abgerufen am 3. November 2026)
  2. OWASP, „LLM01:2025 Prompt Injection“, 10. April 2024. https://genai.owasp.org/llmrisk/llm01-prompt-injection/ (abgerufen am 3. November 2026)
  3. arXiv, „SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing“, 19. August 2018. https://arxiv.org/abs/1808.06226 (abgerufen am 3. November 2026)
  4. arXiv, „Language Models are Few-Shot Learners“, 28. Mai 2020. https://arxiv.org/abs/2005.14165 (abgerufen am 3. November 2026)
  5. NCSC (Royaume-Uni), „Guidelines for secure AI system development“, 27. November 2023. https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development (abgerufen am 3. November 2026)
  6. arXiv, „Universal and Transferable Adversarial Attacks on Aligned Language Models“, 27. Juli 2023. https://arxiv.org/abs/2307.15043 (abgerufen am 3. November 2026)
  7. NIST, „Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations“. https://csrc.nist.gov/pubs/ai/100/2/e2023/final (abgerufen am 3. November 2026)

Diesen Artikel zitieren

Brain, „Die Tokenisierung bei LLMs“, Cyberpedia, 2026. https://startbrain.io/cyberpedia/de/articles/tokenisierung-llm-textfragmente/

BibTeX 
@misc{brain_cp258_de_2026,
  author = {Brain},
  title = {Die Tokenisierung bei LLMs},
  year = {2026},
  howpublished = {Cyberpedia},
  url = {https://startbrain.io/cyberpedia/de/articles/tokenisierung-llm-textfragmente/},
  note = {CC BY 4.0}
}
Lizenz CC BY 4.0