--- id: CP-258 slug: tokenisierung-llm-textfragmente lang: de title: Die Tokenisierung bei LLMs description: Ein Sprachmodell liest Textfragmente, keine Sätze. Was das für Beschäftigte bedeutet und welche Sicherheitsfallen es gibt. canonical_url: https://startbrain.io/cyberpedia/de/articles/tokenisierung-llm-textfragmente/ markdown_url: https://startbrain.io/cyberpedia/de/articles/tokenisierung-llm-textfragmente.md publisher: Brain (https://startbrain.io) license: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) cite_as: Brain, „Die Tokenisierung bei LLMs“, Cyberpedia, 2026. https://startbrain.io/cyberpedia/de/articles/tokenisierung-llm-textfragmente/ (CC BY 4.0) wing: 4 theme: understand_ai reflex: air-005 schema: G3 updated: "2026-11-03" translations: de: https://startbrain.io/cyberpedia/de/articles/tokenisierung-llm-textfragmente/ fr: https://startbrain.io/cyberpedia/fr/articles/tokenisation-llm-fragments/ en: https://startbrain.io/cyberpedia/en/articles/llm-tokenization-explained/ es: https://startbrain.io/cyberpedia/es/articles/tokenizacion-llm-fragmentos/ sources: - "n": 1 title: Neural Machine Translation of Rare Words with Subword Units publisher: arXiv url: https://arxiv.org/abs/1508.07909 published: "2015-08-31" accessed: "2026-11-03" - "n": 2 title: LLM01:2025 Prompt Injection publisher: OWASP url: https://genai.owasp.org/llmrisk/llm01-prompt-injection/ published: "2024-04-10" accessed: "2026-11-03" - "n": 3 title: "SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing" publisher: arXiv url: https://arxiv.org/abs/1808.06226 published: "2018-08-19" accessed: "2026-11-03" - "n": 4 title: Language Models are Few-Shot Learners publisher: arXiv url: https://arxiv.org/abs/2005.14165 published: "2020-05-28" accessed: "2026-11-03" - "n": 5 title: Guidelines for secure AI system development publisher: NCSC (Royaume-Uni) url: https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development published: "2023-11-27" accessed: "2026-11-03" - "n": 6 title: Universal and Transferable Adversarial Attacks on Aligned Language Models publisher: arXiv url: https://arxiv.org/abs/2307.15043 published: "2023-07-27" accessed: "2026-11-03" - "n": 7 title: "Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations" publisher: NIST url: https://csrc.nist.gov/pubs/ai/100/2/e2023/final accessed: "2026-11-03" --- # Die Tokenisierung bei LLMs Wenn man einem KI-Assistenten schreibt, hat man den Eindruck, er lese Sätze wie ein Kollege. Die Forschungsarbeiten, auf die sich diese Fiche stützt, beschreiben eine andere Arbeitsweise: Seltene Wörter werden als Folgen von Einheiten kodiert, die kleiner sind als ein Wort. Hier heißen sie Fragmente (oder Tokens) [1]. Diese Fiche erklärt die Idee in einfachen Worten. Danach zeigt sie, was Beschäftigte daraus für ihre Anfragen mitnehmen können, wie sie Antworten prüfen und wie sie einige Sicherheitsfallen vermeiden. Die Quellen des Dossiers beschreiben die Zerlegung des Texts und die Angriffe mit verwirrendem Text. Sie messen weder die Kosten eines Austauschs noch die Größe des Kontextfensters eines bestimmten Produkts. Diese Punkte werden hier daher nicht behandelt. ## In 30 Sekunden - Wo es vorkommt: jedes Mal, wenn Sie einen Text, einen Namen oder ein Dokument in einen KI-Assistenten einfügen oder ihn bitten, eine Seite zusammenzufassen. - Was der Angreifer will: das Modell Anweisungen lesen lassen, die Sie nicht sehen, denn eine Prompt-Injection kann für Menschen nicht wahrnehmbar sein [2]. - Der Reflex: Formulieren Sie präzise Anweisungen, prüfen Sie Zahlen und Zitate an der Quelle und fügen Sie nie sensible Daten in ein nicht freigegebenes Werkzeug ein. - Wenn es schon passiert ist: Informieren Sie Ihr Sicherheitsteam und nennen Sie das verwendete Werkzeug und die Art der eingefügten Daten. ## Direkte Fragen ### Liest ein Sprachmodell die Wörter so, wie wir sie schreiben? Nicht unverändert. Forscher beschrieben 2015 für die maschinelle Übersetzung Modelle, die mit einem festen Vokabular arbeiten, obwohl Übersetzen ein Problem mit offenem Vokabular ist [1]. Ihre Lösung besteht darin, seltene oder unbekannte Wörter als Folgen von Einheiten zu kodieren, die kleiner sind als ein Wort [1]. ### Wie wird der Text zerlegt? Die Autoren von 2015 vergleichen mehrere Segmentierungstechniken, darunter einfache Modelle für Zeichenfolgen und eine Segmentierung auf Grundlage des Kompressionsalgorithmus „Byte Pair Encoding“ [1]. Sie messen einen Gewinn von 1,1 BLEU-Punkten für Englisch-Deutsch und von 1,3 für Englisch-Russisch gegenüber einem Wörterbuch-Rückfallverfahren [1]. ### Hängt das von der Sprache ab? Das Werkzeug SentencePiece, 2018 von Taku Kudo und John Richardson vorgestellt, beschreibt sich als sprachunabhängiger Zerleger in Teilwörter [3]. Es lernt seine Einheiten direkt aus unbearbeiteten Sätzen, während bestehende Werkzeuge einen bereits in Wörter zerlegten Text voraussetzten [3]. Es ist als Open Source unter der Apache-2-Lizenz veröffentlicht [3]. Die hier zitierten Quellen messen nicht, in welchem Maß eine Sprache schlechter bedient wird als eine andere: Diese Frage bleibt hier offen. ### Warum bereitet ein seltener Name oder ein erfundenes Wort Probleme? Die Grundidee des Artikels von 2015 ist, dass sich Eigennamen, zusammengesetzte Wörter und Lehnwörter in Teilen besser übersetzen lassen als als ganze Wörter [1]. Seltene Wörter werden in Teileinheiten kodiert [1]. Der Zusammenhang mit Fehlern bei seltenen Namen ist eine Deutung dieser Fiche, kein in den Quellen gemessenes Ergebnis. ### Haben die Modelle bekannte Grenzen? Das Modell GPT-3, 2020 mit 175 Milliarden Parametern vorgestellt, erhält seine Aufgaben und Beispiele ausschließlich als Text [4]. Seine Autoren stellen fest, dass es Aufgaben wie das Ordnen durcheinandergeratener Wörter oder dreistellige Additionen löst, aber bei manchen Datensätzen weiterhin Schwierigkeiten hat [4]. Ein einmal richtiges Ergebnis garantiert also nicht, dass es beim nächsten Mal wieder richtig ist. ## Wie es funktioniert Die Quellen nennen folgendes Prinzip. Das Modell arbeitet mit einem Vokabular fester Größe [1]. Seltene Wörter werden aus mehreren Einheiten zusammengesetzt [1]. Das Zerlegungswerkzeug kann mit unbearbeitetem Text trainiert werden, ohne vorherige Zerlegung in Wörter [3]. Anweisungen laufen über denselben Kanal wie Daten. In der Studie zu GPT-3 werden Aufgaben und Beispiele „specified purely via text interaction with the model“ [4]. Laut OWASP bezeichnet Prompt-Injection Eingaben, die das Verhalten des Modells auf unbeabsichtigte Weise verändern, auch wenn sie für Menschen nicht wahrnehmbar sind, sobald das Modell sie liest [2]. Beide Punkte zusammenzubringen ist eine Deutung dieser Fiche, keine Aussage von OWASP. ## Was Sie tun Klare Anweisungen formulieren. Nennen Sie die erwartete Rolle, die Aufgabe und das Format der Antwort. OWASP empfiehlt den Entwicklern von Systemen, die Rolle, die Fähigkeiten und die Grenzen des Modells festzulegen und ein klares Ausgabeformat zu definieren [2]. Beschäftigte können sich das sinngemäß für ihre Anfragen zu eigen machen. Quellen verlangen und dann prüfen. OWASP rät, eine ausführliche Begründung und Quellenangaben zu verlangen und das Ergebnis zugleich mit deterministischem Code zu validieren [2]. Für Beschäftigte bedeutet das eine manuelle Kontrolle: die genannte Quelle öffnen, die Zahl nachlesen, prüfen, dass das Zitat wörtlich vorkommt. Die Autoren von GPT-3 weisen selbst auf Datensätze hin, bei denen das Modell weiterhin Schwierigkeiten hat [4]. Wichtige Handlungen selbst in der Hand behalten. OWASP empfiehlt eine menschliche Freigabe für privilegierte Operationen, um nicht autorisierte Handlungen zu verhindern [2]. Lassen Sie einen Assistenten keine Nachricht senden und keine Datei ändern, ohne dass Sie sie vorher durchgesehen haben. Keine sensiblen Daten einfügen. OWASP zählt die Offenlegung sensibler Informationen zu den möglichen Folgen einer Prompt-Injection [2]. Das britische NCSC zielt auf KI-Systeme, die funktionieren, ohne unbefugten Dritten sensible Daten preiszugeben [5]. Wenden Sie im Unternehmen die Regel Ihrer Organisation zu den zugelassenen Werkzeugen an. Externe Inhalte von Ihren Anweisungen trennen. Wenn der Assistent eine Webseite oder eine erhaltene Datei zusammenfasst, kann dieser Inhalt versteckte Anweisungen enthalten [2]. OWASP rät, nicht vertrauenswürdige Inhalte zu trennen und klar zu kennzeichnen [2]. ## Die Fallen Unsichtbarer oder verwirrender Text. Laut OWASP muss eine Prompt-Injection für Menschen nicht lesbar sein, solange das Modell den Inhalt liest [2]. In einem von OWASP beschriebenen Szenario lässt ein Nutzer eine Webseite mit versteckten Anweisungen zusammenfassen: Das Modell fügt ein mit einer Adresse verknüpftes Bild ein, und die private Unterhaltung wird abgezogen [2]. Sinnlose Zeichenfolgen. OWASP beschreibt einen Angreifer, der einer Anfrage eine scheinbar absurde Zeichenfolge anhängt. Diese Folge beeinflusst die Antwort und umgeht die Schutzmaßnahmen [2]. Die Forschung liefert eine automatisierte Variante: ein adversariales Suffix, das mit gierigen und gradientenbasierten Suchverfahren gefunden wurde [6]. Gemischte Sprachen und Kodierungen. OWASP nennt auch den Angreifer, der mehrere Sprachen verwendet oder seine Anweisungen kodiert, etwa in Base64 oder mit Emojis, um Filter zu umgehen [2]. Präparierte Dateien. In einem weiteren OWASP-Szenario enthält ein Lebenslauf aufgeteilte Anweisungen. Wenn ein Modell die Bewerbung bewertet, setzen sich die Teile zusammen und führen trotz des tatsächlichen Inhalts des Lebenslaufs zu einer positiven Empfehlung [2]. In einem dritten verfälscht ein veränderes Dokument in einem Datenbestand, den eine Anwendung mit abrufgestützter Generierung nutzt, die Ergebnisse [2]. Unvollkommene Schutzmaßnahmen. OWASP stellt klar, dass abrufgestützte Generierung und Feinabstimmung Prompt-Injections nicht vollständig beseitigen [2]. Es hält es zudem für ungewiss, dass es eine lückenlose Methode zur Vorbeugung gibt [2]. Das NCSC weist darauf hin, dass KI-Systeme neue Schwachstellen haben, die zusätzlich zu den klassischen Bedrohungen zu behandeln sind [5]. Das NIST veröffentlichte im Januar 2024 eine Taxonomie der Angriffe auf maschinelles Lernen mit einem Glossar für Leser ohne Fachkenntnisse [7]. ## Reale Fälle ### Juli 2023: ein Suffix, das bei mehreren Assistenten wirkt Am 27. Juli 2023 reichen Andy Zou und seine Koautoren, darunter Nicholas Carlini, eine Methode ein, die automatisch ein an eine Anfrage anzuhängendes Suffix erzeugt [6]. Dieses Suffix soll die Wahrscheinlichkeit maximieren, dass das Modell zustimmend antwortet, statt abzulehnen [6]. Es wurde auf mehreren Anfragen und an zwei Modellen (Vicuna-7B und 13B) trainiert und löst auch in den öffentlichen Oberflächen von ChatGPT, Bard und Claude sowie in offenen Modellen wie LLaMA-2-Chat, Pythia und Falcon unerwünschte Inhalte aus [6]. ## Quellen 1. arXiv, „Neural Machine Translation of Rare Words with Subword Units“, 31. August 2015. https://arxiv.org/abs/1508.07909 (abgerufen am 3. November 2026) 2. OWASP, „LLM01:2025 Prompt Injection“, 10. April 2024. https://genai.owasp.org/llmrisk/llm01-prompt-injection/ (abgerufen am 3. November 2026) 3. arXiv, „SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing“, 19. August 2018. https://arxiv.org/abs/1808.06226 (abgerufen am 3. November 2026) 4. arXiv, „Language Models are Few-Shot Learners“, 28. Mai 2020. https://arxiv.org/abs/2005.14165 (abgerufen am 3. November 2026) 5. NCSC (Royaume-Uni), „Guidelines for secure AI system development“, 27. November 2023. https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development (abgerufen am 3. November 2026) 6. arXiv, „Universal and Transferable Adversarial Attacks on Aligned Language Models“, 27. Juli 2023. https://arxiv.org/abs/2307.15043 (abgerufen am 3. November 2026) 7. NIST, „Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations“. https://csrc.nist.gov/pubs/ai/100/2/e2023/final (abgerufen am 3. November 2026) --- Originalquelle: Cyberpedia, die öffentliche Enzyklopädie zu Cybersicherheit und KI von Brain. Kanonische Version: https://startbrain.io/cyberpedia/de/articles/tokenisierung-llm-textfragmente/ Sie dürfen diesen Text unter der Lizenz CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) frei weiterverwenden, sofern Sie „Brain, Cyberpedia“ mit einem Link auf die obige Adresse nennen.