---
id: CP-256
slug: funktionsweise-llm-naechstes-token
lang: de
title: Wie ein großes Sprachmodell funktioniert
description: Ein KI-Assistent wie ChatGPT schreibt plausible Texte, die niemand geprüft hat. Was das für Ihre Antworten, Ihre Daten und Ihre Regeln bedeutet.
canonical_url: https://startbrain.io/cyberpedia/de/articles/funktionsweise-llm-naechstes-token/
markdown_url: https://startbrain.io/cyberpedia/de/articles/funktionsweise-llm-naechstes-token.md
publisher: Brain (https://startbrain.io)
license: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/)
cite_as: Brain, „Wie ein großes Sprachmodell funktioniert“, Cyberpedia, 2026. https://startbrain.io/cyberpedia/de/articles/funktionsweise-llm-naechstes-token/ (CC BY 4.0)
wing: 4
theme: understand_ai
reflex: air-037
schema: G3
updated: "2026-11-03"
translations:
  de: https://startbrain.io/cyberpedia/de/articles/funktionsweise-llm-naechstes-token/
  fr: https://startbrain.io/cyberpedia/fr/articles/fonctionnement-llm-jeton-suivant/
  en: https://startbrain.io/cyberpedia/en/articles/how-llms-work-next-token/
  es: https://startbrain.io/cyberpedia/es/articles/funcionamiento-llm-siguiente-token/
sources:
  - "n": 1
    title: Attention Is All You Need
    publisher: arXiv
    url: https://arxiv.org/abs/1706.03762
    published: "2017-06-12"
    accessed: "2026-11-03"
  - "n": 2
    title: Language Models are Few-Shot Learners
    publisher: arXiv
    url: https://arxiv.org/abs/2005.14165
    published: "2020-05-28"
    accessed: "2026-11-03"
  - "n": 3
    title: Training language models to follow instructions with human feedback
    publisher: arXiv
    url: https://arxiv.org/abs/2203.02155
    published: "2022-03-04"
    accessed: "2026-11-03"
  - "n": 4
    title: "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding"
    publisher: arXiv
    url: https://arxiv.org/abs/1810.04805
    published: "2018-10-11"
    accessed: "2026-11-03"
  - "n": 5
    title: Guidelines for secure AI system development
    publisher: NCSC (Royaume-Uni)
    url: https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development
    published: "2023-11-27"
    accessed: "2026-11-03"
  - "n": 6
    title: AI Risk Management Framework
    publisher: NIST
    url: https://www.nist.gov/itl/ai-risk-management-framework
    accessed: "2026-11-03"
  - "n": 7
    title: "Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations"
    publisher: NIST
    url: https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-2e2023.pdf
    published: "2024-01-02"
    accessed: "2026-11-03"
  - "n": 8
    title: LLMRisks Archive
    publisher: OWASP
    url: https://genai.owasp.org/llm-top-10/
    accessed: "2026-11-03"
  - "n": 9
    title: OWASP Top 10 for Large Language Model Applications | OWASP Foundation
    publisher: OWASP
    url: https://owasp.org/projects/top-10-for-large-language-model-applications
    accessed: "2026-11-03"
---

# Wie ein großes Sprachmodell funktioniert

Ein großes Sprachmodell (englisch LLM, für large language model) ist der Motor der KI-Assistenten, die Texte verfassen, zusammenfassen oder übersetzen. Es schlägt nicht in einer Faktendatei nach. Es wird mit einem sehr großen Textkorpus trainiert und schreibt, indem es fortsetzt, was man ihm vorgibt: GPT-3 wird als autoregressives Modell beschrieben [2].

Dieser Mechanismus erklärt, was Beschäftigte im Alltag erleben: flüssige, oft richtige, manchmal aber auch falsche Antworten in sehr selbstsicherem Ton. Er erklärt auch, warum man prüfen muss, was das Werkzeug schreibt, und ihm keine sensiblen Daten anvertrauen sollte.

## In 30 Sekunden

- Wo es vorkommt: bei jeder Frage an einen KI-Assistenten, in einem vom Unternehmen freigegebenen Werkzeug oder nicht.
- Was das Modell tut: Es setzt einen Text fort, wie ein autoregressives Modell [2].
- Was schiefgehen kann: eine falsche, aber plausible Antwort, eine eingegebene Information, die andernorts wieder auftaucht, oder eine in einem Dokument versteckte Anweisung, die das Werkzeug zweckentfremdet.
- Der Reflex: Jede wichtige Antwort gegenlesen und prüfen, in einem nicht freigegebenen Werkzeug keine sensiblen oder personenbezogenen Daten eingeben und die Nutzungsregel des Unternehmens befolgen.
- Wenn es schon passiert ist: die Sicherheitsabteilung des Unternehmens informieren, ohne abzuwarten, ob die Daten tatsächlich abgeflossen sind.

## Direkte Fragen

### Versteht ein KI-Assistent, was er schreibt?

Feststellen lässt sich ein messbares Ergebnis: Ein Modell, das mit einem großen Textkorpus trainiert wurde, bewältigt Aufgaben wie Übersetzung, Fragenbeantwortung oder dreistellige Rechnungen anhand einfacher Beispiele, die im Text der Anfrage stehen [2]. Das gelingt ohne erneutes Training: Anweisungen und Beispiele laufen allein über den Text [2].

### Warum schreibt er manchmal Falsches?

Die Autoren von InstructGPT schreiben, dass ein größeres Modell nicht besser darin wird, der Absicht der Nutzer zu folgen, und dass große Modelle Antworten erzeugen können, die „untruthful, toxic, or simply not helpful to the user“ sind [3]. Das OWASP-Projekt führt Desinformation („Misinformation“) unter den zehn Risiken seiner Liste 2025 für Anwendungen auf Basis eines LLM [8].

### Kann mein eingegebener Text anderswo wieder auftauchen?

Das ist ein anerkanntes Risiko. Die OWASP-Liste 2025 enthält den Eintrag „Sensitive Information Disclosure“, die Offenlegung sensibler Informationen, die das Modell ebenso betrifft wie die Anwendung drumherum [8]. Der NIST-Bericht über Angriffe auf maschinelles Lernen nennt unter seinen Schlüsselwörtern die Verletzung der Privatsphäre („privacy breach“), große Sprachmodelle und Chatbots [7]. Das begründet die Regel: Was in ein nicht freigegebenes Werkzeug eingegeben wird, verlässt den Bereich, den das Unternehmen kontrolliert.

### Können ein Dokument oder eine Webseite dem Werkzeug Befehle erteilen?

Dies ist das Risiko, das OWASP an die Spitze seiner Liste 2025 setzt, unter dem Namen „Prompt Injection“, dem Einschleusen von Anweisungen [8]. Das Modell erhält seine Anweisungen über den Text [2]. Ein neutralisiertes Beispiel steht weiter unten.

### Wer legt die Nutzungsregeln fest?

Das Unternehmen. Die Leitlinien des britischen NCSC richten sich an Anbieter von KI-Systemen und halten fest, dass diese Systeme neuartige Schwachstellen haben, die zusätzlich zu den üblichen IT-Bedrohungen zu berücksichtigen sind [5]. Für Beschäftigte bedeutet das: die Liste freigegebener Werkzeuge und die interne Richtlinie der Organisation.

## Wie es funktioniert

Der Transformer, vorgestellt im Juni 2017, ist ein Netz, das ausschließlich auf Aufmerksamkeitsmechanismen beruht, ohne Rekurrenz und ohne Faltung [1]. Seine Autoren bezeichnen ihn als besser parallelisierbar und als deutlich weniger Trainingszeit benötigend [1].

BERT, veröffentlicht im Oktober 2018, wird mit unbeschriftetem Text trainiert, wobei der Kontext links und rechts von jedem Wort berücksichtigt wird, und anschließend an eine bestimmte Aufgabe angepasst [4]. GPT-3, veröffentlicht im Mai 2020, ist ein autoregressives Modell mit 175 Milliarden Parametern, zehnmal mehr als jedes frühere nicht dünnbesetzte Modell [2].

Die Autoren von InstructGPT schreiben, dass diese Modelle nicht auf ihre Nutzer ausgerichtet seien („not aligned with their users“) [3]. Damit das Modell Aufträgen folgt, gibt es einen zweiten Schritt. Bei InstructGPT verfassten Annotatoren Demonstrationen des gewünschten Verhaltens und ordneten anschließend Antworten des Modells nach Qualität, und das Modell wurde mit bestärkendem Lernen aus diesem menschlichen Feedback angepasst [3]. Berichtetes Ergebnis: Bewerter ziehen die Antworten des Modells mit 1,3 Milliarden Parametern denen von GPT-3 (175 Milliarden) vor, und die Wahrhaftigkeit verbessert sich [3]. Die Autoren halten fest, dass das Modell „still makes simple mistakes“ [3].

## Was Sie tun

- Behandeln Sie jede Antwort als Entwurf. Prüfen Sie Zahlen, Daten, Namen, Quellenangaben und Zitate in einer Quelle, die Sie kennen, bevor Sie sie in einem Dokument, einer Mail oder einer Entscheidung übernehmen.
- Geben Sie in ein nicht freigegebenes Werkzeug keine personenbezogenen Daten und keine vertraulichen Dokumente ein. Steht das Werkzeug nicht auf der Liste des Unternehmens, verzichten Sie darauf.
- Bevor Sie einen von außen erhaltenen Text in einen Assistenten einfügen, fragen Sie sich, ob er Anweisungen für die Maschine enthalten kann, und lesen Sie das Ergebnis mit diesem Gedanken gegen.
- Geben Sie dem Werkzeug möglichst wenig Zugriff. Der OWASP-Eintrag „Excessive Agency“ betrifft Systeme, denen ein Stück Eigeninitiative eingeräumt wird [8]. Je mehr Zugriff ein Assistent auf Ihre Nachrichten oder Dateien hat, desto größer ist die Reichweite seiner Fehler.
- Melden Sie Zweifel oder Fehler Ihrem Sicherheitsteam.

Beispiel zur Veranschaulichung, neutralisiert: eine in einem zusammenzufassenden Dokument versteckte Anweisung.

```text
[Illustration, fiktiver Text] Protokoll der Quartalssitzung...
[Unsichtbare oder klein gedruckte Passage: paraphrasierte Anweisung,
die den Assistenten auffordert, den Inhalt der Unterhaltung
an hxxps://beispiel[.]invalid zu senden]
```

## Die Fallstricke

- Ein flüssiger Text kann falsch sein: Die Qualität der Formulierung sagt nichts über seine Richtigkeit.
- Ein größeres Modell löst nicht alles. Die Autoren von InstructGPT schreiben, dass die Größe nicht garantiert, dass das Modell der Absicht der Nutzer folgt [3].
- Das Trainingskorpus zählt. Die Autoren von GPT-3 nennen Datensätze, bei denen das Modell Mühe hat, und methodische Probleme beim Training mit großen Webkorpora [2].
- Das praktische, aber nicht freigegebene Werkzeug. Es entzieht sich den Regeln, die das Unternehmen für seine KI-Werkzeuge festgelegt hat, und seine Nutzer wissen nicht, was aus den eingegebenen Daten wird.
- Das KI-Risikomanagement-Rahmenwerk des NIST, veröffentlicht am 26. Januar 2023, ist für die freiwillige Anwendung gedacht, und die Seite gibt an, dass es überarbeitet wird [6]. Das NIST hat am 26. Juli 2024 ein Profil zur generativen KI ergänzt [6]. Das sind Orientierungshilfen für Organisationen.

## Reale Fälle

### Mai 2020: Nachrichtenartikel, die schwer zu unterscheiden sind

Im Vorstellungsartikel zu GPT-3, eingereicht am 28. Mai 2020, stellen die Autoren fest, dass das Modell Nachrichtenartikel erzeugen kann, die menschliche Bewerter nur schwer von Artikeln unterscheiden, die von Menschen geschrieben wurden [2]. Sie geben an, die Folgen dieser Feststellung für die Gesellschaft zu erörtern [2]. Für Beschäftigte lautet die praktische Lehre schlicht: Das Aussehen eines Textes belegt weder seinen Urheber noch seine Richtigkeit.

### November 2023: Leitlinien zur Absicherung von KI-Systemen

Am 27. November 2023 veröffentlicht das NCSC seine Leitlinien in Version 1.0, gegliedert in vier Phasen: Entwurf, Entwicklung, Bereitstellung sowie Betrieb und Wartung [5]. Sie zielen auf Systeme, die wie vorgesehen funktionieren, verfügbar bleiben und keine sensiblen Daten an unbefugte Dritte preisgeben [5]. Das NIST veröffentlicht seinerseits im Januar 2024 eine Taxonomie der Angriffe auf maschinelles Lernen, begleitet von einem Glossar für Leser ohne Fachkenntnisse [7]. Bei OWASP ist das Projekt von einer kleinen Gruppe von Sicherheitsfachleuten im Jahr 2023 auf mehr als 600 Fachleute als Mitwirkende aus mehr als 18 Ländern gewachsen [9].

## Quellen

1. arXiv, „Attention Is All You Need“, 12. Juni 2017. https://arxiv.org/abs/1706.03762 (abgerufen am 3. November 2026)
2. arXiv, „Language Models are Few-Shot Learners“, 28. Mai 2020. https://arxiv.org/abs/2005.14165 (abgerufen am 3. November 2026)
3. arXiv, „Training language models to follow instructions with human feedback“, 4. März 2022. https://arxiv.org/abs/2203.02155 (abgerufen am 3. November 2026)
4. arXiv, „BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding“, 11. Oktober 2018. https://arxiv.org/abs/1810.04805 (abgerufen am 3. November 2026)
5. NCSC (Royaume-Uni), „Guidelines for secure AI system development“, 27. November 2023. https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development (abgerufen am 3. November 2026)
6. NIST, „AI Risk Management Framework“. https://www.nist.gov/itl/ai-risk-management-framework (abgerufen am 3. November 2026)
7. NIST, „Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations“, 2. Januar 2024. https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-2e2023.pdf (abgerufen am 3. November 2026)
8. OWASP, „LLMRisks Archive“. https://genai.owasp.org/llm-top-10/ (abgerufen am 3. November 2026)
9. OWASP, „OWASP Top 10 for Large Language Model Applications | OWASP Foundation“. https://owasp.org/projects/top-10-for-large-language-model-applications (abgerufen am 3. November 2026)

---

Originalquelle: Cyberpedia, die öffentliche Enzyklopädie zu Cybersicherheit und KI von Brain. Kanonische Version: https://startbrain.io/cyberpedia/de/articles/funktionsweise-llm-naechstes-token/
Sie dürfen diesen Text unter der Lizenz CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) frei weiterverwenden, sofern Sie „Brain, Cyberpedia“ mit einem Link auf die obige Adresse nennen.