Cyberpediavon Brain
DEENFR

Wie ein großes Sprachmodell funktioniert

Ein KI-Assistent wie ChatGPT schreibt plausible Texte, die niemand geprüft hat. Was das für Ihre Antworten, Ihre Daten und Ihre Regeln bedeutet.

In 30 Sekunden

Wo es vorkommt
Bei jeder Frage an einen KI-Assistenten, in einem vom Unternehmen freigegebenen Werkzeug oder nicht.
Was das Modell tut
Es setzt einen Text fort, wie ein autoregressives Modell2.
Was schiefgehen kann
Eine falsche, aber plausible Antwort, eine eingegebene Information, die andernorts wieder auftaucht, oder eine in einem Dokument versteckte Anweisung, die das Werkzeug zweckentfremdet.
Der Reflex
Jede wichtige Antwort gegenlesen und prüfen, in einem nicht freigegebenen Werkzeug keine sensiblen oder personenbezogenen Daten eingeben und die Nutzungsregel des Unternehmens befolgen.
Wenn es schon passiert ist
Die Sicherheitsabteilung des Unternehmens informieren, ohne abzuwarten, ob die Daten tatsächlich abgeflossen sind.

Worum es geht

Ein großes Sprachmodell (englisch LLM, für large language model) ist der Motor der KI-Assistenten, die Texte verfassen, zusammenfassen oder übersetzen. Es schlägt nicht in einer Faktendatei nach. Es wird mit einem sehr großen Textkorpus trainiert und schreibt, indem es fortsetzt, was man ihm vorgibt: GPT-3 wird als autoregressives Modell beschrieben2.

Dieser Mechanismus erklärt, was Beschäftigte im Alltag erleben: flüssige, oft richtige, manchmal aber auch falsche Antworten in sehr selbstsicherem Ton. Er erklärt auch, warum man prüfen muss, was das Werkzeug schreibt, und ihm keine sensiblen Daten anvertrauen sollte.

Direkte Fragen

Versteht ein KI-Assistent, was er schreibt?

Feststellen lässt sich ein messbares Ergebnis: Ein Modell, das mit einem großen Textkorpus trainiert wurde, bewältigt Aufgaben wie Übersetzung, Fragenbeantwortung oder dreistellige Rechnungen anhand einfacher Beispiele, die im Text der Anfrage stehen2. Das gelingt ohne erneutes Training: Anweisungen und Beispiele laufen allein über den Text2.

Warum schreibt er manchmal Falsches?

Die Autoren von InstructGPT schreiben, dass ein größeres Modell nicht besser darin wird, der Absicht der Nutzer zu folgen, und dass große Modelle Antworten erzeugen können, die „untruthful, toxic, or simply not helpful to the user“ sind3. Das OWASP-Projekt führt Desinformation („Misinformation“) unter den zehn Risiken seiner Liste 2025 für Anwendungen auf Basis eines LLM8.

Kann mein eingegebener Text anderswo wieder auftauchen?

Das ist ein anerkanntes Risiko. Die OWASP-Liste 2025 enthält den Eintrag „Sensitive Information Disclosure“, die Offenlegung sensibler Informationen, die das Modell ebenso betrifft wie die Anwendung drumherum8. Der NIST-Bericht über Angriffe auf maschinelles Lernen nennt unter seinen Schlüsselwörtern die Verletzung der Privatsphäre („privacy breach“), große Sprachmodelle und Chatbots7. Das begründet die Regel: Was in ein nicht freigegebenes Werkzeug eingegeben wird, verlässt den Bereich, den das Unternehmen kontrolliert.

Können ein Dokument oder eine Webseite dem Werkzeug Befehle erteilen?

Dies ist das Risiko, das OWASP an die Spitze seiner Liste 2025 setzt, unter dem Namen „Prompt Injection“, dem Einschleusen von Anweisungen8. Das Modell erhält seine Anweisungen über den Text2. Ein neutralisiertes Beispiel steht weiter unten.

Wer legt die Nutzungsregeln fest?

Das Unternehmen. Die Leitlinien des britischen NCSC richten sich an Anbieter von KI-Systemen und halten fest, dass diese Systeme neuartige Schwachstellen haben, die zusätzlich zu den üblichen IT-Bedrohungen zu berücksichtigen sind5. Für Beschäftigte bedeutet das: die Liste freigegebener Werkzeuge und die interne Richtlinie der Organisation.

1Wie es funktioniert1 min

Der Transformer, vorgestellt im Juni 2017, ist ein Netz, das ausschließlich auf Aufmerksamkeitsmechanismen beruht, ohne Rekurrenz und ohne Faltung1. Seine Autoren bezeichnen ihn als besser parallelisierbar und als deutlich weniger Trainingszeit benötigend1.

BERT, veröffentlicht im Oktober 2018, wird mit unbeschriftetem Text trainiert, wobei der Kontext links und rechts von jedem Wort berücksichtigt wird, und anschließend an eine bestimmte Aufgabe angepasst4. GPT-3, veröffentlicht im Mai 2020, ist ein autoregressives Modell mit 175 Milliarden Parametern, zehnmal mehr als jedes frühere nicht dünnbesetzte Modell2.

Die Autoren von InstructGPT schreiben, dass diese Modelle nicht auf ihre Nutzer ausgerichtet seien („not aligned with their users“)3. Damit das Modell Aufträgen folgt, gibt es einen zweiten Schritt. Bei InstructGPT verfassten Annotatoren Demonstrationen des gewünschten Verhaltens und ordneten anschließend Antworten des Modells nach Qualität, und das Modell wurde mit bestärkendem Lernen aus diesem menschlichen Feedback angepasst3. Berichtetes Ergebnis: Bewerter ziehen die Antworten des Modells mit 1,3 Milliarden Parametern denen von GPT-3 (175 Milliarden) vor, und die Wahrhaftigkeit verbessert sich3. Die Autoren halten fest, dass das Modell „still makes simple mistakes“3.

2Was Sie tun1 min
  • Behandeln Sie jede Antwort als Entwurf. Prüfen Sie Zahlen, Daten, Namen, Quellenangaben und Zitate in einer Quelle, die Sie kennen, bevor Sie sie in einem Dokument, einer Mail oder einer Entscheidung übernehmen.
  • Geben Sie in ein nicht freigegebenes Werkzeug keine personenbezogenen Daten und keine vertraulichen Dokumente ein. Steht das Werkzeug nicht auf der Liste des Unternehmens, verzichten Sie darauf.
  • Bevor Sie einen von außen erhaltenen Text in einen Assistenten einfügen, fragen Sie sich, ob er Anweisungen für die Maschine enthalten kann, und lesen Sie das Ergebnis mit diesem Gedanken gegen.
  • Geben Sie dem Werkzeug möglichst wenig Zugriff. Der OWASP-Eintrag „Excessive Agency“ betrifft Systeme, denen ein Stück Eigeninitiative eingeräumt wird8. Je mehr Zugriff ein Assistent auf Ihre Nachrichten oder Dateien hat, desto größer ist die Reichweite seiner Fehler.
  • Melden Sie Zweifel oder Fehler Ihrem Sicherheitsteam.

Beispiel zur Veranschaulichung, neutralisiert: eine in einem zusammenzufassenden Dokument versteckte Anweisung.

Auszug
[Illustration, fiktiver Text] Protokoll der Quartalssitzung...
[Unsichtbare oder klein gedruckte Passage: paraphrasierte Anweisung,
die den Assistenten auffordert, den Inhalt der Unterhaltung
an hxxps://beispiel[.]invalid zu senden]
3Die Fallstricke1 min
  • Ein flüssiger Text kann falsch sein: Die Qualität der Formulierung sagt nichts über seine Richtigkeit.
  • Ein größeres Modell löst nicht alles. Die Autoren von InstructGPT schreiben, dass die Größe nicht garantiert, dass das Modell der Absicht der Nutzer folgt3.
  • Das Trainingskorpus zählt. Die Autoren von GPT-3 nennen Datensätze, bei denen das Modell Mühe hat, und methodische Probleme beim Training mit großen Webkorpora2.
  • Das praktische, aber nicht freigegebene Werkzeug. Es entzieht sich den Regeln, die das Unternehmen für seine KI-Werkzeuge festgelegt hat, und seine Nutzer wissen nicht, was aus den eingegebenen Daten wird.
  • Das KI-Risikomanagement-Rahmenwerk des NIST, veröffentlicht am 26. Januar 2023, ist für die freiwillige Anwendung gedacht, und die Seite gibt an, dass es überarbeitet wird6. Das NIST hat am 26. Juli 2024 ein Profil zur generativen KI ergänzt6. Das sind Orientierungshilfen für Organisationen.
4Reale Fälle1 min

Mai 2020: Nachrichtenartikel, die schwer zu unterscheiden sind

Im Vorstellungsartikel zu GPT-3, eingereicht am 28. Mai 2020, stellen die Autoren fest, dass das Modell Nachrichtenartikel erzeugen kann, die menschliche Bewerter nur schwer von Artikeln unterscheiden, die von Menschen geschrieben wurden2. Sie geben an, die Folgen dieser Feststellung für die Gesellschaft zu erörtern2. Für Beschäftigte lautet die praktische Lehre schlicht: Das Aussehen eines Textes belegt weder seinen Urheber noch seine Richtigkeit.

November 2023: Leitlinien zur Absicherung von KI-Systemen

Am 27. November 2023 veröffentlicht das NCSC seine Leitlinien in Version 1.0, gegliedert in vier Phasen: Entwurf, Entwicklung, Bereitstellung sowie Betrieb und Wartung5. Sie zielen auf Systeme, die wie vorgesehen funktionieren, verfügbar bleiben und keine sensiblen Daten an unbefugte Dritte preisgeben5. Das NIST veröffentlicht seinerseits im Januar 2024 eine Taxonomie der Angriffe auf maschinelles Lernen, begleitet von einem Glossar für Leser ohne Fachkenntnisse7. Bei OWASP ist das Projekt von einer kleinen Gruppe von Sicherheitsfachleuten im Jahr 2023 auf mehr als 600 Fachleute als Mitwirkende aus mehr als 18 Ländern gewachsen9.

Merkblatt

Kennung
CP-256
Flügel
4. Künstliche Intelligenz
Brain-Kompetenz
KI verstehen (understand_ai)
Brain-Reflex
air-037
Schema
G3 · Anatomischer Schnitt
Sprachen
de, en, fr
Quellen
9 Quellen geprüft am 3. November 2026
Quellen9 Quellen
  1. arXiv, „Attention Is All You Need“, 12. Juni 2017. https://arxiv.org/abs/1706.03762 (abgerufen am 3. November 2026)
  2. arXiv, „Language Models are Few-Shot Learners“, 28. Mai 2020. https://arxiv.org/abs/2005.14165 (abgerufen am 3. November 2026)
  3. arXiv, „Training language models to follow instructions with human feedback“, 4. März 2022. https://arxiv.org/abs/2203.02155 (abgerufen am 3. November 2026)
  4. arXiv, „BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding“, 11. Oktober 2018. https://arxiv.org/abs/1810.04805 (abgerufen am 3. November 2026)
  5. NCSC (Royaume-Uni), „Guidelines for secure AI system development“, 27. November 2023. https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development (abgerufen am 3. November 2026)
  6. NIST, „AI Risk Management Framework“. https://www.nist.gov/itl/ai-risk-management-framework (abgerufen am 3. November 2026)
  7. NIST, „Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations“, 2. Januar 2024. https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-2e2023.pdf (abgerufen am 3. November 2026)
  8. OWASP, „LLMRisks Archive“. https://genai.owasp.org/llm-top-10/ (abgerufen am 3. November 2026)
  9. OWASP, „OWASP Top 10 for Large Language Model Applications | OWASP Foundation“. https://owasp.org/projects/top-10-for-large-language-model-applications (abgerufen am 3. November 2026)

Diesen Artikel zitieren

Brain, „Wie ein großes Sprachmodell funktioniert“, Cyberpedia, 2026. https://startbrain.io/cyberpedia/de/articles/funktionsweise-llm-naechstes-token/

BibTeX 
@misc{brain_cp256_de_2026,
  author = {Brain},
  title = {Wie ein großes Sprachmodell funktioniert},
  year = {2026},
  howpublished = {Cyberpedia},
  url = {https://startbrain.io/cyberpedia/de/articles/funktionsweise-llm-naechstes-token/},
  note = {CC BY 4.0}
}
Lizenz CC BY 4.0