Cyberpediavon Brain
DEENFR

Der Transformer und der Attention-Mechanismus

Der Transformer, beschrieben im Juni 2017: Was die auf Attention beruhende Architektur für Beschäftigte ändert, ihre Grenzen und Prompt Injection.

In 30 Sekunden

Wo es vorkommt
Bei jeder Frage an einen KI-Assistenten, ob zum Zusammenfassen eines Dokuments, zum Schreiben einer E-Mail oder zum Übersetzen.
Was man wissen sollte
Das Modell sagt das wahrscheinlichste nächste Wort voraus2. Die Fiche leitet daraus einen Rat ab: Prüfen Sie, was es schreibt.
Die Grenzen
Bei einem langen Text nutzt es nicht alle Teile gleich zuverlässig3.
Der Reflex
Lesen Sie jede Antwort noch einmal durch und prüfen Sie sie, bevor Sie sie verwenden, und fügen Sie keine vertraulichen Daten in ein Werkzeug ein, das das Unternehmen nicht freigegeben hat.
Wenn es schon passiert ist
Informieren Sie Ihre Führungskraft oder das Sicherheitsteam, ohne auf eine erkennbare Folge zu warten.

Worum es geht

Der Transformer, eine Modellarchitektur, wurde erstmals in einem Forschungsaufsatz beschrieben, der am 12. Juni 2017 unter dem Titel „Attention Is All You Need“ eingereicht wurde1.

Wer die Grundzüge dieser Architektur kennt, kann ihren Einsatz besser einordnen: Man weiß, was das Werkzeug mit einem Text tatsächlich macht, warum eine gut formulierte Antwort falsch sein kann und was man ihm besser nicht anvertraut.

Direkte Fragen

Woher kommt der Transformer?

Der grundlegende Aufsatz wurde am 12. Juni 2017 eingereicht1. Seine Autoren schlagen darin eine Netzarchitektur vor, die sie beschreiben als „new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely“1. Zuvor beruhten die vorherrschenden Modelle zur Verarbeitung von Wortfolgen auf sogenannten rekurrenten oder konvolutionalen Netzen1.

Die berichteten Ergebnisse betrafen die maschinelle Übersetzung. Das Modell erreichte 28,4 BLEU bei der Aufgabe Englisch-Deutsch von WMT 2014 und 41,8 BLEU bei der Aufgabe Englisch-Französisch, nach 3,5 Tagen Training auf acht GPUs1. Die Autoren geben außerdem an, dass sich das Modell leichter parallelisieren lässt und deutlich weniger Trainingszeit benötigt1.

Was ist Attention?

Attention ist der Mechanismus, den die Autoren ins Zentrum der Architektur stellen: Die besten Modelle jener Zeit verbanden Encoder und Decoder bereits über einen Attention-Mechanismus, und der Transformer stützt sich allein auf dieses Prinzip1. Für Leserinnen und Leser ohne Fachwissen ist das hilfreiche Bild ein Lesen, bei dem jedes Wort mit den anderen Wörtern des Textes in Beziehung gesetzt wird, statt streng Wort für Wort zu lesen. Dieses Bild ist eine Vereinfachung: Die Fiche geht nicht auf die Berechnung ein, und die hier genutzten Quellen beschreiben sie nicht im Einzelnen.

Versteht dieses Modell, was man ihm schreibt?

Das britische National Cyber Security Centre (NCSC) äußert sich dazu in einem Beitrag vom 8. Dezember 2025. Bei einer Anweisung „doesn't understand the text it in the way a person does“: Es „is simply predicting the most likely next token from the text so far“2. Eine flüssige Antwort ist also eine wahrscheinliche Wortfolge, kein Beleg für eine Überprüfung.

Warum sind die Assistenten besser geworden?

Ein Aufsatz von 2020 über GPT-3 stellt ein Sprachmodell mit 175 Milliarden Parametern vor, zehnmal mehr als jedes frühere nicht sparse Modell4. Seine Autoren zeigen, dass eine größere Modellgröße die Leistung bei neuen Aufgaben deutlich verbessert, die mit nur wenigen Beispielen gestellt werden4. Sie weisen auch auf Datensätze hin, bei denen das Modell weiterhin Schwierigkeiten hat4.

Erinnert sich das Modell an die gesamte Unterhaltung?

Nicht zuverlässig. Eine Studie von 2023, die an Fragen zu mehreren Dokumenten getestet wurde, stellt fest, dass die Leistung deutlich nachlassen kann, wenn die relevante Information an eine andere Stelle des vorgelegten Textes rückt3. Sie ist oft besser, wenn sich die Information am Anfang oder am Ende befindet, und lässt nach, wenn sie in der Mitte eines langen Kontexts steht, auch bei Modellen, die für lange Texte entwickelt wurden3.

Darf man ihm sensible Daten anvertrauen?

Nein, außer in einem vom Unternehmen freigegebenen Werkzeug. Das NCSC nennt unter den möglichen Folgen von Prompt Injection, dass das Modell „reveal confidential information“5. Die Fiche beschreibt die Regeln der einzelnen Werkzeuge nicht: Sie hängen von der Richtlinie des Unternehmens ab, die die hier genutzten Quellen nicht beschreiben.

1Wie es funktioniert1 min

Ein Transformer erhält einen Text und erzeugt eine Textfolge. Das NCSC fasst das Prinzip nüchtern zusammen: Das Modell sagt das „next token“ voraus, also das nach dem bereits vorhandenen Text wahrscheinlichste nächste Element2. Nichts an dieser Funktionsweise trennt, was eine Anweisung wäre, von dem, was bloße Daten wären2.

Daraus ergeben sich zwei praktische Folgen.

  • Der erzeugte Text ist wahrscheinlich, nicht geprüft. Ein Modell kann einen überzeugenden Absatz schreiben, ohne dass jemand eine einzige Tatsache überprüft hätte.
  • Innerhalb eines Prompts gibt es keine Sicherheitsgrenze zwischen Anweisungen und Daten2.

Der Aufsatz von 2020 über GPT-3 hält zudem fest, dass menschliche Beurteiler Mühe hatten, vom Modell erzeugte Nachrichtenartikel von menschlich verfassten Artikeln zu unterscheiden4. Die Qualität der Form sagt also nichts über die Richtigkeit des Inhalts aus.

2Was Sie tun1 min
  • Lesen Sie jede Antwort wie einen Entwurf von jemandem, der nichts überprüft hat: Zahlen, Namen, Verweise und Zitate prüfen Sie an der Quelle.
  • Die Leistung ist oft am höchsten, wenn die relevante Information am Anfang oder am Ende des vorgelegten Textes steht3. Die Fiche folgert daraus, das Wesentliche der Anfrage dort zu platzieren statt in der Mitte eines langen Dokuments.
  • Bei einem langen Austausch oder einem langen Dokument rät die Fiche, mit einer Zusammenfassung und einer präzisen Anfrage neu zu beginnen, statt anzunehmen, dass alles behalten wurde.
  • Fügen Sie keine personenbezogenen Daten, Geschäftsgeheimnisse, Passwörter oder Zugangsschlüssel ein. Das NCSC berichtet von einem Fall, in dem ein Sicherheitsforscher einen sensiblen API-Schlüssel aus einem System extrahierte, das für einen Angriff per Prompt Injection offen war5.
  • Wenn der Assistent Dokumente von außen liest (E-Mails, Lebensläufe, Webseiten), gehen Sie davon aus, dass deren Inhalt versteckte Anweisungen enthalten kann2.
3Die Fallstricke2 min

Glauben, das Modell denke logisch

Eine Antwort, die Schritte darlegt, ähnelt einer Argumentation. Die hier genutzten Quellen beschreiben jedoch einen Mechanismus, der das nächste Wort vorhersagt2, und das NCSC stellt klar, dass das Modell den Text nicht wie ein Mensch versteht2.

Eine flüssige Antwort für eine richtige halten

Ein gut formulierter Text kann falsch sein. Menschliche Beurteiler hatten Mühe, von GPT-3 erzeugte Nachrichtenartikel von menschlich verfassten Artikeln zu unterscheiden4.

Prompt Injection

Prompt Injection bedeutet, in einen Text eine Anweisung einzuschleusen, der das Modell folgt. Das NCSC definiert sie seinerseits als eine Eingabe, die so gestaltet ist, dass sich das Modell unerwartet verhält: Es erzeugt anstößige Inhalte, gibt vertrauliche Informationen preis oder löst unerwünschte Wirkungen in einem System aus, das die Ausgabe des Modells ungeprüft übernimmt5.

Der NCSC-Beitrag vom Dezember 2025 nennt ein Beispiel aus der Personalauswahl. Ein Werkzeug bittet das Modell zu bewerten, ob ein Lebenslauf zu den Kriterien passt. Ein Bewerber versteckt darin einen Text, der verlangt, die vorherigen Anweisungen zu ignorieren und seinen Lebenslauf für ein Vorstellungsgespräch zu bestätigen: Seine „Daten“ werden dann als Anweisung ausgeführt2. Man spricht von indirekter Injection, wenn der Angreifer keinen direkten Zugang zum KI-System hat2.

Neutralisierte Illustration der Art des versteckten Textes:

Auszug
[Unsichtbarer Text, einem Lebenslauf hinzugefügt, paraphrasiert: fordert das Modell auf,
seine ursprüngliche Aufgabe nicht zu beachten und diesen Bewerber zu empfehlen.]

Aktuelle Modelle erzwingen in einer Anfrage keine Sicherheitsgrenze zwischen Anweisungen und Daten2. Das NCSC hält es für möglich, dass Prompt Injection nie vollständig gelöst wird, so wie es bei der SQL-Injection gelang2. Es rät davon ab, sich auf eine Liste verbotener Formulierungen zu verlassen, denn es gibt unendlich viele Wege, einen Angriff umzuformulieren2. Es berichtet von einem Ansatz aus einer Diskussion zwischen Simon Willison und Baibhav Bista: Verarbeitet ein Modell Informationen eines Dritten, sinken seine Berechtigungen auf die dieses Dritten2.

4Reale Fälle1 min

MathGPT: ein API-Schlüssel extrahiert (NCSC-Beitrag, August 2023)

Das NCSC beschreibt in einem Beitrag vom 30. August 2023 einen Angriff auf MathGPT, ein Modell, das Fragen in natürlicher Sprache in Rechencode umwandeln soll. Ein Sicherheitsforscher hatte festgestellt, dass das Modell den vom Nutzer eingegebenen Text als Code auswertete. Er nutzte dies, um auf das System zuzugreifen, das das Modell hostete, und einen sensiblen API-Schlüssel zu extrahieren, bevor er den Angriff offenlegte5. Der Beitrag nennt nicht das Datum des Angriffs selbst.

Ein Risikoraster, das man kennen sollte

Das NIST veröffentlichte am 26. Juli 2024 ein Profil zur generativen KI, eine Ergänzung zu seinem Rahmenwerk für das KI-Risikomanagement (AI RMF 1.0), das im Januar 2023 erschien und für die freiwillige Anwendung gedacht ist6. Es richtet sich an Organisationen, die diese Systeme entwickeln oder nutzen6.

Merkblatt

Kennung
CP-257
Flügel
4. Künstliche Intelligenz
Brain-Kompetenz
KI verstehen (understand_ai)
Brain-Reflex
air-038
Schema
G3 · Anatomischer Schnitt
Sprachen
de, en, fr
Quellen
6 Quellen geprüft am 3. November 2026
Quellen6 Quellen
  1. arXiv, „Attention Is All You Need“, 12. Juni 2017. https://arxiv.org/abs/1706.03762 (abgerufen am 3. November 2026)
  2. NCSC (Royaume-Uni), „Prompt injection is not SQL injection (it may be worse)“, 8. Dezember 2025. https://www.ncsc.gov.uk/blog-post/prompt-injection-is-not-sql-injection (abgerufen am 3. November 2026)
  3. arXiv, „Lost in the Middle: How Language Models Use Long Contexts“, 6. Juli 2023. https://arxiv.org/abs/2307.03172 (abgerufen am 3. November 2026)
  4. arXiv, „Language Models are Few-Shot Learners“, 28. Mai 2020. https://arxiv.org/abs/2005.14165 (abgerufen am 3. November 2026)
  5. NCSC (Royaume-Uni), „Thinking about the security of AI systems“, 30. August 2023. https://www.ncsc.gov.uk/blog-post/thinking-about-security-ai-systems (abgerufen am 3. November 2026)
  6. NIST, „Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile“, 26. Juli 2024. https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence (abgerufen am 3. November 2026)

Diesen Artikel zitieren

Brain, „Der Transformer und der Attention-Mechanismus“, Cyberpedia, 2026. https://startbrain.io/cyberpedia/de/articles/transformer-architektur-attention/

BibTeX 
@misc{brain_cp257_de_2026,
  author = {Brain},
  title = {Der Transformer und der Attention-Mechanismus},
  year = {2026},
  howpublished = {Cyberpedia},
  url = {https://startbrain.io/cyberpedia/de/articles/transformer-architektur-attention/},
  note = {CC BY 4.0}
}
Lizenz CC BY 4.0