--- id: CP-257 slug: transformer-architektur-attention lang: de title: Der Transformer und der Attention-Mechanismus description: "Der Transformer, beschrieben im Juni 2017: Was die auf Attention beruhende Architektur für Beschäftigte ändert, ihre Grenzen und Prompt Injection." canonical_url: https://startbrain.io/cyberpedia/de/articles/transformer-architektur-attention/ markdown_url: https://startbrain.io/cyberpedia/de/articles/transformer-architektur-attention.md publisher: Brain (https://startbrain.io) license: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) cite_as: Brain, „Der Transformer und der Attention-Mechanismus“, Cyberpedia, 2026. https://startbrain.io/cyberpedia/de/articles/transformer-architektur-attention/ (CC BY 4.0) wing: 4 theme: understand_ai reflex: air-038 schema: G3 updated: "2026-11-03" translations: de: https://startbrain.io/cyberpedia/de/articles/transformer-architektur-attention/ fr: https://startbrain.io/cyberpedia/fr/articles/architecture-transformer-attention/ en: https://startbrain.io/cyberpedia/en/articles/transformer-architecture-attention/ es: https://startbrain.io/cyberpedia/es/articles/arquitectura-transformer-atencion/ sources: - "n": 1 title: Attention Is All You Need publisher: arXiv url: https://arxiv.org/abs/1706.03762 published: "2017-06-12" accessed: "2026-11-03" - "n": 2 title: Prompt injection is not SQL injection (it may be worse) publisher: NCSC (Royaume-Uni) url: https://www.ncsc.gov.uk/blog-post/prompt-injection-is-not-sql-injection published: "2025-12-08" accessed: "2026-11-03" - "n": 3 title: "Lost in the Middle: How Language Models Use Long Contexts" publisher: arXiv url: https://arxiv.org/abs/2307.03172 published: "2023-07-06" accessed: "2026-11-03" - "n": 4 title: Language Models are Few-Shot Learners publisher: arXiv url: https://arxiv.org/abs/2005.14165 published: "2020-05-28" accessed: "2026-11-03" - "n": 5 title: Thinking about the security of AI systems publisher: NCSC (Royaume-Uni) url: https://www.ncsc.gov.uk/blog-post/thinking-about-security-ai-systems published: "2023-08-30" accessed: "2026-11-03" - "n": 6 title: "Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile" publisher: NIST url: https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence published: "2024-07-26" accessed: "2026-11-03" --- # Der Transformer und der Attention-Mechanismus Der Transformer, eine Modellarchitektur, wurde erstmals in einem Forschungsaufsatz beschrieben, der am 12. Juni 2017 unter dem Titel „Attention Is All You Need“ eingereicht wurde [1]. Wer die Grundzüge dieser Architektur kennt, kann ihren Einsatz besser einordnen: Man weiß, was das Werkzeug mit einem Text tatsächlich macht, warum eine gut formulierte Antwort falsch sein kann und was man ihm besser nicht anvertraut. ## In 30 Sekunden - Wo es vorkommt: bei jeder Frage an einen KI-Assistenten, ob zum Zusammenfassen eines Dokuments, zum Schreiben einer E-Mail oder zum Übersetzen. - Was man wissen sollte: Das Modell sagt das wahrscheinlichste nächste Wort voraus [2]. Die Fiche leitet daraus einen Rat ab: Prüfen Sie, was es schreibt. - Die Grenzen: Bei einem langen Text nutzt es nicht alle Teile gleich zuverlässig [3]. - Der Reflex: Lesen Sie jede Antwort noch einmal durch und prüfen Sie sie, bevor Sie sie verwenden, und fügen Sie keine vertraulichen Daten in ein Werkzeug ein, das das Unternehmen nicht freigegeben hat. - Wenn es schon passiert ist: Informieren Sie Ihre Führungskraft oder das Sicherheitsteam, ohne auf eine erkennbare Folge zu warten. ## Direkte Fragen ### Woher kommt der Transformer? Der grundlegende Aufsatz wurde am 12. Juni 2017 eingereicht [1]. Seine Autoren schlagen darin eine Netzarchitektur vor, die sie beschreiben als „new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely“ [1]. Zuvor beruhten die vorherrschenden Modelle zur Verarbeitung von Wortfolgen auf sogenannten rekurrenten oder konvolutionalen Netzen [1]. Die berichteten Ergebnisse betrafen die maschinelle Übersetzung. Das Modell erreichte 28,4 BLEU bei der Aufgabe Englisch-Deutsch von WMT 2014 und 41,8 BLEU bei der Aufgabe Englisch-Französisch, nach 3,5 Tagen Training auf acht GPUs [1]. Die Autoren geben außerdem an, dass sich das Modell leichter parallelisieren lässt und deutlich weniger Trainingszeit benötigt [1]. ### Was ist Attention? Attention ist der Mechanismus, den die Autoren ins Zentrum der Architektur stellen: Die besten Modelle jener Zeit verbanden Encoder und Decoder bereits über einen Attention-Mechanismus, und der Transformer stützt sich allein auf dieses Prinzip [1]. Für Leserinnen und Leser ohne Fachwissen ist das hilfreiche Bild ein Lesen, bei dem jedes Wort mit den anderen Wörtern des Textes in Beziehung gesetzt wird, statt streng Wort für Wort zu lesen. Dieses Bild ist eine Vereinfachung: Die Fiche geht nicht auf die Berechnung ein, und die hier genutzten Quellen beschreiben sie nicht im Einzelnen. ### Versteht dieses Modell, was man ihm schreibt? Das britische National Cyber Security Centre (NCSC) äußert sich dazu in einem Beitrag vom 8. Dezember 2025. Bei einer Anweisung „doesn't understand the text it in the way a person does“: Es „is simply predicting the most likely next token from the text so far“ [2]. Eine flüssige Antwort ist also eine wahrscheinliche Wortfolge, kein Beleg für eine Überprüfung. ### Warum sind die Assistenten besser geworden? Ein Aufsatz von 2020 über GPT-3 stellt ein Sprachmodell mit 175 Milliarden Parametern vor, zehnmal mehr als jedes frühere nicht sparse Modell [4]. Seine Autoren zeigen, dass eine größere Modellgröße die Leistung bei neuen Aufgaben deutlich verbessert, die mit nur wenigen Beispielen gestellt werden [4]. Sie weisen auch auf Datensätze hin, bei denen das Modell weiterhin Schwierigkeiten hat [4]. ### Erinnert sich das Modell an die gesamte Unterhaltung? Nicht zuverlässig. Eine Studie von 2023, die an Fragen zu mehreren Dokumenten getestet wurde, stellt fest, dass die Leistung deutlich nachlassen kann, wenn die relevante Information an eine andere Stelle des vorgelegten Textes rückt [3]. Sie ist oft besser, wenn sich die Information am Anfang oder am Ende befindet, und lässt nach, wenn sie in der Mitte eines langen Kontexts steht, auch bei Modellen, die für lange Texte entwickelt wurden [3]. ### Darf man ihm sensible Daten anvertrauen? Nein, außer in einem vom Unternehmen freigegebenen Werkzeug. Das NCSC nennt unter den möglichen Folgen von Prompt Injection, dass das Modell „reveal confidential information“ [5]. Die Fiche beschreibt die Regeln der einzelnen Werkzeuge nicht: Sie hängen von der Richtlinie des Unternehmens ab, die die hier genutzten Quellen nicht beschreiben. ## Wie es funktioniert Ein Transformer erhält einen Text und erzeugt eine Textfolge. Das NCSC fasst das Prinzip nüchtern zusammen: Das Modell sagt das „next token“ voraus, also das nach dem bereits vorhandenen Text wahrscheinlichste nächste Element [2]. Nichts an dieser Funktionsweise trennt, was eine Anweisung wäre, von dem, was bloße Daten wären [2]. Daraus ergeben sich zwei praktische Folgen. - Der erzeugte Text ist wahrscheinlich, nicht geprüft. Ein Modell kann einen überzeugenden Absatz schreiben, ohne dass jemand eine einzige Tatsache überprüft hätte. - Innerhalb eines Prompts gibt es keine Sicherheitsgrenze zwischen Anweisungen und Daten [2]. Der Aufsatz von 2020 über GPT-3 hält zudem fest, dass menschliche Beurteiler Mühe hatten, vom Modell erzeugte Nachrichtenartikel von menschlich verfassten Artikeln zu unterscheiden [4]. Die Qualität der Form sagt also nichts über die Richtigkeit des Inhalts aus. ## Was Sie tun - Lesen Sie jede Antwort wie einen Entwurf von jemandem, der nichts überprüft hat: Zahlen, Namen, Verweise und Zitate prüfen Sie an der Quelle. - Die Leistung ist oft am höchsten, wenn die relevante Information am Anfang oder am Ende des vorgelegten Textes steht [3]. Die Fiche folgert daraus, das Wesentliche der Anfrage dort zu platzieren statt in der Mitte eines langen Dokuments. - Bei einem langen Austausch oder einem langen Dokument rät die Fiche, mit einer Zusammenfassung und einer präzisen Anfrage neu zu beginnen, statt anzunehmen, dass alles behalten wurde. - Fügen Sie keine personenbezogenen Daten, Geschäftsgeheimnisse, Passwörter oder Zugangsschlüssel ein. Das NCSC berichtet von einem Fall, in dem ein Sicherheitsforscher einen sensiblen API-Schlüssel aus einem System extrahierte, das für einen Angriff per Prompt Injection offen war [5]. - Wenn der Assistent Dokumente von außen liest (E-Mails, Lebensläufe, Webseiten), gehen Sie davon aus, dass deren Inhalt versteckte Anweisungen enthalten kann [2]. ## Die Fallstricke ### Glauben, das Modell denke logisch Eine Antwort, die Schritte darlegt, ähnelt einer Argumentation. Die hier genutzten Quellen beschreiben jedoch einen Mechanismus, der das nächste Wort vorhersagt [2], und das NCSC stellt klar, dass das Modell den Text nicht wie ein Mensch versteht [2]. ### Eine flüssige Antwort für eine richtige halten Ein gut formulierter Text kann falsch sein. Menschliche Beurteiler hatten Mühe, von GPT-3 erzeugte Nachrichtenartikel von menschlich verfassten Artikeln zu unterscheiden [4]. ### Prompt Injection Prompt Injection bedeutet, in einen Text eine Anweisung einzuschleusen, der das Modell folgt. Das NCSC definiert sie seinerseits als eine Eingabe, die so gestaltet ist, dass sich das Modell unerwartet verhält: Es erzeugt anstößige Inhalte, gibt vertrauliche Informationen preis oder löst unerwünschte Wirkungen in einem System aus, das die Ausgabe des Modells ungeprüft übernimmt [5]. Der NCSC-Beitrag vom Dezember 2025 nennt ein Beispiel aus der Personalauswahl. Ein Werkzeug bittet das Modell zu bewerten, ob ein Lebenslauf zu den Kriterien passt. Ein Bewerber versteckt darin einen Text, der verlangt, die vorherigen Anweisungen zu ignorieren und seinen Lebenslauf für ein Vorstellungsgespräch zu bestätigen: Seine „Daten“ werden dann als Anweisung ausgeführt [2]. Man spricht von indirekter Injection, wenn der Angreifer keinen direkten Zugang zum KI-System hat [2]. Neutralisierte Illustration der Art des versteckten Textes: ```text [Unsichtbarer Text, einem Lebenslauf hinzugefügt, paraphrasiert: fordert das Modell auf, seine ursprüngliche Aufgabe nicht zu beachten und diesen Bewerber zu empfehlen.] ``` Aktuelle Modelle erzwingen in einer Anfrage keine Sicherheitsgrenze zwischen Anweisungen und Daten [2]. Das NCSC hält es für möglich, dass Prompt Injection nie vollständig gelöst wird, so wie es bei der SQL-Injection gelang [2]. Es rät davon ab, sich auf eine Liste verbotener Formulierungen zu verlassen, denn es gibt unendlich viele Wege, einen Angriff umzuformulieren [2]. Es berichtet von einem Ansatz aus einer Diskussion zwischen Simon Willison und Baibhav Bista: Verarbeitet ein Modell Informationen eines Dritten, sinken seine Berechtigungen auf die dieses Dritten [2]. ## Reale Fälle ### MathGPT: ein API-Schlüssel extrahiert (NCSC-Beitrag, August 2023) Das NCSC beschreibt in einem Beitrag vom 30. August 2023 einen Angriff auf MathGPT, ein Modell, das Fragen in natürlicher Sprache in Rechencode umwandeln soll. Ein Sicherheitsforscher hatte festgestellt, dass das Modell den vom Nutzer eingegebenen Text als Code auswertete. Er nutzte dies, um auf das System zuzugreifen, das das Modell hostete, und einen sensiblen API-Schlüssel zu extrahieren, bevor er den Angriff offenlegte [5]. Der Beitrag nennt nicht das Datum des Angriffs selbst. ### Ein Risikoraster, das man kennen sollte Das NIST veröffentlichte am 26. Juli 2024 ein Profil zur generativen KI, eine Ergänzung zu seinem Rahmenwerk für das KI-Risikomanagement (AI RMF 1.0), das im Januar 2023 erschien und für die freiwillige Anwendung gedacht ist [6]. Es richtet sich an Organisationen, die diese Systeme entwickeln oder nutzen [6]. ## Quellen 1. arXiv, „Attention Is All You Need“, 12. Juni 2017. https://arxiv.org/abs/1706.03762 (abgerufen am 3. November 2026) 2. NCSC (Royaume-Uni), „Prompt injection is not SQL injection (it may be worse)“, 8. Dezember 2025. https://www.ncsc.gov.uk/blog-post/prompt-injection-is-not-sql-injection (abgerufen am 3. November 2026) 3. arXiv, „Lost in the Middle: How Language Models Use Long Contexts“, 6. Juli 2023. https://arxiv.org/abs/2307.03172 (abgerufen am 3. November 2026) 4. arXiv, „Language Models are Few-Shot Learners“, 28. Mai 2020. https://arxiv.org/abs/2005.14165 (abgerufen am 3. November 2026) 5. NCSC (Royaume-Uni), „Thinking about the security of AI systems“, 30. August 2023. https://www.ncsc.gov.uk/blog-post/thinking-about-security-ai-systems (abgerufen am 3. November 2026) 6. NIST, „Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile“, 26. Juli 2024. https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence (abgerufen am 3. November 2026) --- Originalquelle: Cyberpedia, die öffentliche Enzyklopädie zu Cybersicherheit und KI von Brain. Kanonische Version: https://startbrain.io/cyberpedia/de/articles/transformer-architektur-attention/ Sie dürfen diesen Text unter der Lizenz CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) frei weiterverwenden, sofern Sie „Brain, Cyberpedia“ mit einem Link auf die obige Adresse nennen.