Direkte Prompt-Injection

Die Forscher Fábio Perez und Ian Ribeiro zeigten 2022, dass wenig versierte, aber böswillige Personen GPT-3 mit einfachen, von Hand geschriebenen Texten umlenken können³. Sie beschreiben zwei Ziele: das Ziel des Modells umlenken (Goal Hijacking) und es dazu bringen, seinen Prompt preiszugeben (Prompt Leaking)³.

Ein zweites Ziel ist die zweckentfremdete Nutzung. Ein Forschungsteam beschrieb 2023 Ergebnisse wie die unbegrenzte und beliebige Nutzung des Modells hinter einer Anwendung sowie den mühelosen Diebstahl des Prompts der Anwendung⁴.

Ein Jailbreak funktioniert anders. Die Autoren der Studie „Jailbroken“ nennen zwei Ursachen dafür, dass das Sicherheitstraining versagt: konkurrierende Ziele (die Fähigkeiten des Modells stehen im Konflikt mit seinen Sicherheitsregeln) und unpassende Generalisierung (die Sicherheit deckt einen Bereich nicht ab, in dem das Modell dennoch Fähigkeiten hat)⁵.

OWASP nennt außerdem Varianten. Der Angreifer kann seiner Nachricht eine scheinbar sinnlose Zeichenfolge anhängen oder mehrere Sprachen oder eine Kodierung wie Base64 nutzen, um Filter zu umgehen¹.

Aus Sicht der Nutzer oder des Unternehmens erkennt man einen gelungenen Angriff an seinen Folgen. OWASP listet die möglichen Konsequenzen auf: Offenlegung sensibler Informationen, Preisgabe von Informationen über die Infrastruktur oder über die System-Prompts, verfälschte oder einseitige Inhalte, unbefugter Zugriff auf Funktionen des Modells, Ausführung von Befehlen in angebundenen Systemen¹.

In der Praxis sollte ein Assistent Sie alarmieren, der am Thema vorbei antwortet, seine eigenen Vorgaben aufsagt oder Inhalte erzeugt, die das Unternehmen nie freigegeben hätte. OWASP nennt ein typisches Szenario: Ein Angreifer bittet einen Support-Chatbot, seine Vorgaben zu ignorieren, private Daten abzufragen und E-Mails zu versenden¹.

Hier eine Illustration einer solchen Nachricht, entschärft und umschrieben:

Illustration (umschriebene Nachricht, nicht funktionsfähig):
[Anweisung, die den Chatbot auffordert, die vom Anbieter erhaltenen Regeln zu ignorieren
und anschließend seine internen Anweisungen vollständig abzuschreiben]

Für ein Sprachmodell gibt es weder „Daten“ noch „Anweisungen“, sondern nur das nächste Token (next token): Das Modell sagt anhand des bisher erhaltenen Textes das wahrscheinlichste Token voraus². Die Anweisungen des Anbieters und der vom Nutzer eingegebene Satz stehen also im selben Text, ohne eine Trennung, die das Modell beachtet².

Dieser Punkt unterscheidet die Prompt-Injection von der SQL-Injection. Bei SQL stellen parametrisierte Abfragen sicher, dass die Datenbank eine Eingabe nie als Anweisung auslegt². Das NCSC schreibt, Angriffe per Prompt-Injection ließen sich womöglich nie so vollständig eindämmen wie SQL-Injections². Die laufenden Ansätze (Versuche erkennen, das Modell darauf trainieren, Anweisungen zu bevorzugen, dem Modell kenntlich machen, was Daten sind) legen eine Unterscheidung über das Modell, die die Technik selbst nicht kennt².

Das NIST veröffentlichte im März 2025 eine Taxonomie des adversarialen maschinellen Lernens⁶.

Ein Hinweis betrifft Filter für verbotene Wörter. Das NCSC warnt davor, bekannte Sätze wie „ignore previous instructions“ zu blockieren: Es gibt unendlich viele Umformulierungen, die diesen Filter umgehen².

Vorbeugung

Die hier genannten einfachen Maßnahmen stammen von OWASP und vom NCSC.

• Minimale Rechte: dem Modell nur den nötigen Mindestzugriff geben und erweiterte Funktionen im Code der Anwendung verwalten, statt sie dem Modell zu überlassen¹.
• Freigabe durch Menschen: für Vorgänge mit erweiterten Rechten die Zustimmung einer Person verlangen¹.
• Filterung der Ausgaben: sensible Kategorien festlegen, nicht zulässige Inhalte mit semantischen Filtern und Zeichenkettenprüfungen erkennen und das Format der Antworten mit deterministischem Code prüfen¹.
• Rollenvorgabe: im System-Prompt die Rolle und die Grenzen des Modells beschreiben¹. Diese Maßnahme hilft, reicht aber nicht aus: OWASP stellt alle diese Maßnahmen als Mittel dar, die Auswirkungen abzuschwächen¹.
• Tests: regelmäßig Penetrationstests und Simulationen durchführen und das Modell dabei wie einen nicht vertrauenswürdigen Nutzer behandeln¹.
• Überwachung: genug Informationen protokollieren, um verdächtige Aktivität zu erkennen, darunter fehlgeschlagene Aufrufe von Werkzeugen und APIs, die die ersten Schritte eines Angriffs verraten können².

Das NCSC ergänzt, die Sicherheit eines Systems müsse auf deterministischen Schutzvorkehrungen beruhen, die seine Aktionen begrenzen, und nicht allein auf der Hoffnung, schädliche Inhalte vom Modell fernzuhalten². Ist das Restrisiko untragbar, eignet sich der Anwendungsfall womöglich nicht für ein Sprachmodell².

November 2022: GPT-3 durch einfache Texte umgelenkt

Am 17. November 2022 veröffentlichen Fábio Perez und Ian Ribeiro PromptInject, ein Analyserahmen für diese Angriffe. Sie untersuchen GPT-3, das sie als das im Produktivbetrieb am weitesten verbreitete Sprachmodell beschreiben, und zeigen, dass es sich durch von Hand geschriebene Eingaben leicht aus der Ausrichtung bringen lässt³. Die beiden untersuchten Angriffe sind das Umlenken des Ziels und das Abfließen des Prompts³.

Juni 2023: 31 von 36 Anwendungen verwundbar

Am 8. Juni 2023 veröffentlicht ein Team aus zwölf Forschenden eine Studie zu realen Anwendungen, die ein Sprachmodell nutzen. Nach der Analyse von zehn kommerziellen Anwendungen entwickelt es eine Angriffstechnik namens HouYi und wendet sie auf 36 Anwendungen an: 31 erweisen sich als anfällig für Prompt-Injection⁴. Zehn Anbieter bestätigten die Ergebnisse, darunter Notion⁴.

Juli 2023: Schutzmaßnahmen, die nachgeben

Am 5. Juli 2023 bewerten Alexander Wei, Nika Haghtalab und Jacob Steinhardt GPT-4 von OpenAI und Claude v1.3 von Anthropic. Ihre neuen Angriffe gelingen bei jeder Anfrage einer Sammlung gefährlicher Anfragen, die aus den Red-Teaming-Testsätzen der Modelle stammt⁵. Die Autoren kommen zu dem Schluss, dass die Schwachstellen trotz der Anstrengungen bei Red Teaming und Sicherheitstraining bestehen bleiben⁵.