KI-Jailbreak: Leitplanken umgehen
Ein Jailbreak bringt ein KI-Modell dazu, seine Sicherheitsregeln zu ignorieren. Skeleton Key, Crescendo, Web-Prompts: was bekannt ist, datiert, belegt.
Auf dieser Seite
In 30 Sekunden
- Wo es vorkommt
- In einem Gespräch mit einem KI-Modell, durch eine einzelne Anweisung oder durch eine Folge aufeinander aufbauender Fragen[1][2].
- Was der Angreifer will
- Das Modell dazu bringen, Inhalte zu erzeugen, die es sonst verweigern würde, indem er die Lücke zwischen dem, was das Modell kann, und dem, was es zu tun bereit ist, verkleinert[5].
- Der Reflex
- Wenn Sie eine Schwachstelle in einer KI-Plattform entdecken, empfiehlt Microsoft, die Verfahren der verantwortungsvollen Offenlegung gegenüber dem Eigentümer der Plattform zu befolgen[2].
- Wenn es schon passiert ist
- Bei Skeleton Key gibt Microsoft an, dass der Angriff das Modell selbst betrifft und keinen Zugriff auf die Daten eines anderen Benutzers gewährt[1].
Worum es geht
Ein Jailbreak ist in der generativen KI eine schädliche Benutzereingabe, die versucht, das vorgesehene Verhalten eines Modells zu umgehen. Microsoft[1] nennt ihn auch einen direkten Angriff durch Prompt-Injection. OWASP[6] stellt klar, dass der Jailbreak eine Form der Prompt-Injection ist, bei der der Angreifer Eingaben liefert, die das Modell dazu bringen, seine Sicherheitsprotokolle vollständig zu ignorieren.
Microsoft stellt Skeleton Key und Crescendo als offengelegte Forschungsergebnisse vor[1][2]. Die Studie zu Jailbreak-Anweisungen aus dem Web betrifft dagegen Anweisungen, die tatsächlich online verbreitet wurden[3].
Direkte Fragen
Was ist ein KI-Jailbreak?
Es ist eine schädliche Eingabe, die das vorgesehene Verhalten des Modells beiseiteschieben will. Laut Microsoft[1] kann ein erfolgreicher Jailbreak alle oder fast alle Leitplanken für verantwortungsvolle KI umgehen, die der Anbieter beim Training in das Modell eingebaut hat.
Ist ein Jailbreak dasselbe wie eine Prompt-Injection?
Beide Begriffe werden oft füreinander verwendet, vermerkt OWASP[6]. Bei der Prompt-Injection werden die Antworten eines Modells durch gezielt gewählte Eingaben manipuliert, was auch das Umgehen von Sicherheitsmaßnahmen einschließen kann. Der Jailbreak ist eine Form davon[6].
Gibt ein Jailbreak Zugriff auf die Daten anderer?
Microsoft[1] schreibt, dass Skeleton Key ein Angriff gegen das Modell selbst ist: Er ermöglicht weder den Zugriff auf die Daten eines anderen Benutzers noch die Übernahme des Systems noch das Exfiltrieren von Daten. Zu Crescendo gibt Microsoft[2] an, dass diese Angriffe weder die Privatsphäre anderer Benutzer noch die Sicherheit des KI-Systems unmittelbar bedrohten. Sie umgehen die Inhaltsfilterung[2].
Lässt sich diese Art von Angriff vollständig verhindern?
OWASP[6] hält es für ungewiss, ob es unfehlbare Methoden zur Vorbeugung gegen Prompt-Injection gibt. Das britische NCSC[7] hält es für sehr gut möglich, dass diese Angriffe nie vollständig verringert werden, weil heutige Modelle in einem Prompt keine Sicherheitsgrenze zwischen Anweisungen und Daten durchsetzen.
In der Haut des Angreifers
Ein Jailbreak zielt darauf, die Lücke zwischen dem, was das Modell kann, und dem, was es zu tun bereit ist, zu verkleinern[5]. Der Angreifer hat in der Regel bereits legitimen Zugang zum Modell: Microsoft[1] vermerkt, dass Skeleton Key diesen Zugang voraussetzt.
Die Forscher beschreiben mehrere Wege dorthin.
- Eine Anweisung, die das Modell auffordert, seine Regeln zu ergänzen, statt sie zu ändern. Skeleton Key fordert es auf, jede Anfrage zu beantworten, mit einem Warnhinweis statt einer Ablehnung[1].
- Ein Gespräch, das Schritt für Schritt abdriftet. Crescendo beginnt mit einer allgemeinen Frage und steigert dann den Ton, indem es sich auf die Antworten des Modells stützt[5]. Microsoft[2] präzisiert, dass dies in der Regel in weniger als 10 Gesprächsrunden möglich ist.
- Ein getarnter Text. OWASP[6] nennt Anweisungen, die in mehreren Sprachen oder codiert geschrieben sind, zum Beispiel in Base64 oder mit Emojis, um Filtern zu entgehen.
Die Forscher Wei, Haghtalab und Steinhardt[4] führen zwei Gründe an, warum das Sicherheitstraining scheitert. Der erste sind konkurrierende Ziele: Die Fähigkeiten des Modells und seine Sicherheitsziele geraten in Konflikt. Der zweite ist die unzureichende Generalisierung: Das Sicherheitstraining erstreckt sich nicht auf einen Bereich, in dem das Modell dennoch Fähigkeiten hat[4].
Was Sie auf dem Bildschirm sehen
Bei Skeleton Key besteht die Anfrage darin, das Modell einen Warnhinweis hinzufügen zu lassen, statt abzulehnen[1]. Paraphrasierte Veranschaulichung, ohne verwendbare Anweisung:
Veranschaulichung (Paraphrase, keine echte Anweisung):
[Der Benutzer bittet das Modell, einen Warnhinweis
hinzuzufügen, statt abzulehnen.]Wenn der Angriff gelingt, gibt das Modell an, dass es seine Regeln aktualisiert hat und den Anfragen danach nachkommen wird[1]. Die Antworten tragen dann den verlangten Warnhinweis als Präfix[1].
Bei Crescendo erscheint nichts Alarmierendes auf dem Bildschirm. Jede Frage für sich ist keine Bedrohung, und das Modell sieht nichts Ungewöhnliches, da jeder Schritt auf dem aufbaut, was es selbst im vorigen Schritt erzeugt hat[2]. Laut den Forschern interagiert Crescendo mit dem Modell auf scheinbar harmlose Weise[5].
Unter der HaubeIT-Teams
Das britische NCSC[7] erklärt, warum der Vergleich mit der SQL-Injection in die Irre führt. In SQL lassen sich Daten und Anweisungen trennen, zum Beispiel mit parametrisierten Abfragen. In einem Sprachmodell gibt es nur das next token: Es gibt keine Unterscheidung zwischen Daten und Anweisungen[7].
Microsoft kombiniert mehrere Verteidigungsschichten gegen Skeleton Key und Crescendo.
- Eingabefilterung: Azure AI Content Safety erkennt und blockiert Eingaben mit bösartiger Absicht[1].
- Systemnachricht: Anweisungen, die dem Modell vorgeben, wie es sich verhalten soll, darunter dass jeder Versuch, die Sicherheitsregeln zu untergraben, abzuweisen ist[1].
- Ausgabefilterung: ein Filter, der Antworten erkennt und blockiert, die die Sicherheitskriterien verletzen[1].
- Missbrauchsüberwachung: ein eigenes KI-System, das mit gegnerischen Beispielen trainiert wurde und von bösartigen Anweisungen nicht beeinflusst wird[1].
- Mehrrunden-Filter: Gegen Crescendo hat Microsoft[2] seine Filter so angepasst, dass sie die gesamte vorherige Unterhaltung prüfen. Diesen weiteren Kontext an bestehende Detektoren weiterzugeben, ohne sie zu verbessern, hat die Wirksamkeit von Crescendo deutlich verringert[2].
Auf der Gestaltungsseite gibt OWASP[6] an, dass diese Maßnahmen die Auswirkungen abmildern können: das Verhalten des Modells eingrenzen, Ausgabeformate validieren, seine Rechte auf das nötige Minimum beschränken, für Aktionen mit hohem Risiko eine menschliche Freigabe verlangen und gegnerische Tests durchführen. Das britische NCSC[7] warnt davor, bekannte Formeln wie ignore previous instructions zu blockieren: Es gibt unendlich viele Wege, einen Angriff umzuformulieren. Es rät außerdem, Produkten zu misstrauen, die behaupten, Prompt-Injection stoppen zu können, und stattdessen auf solche zu schauen, die erklären, wie sie diese verringern[7].
FallanalysenReale Fälle
Skeleton Key, von Microsoft am 26. Juni 2024 offengelegt
Microsoft[1] hat eine mehrstufige Jailbreak-Technik namens Skeleton Key beschrieben, die das Modell dazu bringt, seine Leitplanken zu ignorieren. Die Tests, die von April bis Mai 2024 durchgeführt wurden, zeigten, dass sie bei Meta Llama3-70b-instruct, Google Gemini Pro, OpenAI GPT 3.5 Turbo, OpenAI GPT 4o, Mistral Large, Anthropic Claude 3 Opus und Cohere Commander R Plus funktionierte[1]. Alle betroffenen Modelle haben die getesteten Aufgaben vollständig und unzensiert beantwortet, mit dem verlangten Warnhinweis als Präfix[1].
GPT-4 hat widerstanden, außer wenn die Aufforderung zur Verhaltensänderung in einer vom Benutzer definierten Systemnachricht stand. Dieser Vorgang läuft über die API oder über Werkzeuge, die direkt darauf zugreifen, und ist in der Oberfläche der meisten Programme, die GPT-4 nutzen, nicht möglich[1]. Microsoft hat seine Ergebnisse vor der Veröffentlichung mit den anderen Anbietern geteilt, die Technik hinter seinen Copilot-Assistenten aktualisiert und die Erkennung durch Prompt Shields in die verwalteten Modelle von Azure AI aufgenommen[1].
Crescendo, von Microsoft im April 2024 beschrieben
Am 11. April 2024 hat Microsoft[2] Crescendo vorgestellt, einen Jailbreak über mehrere Runden, der nach Angaben von Microsoft ein breites Spektrum bösartiger Ziele gegen die bekanntesten Modelle erreichen kann. Er kann auch viele bestehende Inhaltsfilter umgehen, wenn man nicht gegensteuert[2]. Der Forschungsartikel, am 2. April 2024 von Russinovich, Salem und Eldan auf arXiv eingereicht, testet unter anderem ChatGPT, Gemini Pro, Gemini-Ultra, LlaMA-2 70b, LlaMA-3 70b Chat und Anthropic Chat, mit hohen Erfolgsquoten bei allen bewerteten Modellen und Aufgaben[5]. Er stellt auch Crescendomation vor, ein Werkzeug, das den Angriff automatisiert[5]. Die Arbeit ist bei USENIX Security 2025 angenommen[5]. Microsoft[2] hat die Technik hinter seinen Copilot-Assistenten aktualisiert, um die Wirkung abzumildern.
1.405 Jailbreak-Anweisungen aus dem Web, 2022 und 2023
Shen, Chen, Backes, Shen und Zhang[3] haben 1.405 Jailbreak-Anweisungen aus dem Zeitraum von Dezember 2022 bis Dezember 2023 analysiert. Sie machen darin 131 Gemeinschaften aus und beobachten, dass diese Anweisungen von Online-Gemeinschaften auf Aggregationsseiten wandern. Laut der Studie haben 28 Benutzerkonten Anweisungen über mehr als 100 Tage fortlaufend optimiert[3]. Bei sechs beliebten Modellen, die mit 107.250 Fragen in 13 verbotenen Szenarien getestet wurden, halten ihre Schutzmechanismen nicht allen diesen Anweisungen in allen Szenarien stand. Fünf sehr wirksame Anweisungen erreichen auf ChatGPT (GPT-3.5) und GPT-4 eine Erfolgsquote von 0,95, und die älteste ist seit mehr als 240 Tagen online[3].
Quellen
- Microsoft, „Mitigating Skeleton Key, a new type of generative AI jailbreak technique“, 26. Juni 2024. https://www.microsoft.com/en-us/security/blog/2024/06/26/mitigating-skeleton-key-a-new-type-of-generative-ai-jailbreak-technique/ (abgerufen am 14. November 2026)
- Microsoft, „How Microsoft discovers and mitigates evolving attacks against AI guardrails“, 11. April 2024. https://www.microsoft.com/en-us/security/blog/2024/04/11/how-microsoft-discovers-and-mitigates-evolving-attacks-against-ai-guardrails/ (abgerufen am 14. November 2026)
- arXiv, „"Do Anything Now": Characterizing and Evaluating In-The-Wild Jailbreak Prompts on Large Language Models“, 7. August 2023. https://arxiv.org/abs/2308.03825 (abgerufen am 14. November 2026)
- arXiv, „Jailbroken: How Does LLM Safety Training Fail?“, 5. Juli 2023. https://arxiv.org/abs/2307.02483 (abgerufen am 14. November 2026)
- arXiv, „Great, Now Write an Article About That: The Crescendo Multi-Turn LLM Jailbreak Attack“, 2. April 2024. https://arxiv.org/abs/2404.01833 (abgerufen am 14. November 2026)
- OWASP, „LLM01:2025 Prompt Injection“, 10. April 2024. https://genai.owasp.org/llmrisk/llm01-prompt-injection/ (abgerufen am 14. November 2026)
- NCSC (Royaume-Uni), „Prompt injection is not SQL injection (it may be worse)“, 8. Dezember 2025. https://www.ncsc.gov.uk/blog-post/prompt-injection-is-not-sql-injection (abgerufen am 14. November 2026)
Diesen Artikel zitieren
Brain, „KI-Jailbreak: Leitplanken umgehen“, Cyberpedia, 2026. https:/
BibTeX
@misc{brain_cp283_de_2026,
author = {Brain},
title = {KI-Jailbreak: Leitplanken umgehen},
year = {2026},
howpublished = {Cyberpedia},
url = {https://startbrain.io/cyberpedia/de/articles/jailbreak-llm-schutzmassnahmen-umgehen/},
note = {CC BY 4.0}
}