Cyberpediapar Brain

Jailbreak d'IA : contourner les garde-fous

Un jailbreak pousse un modèle d'IA à ignorer ses règles de sécurité. Skeleton Key, Crescendo, consignes du web : ce que l'on sait, daté et sourcé.

Sur cette page
  1. 1En 30 secondes
  2. 2De quoi parle-t-on
  3. 3Questions directes
  4. 4Dans la peau de l'attaquant
  5. 5Ce que vous voyez à l'écran
  6. 6Sous le capot
  7. 7Autopsies
  8. 8Sources
  9. 9Citer cet article

En 30 secondes

Où ça arrive
Dans une conversation avec un modèle d'IA, par une consigne unique ou par une suite de questions qui s'enchaînent[1][2].
Ce que veut l'attaquant
Faire produire au modèle un contenu qu'il refuserait d'ordinaire, en réduisant l'écart entre ce que le modèle sait faire et ce qu'il accepte de faire[5].
Le réflexe
Si vous découvrez une vulnérabilité dans une plateforme d'IA, Microsoft encourage à suivre les pratiques de divulgation responsable auprès du propriétaire de la plateforme[2].
Si c'est déjà fait
Pour Skeleton Key, Microsoft indique que l'attaque vise le modèle lui-même et ne donne pas accès aux données d'un autre utilisateur[1].
Plan de l’article

De quoi parle-t-on

Un jailbreak, en IA générative, est une entrée malveillante d'utilisateur qui tente de contourner le comportement prévu d'un modèle. Microsoft[1] l'appelle aussi une attaque par injection de prompt directe. L'OWASP[6] précise que le jailbreak est une forme d'injection de prompt dans laquelle l'attaquant fournit des entrées qui poussent le modèle à ignorer entièrement ses protocoles de sécurité.

Microsoft présente Skeleton Key et Crescendo comme des recherches divulguées[1][2]. L'étude sur les consignes de jailbreak du web, elle, porte sur des consignes réellement diffusées en ligne[3].

Questions directes

Qu'est-ce qu'un jailbreak d'IA ?

C'est une entrée malveillante qui cherche à écarter le comportement prévu du modèle. Selon Microsoft[1], un jailbreak réussi peut contourner tout ou presque tout des garde-fous d'IA responsable intégrés au modèle par son éditeur lors de l'entraînement.

Un jailbreak, est-ce la même chose qu'une injection de prompt ?

Les deux termes sont souvent employés l'un pour l'autre, note l'OWASP[6]. L'injection de prompt consiste à manipuler les réponses d'un modèle par des entrées choisies, ce qui peut inclure le contournement de mesures de sécurité. Le jailbreak en est une forme[6].

Un jailbreak donne-t-il accès aux données des autres ?

Microsoft[1] écrit que Skeleton Key est une attaque contre le modèle lui-même : elle ne permet pas d'accéder aux données d'un autre utilisateur, de prendre le contrôle du système ni d'exfiltrer des données. Pour Crescendo, Microsoft[2] indique que ces attaques ne menaçaient directement ni la vie privée des autres utilisateurs ni la sécurité du système d'IA. Elles contournent le filtrage de contenu[2].

Peut-on empêcher complètement ce type d'attaque ?

L'OWASP[6] juge incertain qu'il existe des méthodes de prévention infaillibles contre l'injection de prompt. Le NCSC (Royaume-Uni)[7] estime qu'il est très possible que ces attaques ne soient jamais totalement réduites, parce que les modèles actuels n'imposent aucune frontière de sécurité entre instructions et données dans un prompt.

Dans la peau de l'attaquant

Un jailbreak vise à réduire l'écart entre ce que le modèle peut faire et ce qu'il accepte de faire[5]. L'attaquant a en général déjà un accès légitime au modèle : Microsoft[1] note que Skeleton Key suppose cet accès.

Les chercheurs décrivent plusieurs façons d'y parvenir.

  • Une consigne qui demande au modèle de compléter ses règles plutôt que de les changer. Skeleton Key lui demande de répondre à toute demande, avec un avertissement au lieu d'un refus[1].
  • Une conversation qui dérive pas à pas. Crescendo commence par une question générale, puis fait monter le ton en s'appuyant sur les réponses du modèle[5]. Microsoft[2] précise que cela peut généralement se faire en moins de 10 échanges.
  • Un texte déguisé. L'OWASP[6] cite des instructions écrites en plusieurs langues ou encodées, par exemple en Base64 ou avec des emojis, pour échapper aux filtres.

Les chercheurs Wei, Haghtalab et Steinhardt[4] avancent deux raisons pour lesquelles l'entraînement à la sécurité échoue. La première est la concurrence d'objectifs : les capacités du modèle et ses objectifs de sécurité entrent en conflit. La seconde est la généralisation inadaptée : l'entraînement à la sécurité ne s'étend pas à un domaine où le modèle a pourtant des capacités[4].

Ce que vous voyez à l'écran

Dans le cas de Skeleton Key, la demande consiste à faire ajouter un avertissement au modèle au lieu de refuser[1]. Illustration paraphrasée, sans consigne utilisable :

Extrait
Illustration (paraphrase, pas une consigne réelle) :
[L'utilisateur demande au modèle d'ajouter un avertissement
plutôt que de refuser.]

Quand l'attaque réussit, le modèle indique qu'il a mis à jour ses règles et qu'il se conformera ensuite aux demandes[1]. Les réponses portent alors l'avertissement demandé en préfixe[1].

Avec Crescendo, rien d'alarmant n'apparaît à l'écran. Chaque question prise seule n'est pas une menace, et le modèle ne voit rien d'inhabituel, puisque chaque étape s'appuie sur ce qu'il a lui-même produit à l'étape précédente[2]. Selon les chercheurs, Crescendo interagit avec le modèle de manière en apparence anodine[5].

Sous le capotÉquipes IT

Le NCSC (Royaume-Uni)[7] explique pourquoi la comparaison avec l'injection SQL est trompeuse. En SQL, on peut séparer données et instructions, par exemple avec des requêtes paramétrées. Dans un modèle de langage, il n'existe que le next token : il n'y a pas de distinction entre données et instructions[7].

Microsoft combine plusieurs couches de défense contre Skeleton Key et Crescendo.

  • Filtrage des entrées : Azure AI Content Safety détecte et bloque les entrées à l'intention malveillante[1].
  • Message système : des consignes qui précisent au modèle comment se comporter, y compris que toute tentative de miner les règles de sécurité doit être écartée[1].
  • Filtrage des sorties : un filtre qui repère et bloque les réponses qui violent les critères de sécurité[1].
  • Surveillance des abus : un système d'IA distinct, entraîné sur des exemples adverses, qui n'est pas influencé par les instructions malveillantes[1].
  • Filtre multi-tours : contre Crescendo, Microsoft[2] a adapté ses filtres pour examiner toute la conversation précédente. Transmettre ce contexte plus large à des détecteurs existants, sans les améliorer, a réduit nettement l'efficacité de Crescendo[2].

Côté conception, l'OWASP[6] indique que ces mesures peuvent atténuer l'impact : contraindre le comportement du modèle, valider les formats de sortie, limiter ses privilèges au minimum nécessaire, exiger une validation humaine pour les actions à haut risque et mener des tests adverses. Le NCSC (Royaume-Uni)[7] met en garde contre le blocage de formules connues comme ignore previous instructions : les façons de reformuler une attaque sont infinies. Il conseille aussi de se méfier des produits qui prétendent pouvoir stopper l'injection de prompt, et de regarder plutôt ceux qui expliquent comment ils la réduisent[7].

AutopsiesCas réels

Skeleton Key, divulguée par Microsoft le 26 juin 2024

Microsoft[1] a décrit une technique de jailbreak multi-étapes baptisée Skeleton Key, qui fait ignorer ses garde-fous au modèle. Les tests, menés d'avril à mai 2024, ont montré qu'elle fonctionnait sur Meta Llama3-70b-instruct, Google Gemini Pro, OpenAI GPT 3.5 Turbo, OpenAI GPT 4o, Mistral Large, Anthropic Claude 3 Opus et Cohere Commander R Plus[1]. Tous les modèles touchés ont répondu entièrement et sans censure aux tâches testées, avec l'avertissement demandé en préfixe[1].

GPT-4 a résisté, sauf quand la demande de changement de comportement figurait dans un message système défini par l'utilisateur. Cette opération passe par l'API ou des outils qui y accèdent directement, et n'est pas possible dans l'interface de la plupart des logiciels qui utilisent GPT-4[1]. Microsoft a partagé ses résultats avec les autres fournisseurs avant publication, a mis à jour la technologie derrière ses assistants Copilot et a ajouté la détection par Prompt Shields dans les modèles gérés d'Azure AI[1].

Crescendo, décrite par Microsoft en avril 2024

Le 11 avril 2024, Microsoft[2] a présenté Crescendo, un jailbreak en plusieurs tours qui, selon elle, peut atteindre un large éventail d'objectifs malveillants contre les modèles les plus connus. Il peut aussi contourner de nombreux filtres de contenu existants si on n'y remédie pas[2]. L'article de recherche, déposé sur arXiv le 2 avril 2024 par Russinovich, Salem et Eldan, teste notamment ChatGPT, Gemini Pro, Gemini-Ultra, LlaMA-2 70b, LlaMA-3 70b Chat et Anthropic Chat, avec des taux de réussite élevés sur tous les modèles et toutes les tâches évalués[5]. Il présente aussi Crescendomation, un outil qui automatise l'attaque[5]. Le travail est accepté à USENIX Security 2025[5]. Microsoft[2] a mis à jour la technologie derrière ses assistants Copilot pour en atténuer l'effet.

1 405 consignes de jailbreak relevées sur le web, 2022 et 2023

Shen, Chen, Backes, Shen et Zhang[3] ont analysé 1 405 consignes de jailbreak couvrant la période de décembre 2022 à décembre 2023. Ils y repèrent 131 communautés et observent que ces consignes migrent des communautés en ligne vers des sites d'agrégation. Selon l'étude, 28 comptes d'utilisateurs ont optimisé des consignes de façon continue pendant plus de 100 jours[3]. Sur six modèles populaires testés avec 107 250 questions réparties en 13 scénarios interdits, leurs protections ne résistent pas à toutes ces consignes dans tous les scénarios. Cinq consignes très efficaces atteignent 0,95 de taux de réussite sur ChatGPT (GPT-3.5) et GPT-4, et la plus ancienne reste en ligne depuis plus de 240 jours[3].

Sources

  1. Microsoft, « Mitigating Skeleton Key, a new type of generative AI jailbreak technique », 26 juin 2024. https://www.microsoft.com/en-us/security/blog/2024/06/26/mitigating-skeleton-key-a-new-type-of-generative-ai-jailbreak-technique/ (consulté le 14 novembre 2026)
  2. Microsoft, « How Microsoft discovers and mitigates evolving attacks against AI guardrails », 11 avril 2024. https://www.microsoft.com/en-us/security/blog/2024/04/11/how-microsoft-discovers-and-mitigates-evolving-attacks-against-ai-guardrails/ (consulté le 14 novembre 2026)
  3. arXiv, « "Do Anything Now": Characterizing and Evaluating In-The-Wild Jailbreak Prompts on Large Language Models », 7 août 2023. https://arxiv.org/abs/2308.03825 (consulté le 14 novembre 2026)
  4. arXiv, « Jailbroken: How Does LLM Safety Training Fail? », 5 juillet 2023. https://arxiv.org/abs/2307.02483 (consulté le 14 novembre 2026)
  5. arXiv, « Great, Now Write an Article About That: The Crescendo Multi-Turn LLM Jailbreak Attack », 2 avril 2024. https://arxiv.org/abs/2404.01833 (consulté le 14 novembre 2026)
  6. OWASP, « LLM01:2025 Prompt Injection », 10 avril 2024. https://genai.owasp.org/llmrisk/llm01-prompt-injection/ (consulté le 14 novembre 2026)
  7. NCSC (Royaume-Uni), « Prompt injection is not SQL injection (it may be worse) », 8 décembre 2025. https://www.ncsc.gov.uk/blog-post/prompt-injection-is-not-sql-injection (consulté le 14 novembre 2026)