Prompt injection directe

Les chercheurs Fábio Perez et Ian Ribeiro ont montré en 2022 que des personnes peu qualifiées, mais mal intentionnées, peuvent détourner GPT-3 avec de simples textes écrits à la main³. Ils décrivent deux objectifs : détourner le but du modèle (goal hijacking) et lui faire divulguer son prompt (prompt leaking)³.

Un second type d'objectif est l'usage détourné. Une équipe de chercheurs a décrit en 2023 des résultats comme l'usage illimité et arbitraire du modèle derrière une application, et le vol facile du prompt de l'application⁴.

Le jailbreak procède autrement. Les auteurs de l'étude « Jailbroken » avancent deux causes d'échec de l'entraînement à la sécurité : des objectifs concurrents (les capacités du modèle entrent en conflit avec ses règles de sécurité) et une généralisation inadaptée (la sécurité ne couvre pas un domaine où le modèle a pourtant des capacités)⁵.

L'OWASP cite aussi des variantes. L'attaquant peut ajouter à son message une suite de caractères en apparence sans sens, ou utiliser plusieurs langues ou un encodage comme Base64 pour échapper aux filtres¹.

Du côté de l'utilisateur ou de l'entreprise, l'attaque réussie se repère à ses effets. L'OWASP liste les conséquences possibles : divulgation d'informations sensibles, révélation d'informations sur l'infrastructure ou sur les prompts système, contenus faussés ou biaisés, accès non autorisé aux fonctions du modèle, exécution de commandes dans des systèmes connectés¹.

Concrètement, un assistant qui répond hors de son sujet, qui récite ses propres consignes ou qui produit un contenu que l'entreprise n'aurait jamais validé doit alerter. L'OWASP donne un scénario type : un attaquant demande à un chatbot de support d'ignorer ses consignes, d'interroger des données privées et d'envoyer des courriels¹.

Voici une illustration de ce type de message, neutralisée et paraphrasée :

Illustration (message paraphrasé, non fonctionnel) :
[consigne demandant au chatbot d'ignorer les règles reçues de l'éditeur,
puis de recopier intégralement ses instructions internes]

Pour un modèle de langage, il n'y a ni « données » ni « instructions », seulement le jeton suivant (next token) : le modèle prédit le jeton le plus probable d'après le texte reçu jusque-là². Les instructions de l'éditeur et la phrase saisie par l'utilisateur se retrouvent donc dans le même texte, sans séparation que le modèle respecte².

Ce point distingue la prompt injection de l'injection SQL. En SQL, les requêtes paramétrées garantissent que le moteur n'interprète jamais une saisie comme une instruction². Le NCSC écrit que les attaques par prompt injection pourraient ne jamais être totalement atténuées comme le sont les injections SQL². Les pistes en cours (détecter les tentatives, entraîner le modèle à privilégier les instructions, signaler au modèle ce qui est donnée) superposent une distinction que la technologie ne fait pas².

Le NIST a publié en mars 2025 une taxonomie de l'apprentissage automatique adversarial⁶.

Un point de vigilance concerne les filtres de mots interdits. Le NCSC met en garde contre le blocage de phrases connues comme « ignore previous instructions » : il existe une infinité de reformulations qui contournent ce filtre².

Prévention

Les mesures simples retenues ici viennent de l'OWASP et du NCSC.

• Moindre privilège : donner au modèle l'accès minimal nécessaire, et gérer les fonctions étendues dans le code de l'application plutôt que de les confier au modèle¹.
• Validation humaine : exiger l'accord d'une personne pour les opérations à privilèges¹.
• Filtrage des sorties : définir des catégories sensibles, repérer les contenus non autorisés par des filtres sémantiques et des contrôles de chaînes, et valider le format des réponses par du code déterministe¹.
• Cadrage du rôle : décrire dans le prompt système le rôle et les limites du modèle¹. Cette mesure aide, mais ne suffit pas : l'OWASP présente toutes ces mesures comme des moyens d'atténuer l'impact¹.
• Tests : mener des tests d'intrusion et des simulations réguliers en traitant le modèle comme un utilisateur non fiable¹.
• Surveillance : journaliser assez d'informations pour repérer une activité suspecte, y compris les appels d'outils et d'API en échec, qui peuvent trahir les premières étapes d'une attaque².

Le NCSC ajoute que la sécurité d'un système doit reposer sur des garde-fous déterministes qui limitent ses actions, plutôt que sur le seul espoir d'empêcher un contenu malveillant d'atteindre le modèle². Si le risque résiduel est intolérable, le cas d'usage ne convient peut-être pas à un modèle de langage².

Novembre 2022 : GPT-3 détourné par de simples textes

Le 17 novembre 2022, Fábio Perez et Ian Ribeiro publient PromptInject, un cadre d'analyse de ces attaques. Ils étudient GPT-3, qu'ils décrivent comme le modèle de langage le plus déployé en production, et montrent qu'il peut être désaligné facilement par des entrées écrites à la main³. Les deux attaques étudiées sont le détournement d'objectif et la fuite du prompt³.

Juin 2023 : 31 applications sur 36 vulnérables

Le 8 juin 2023, une équipe de douze chercheurs publie une étude sur des applications réelles utilisant un modèle de langage. Après une analyse de dix applications commerciales, elle met au point une technique d'attaque nommée HouYi et l'applique à 36 applications : 31 se révèlent sensibles à la prompt injection⁴. Dix éditeurs ont validé les résultats, dont Notion⁴.

Juillet 2023 : des protections qui cèdent

Le 5 juillet 2023, Alexander Wei, Nika Haghtalab et Jacob Steinhardt évaluent GPT-4 d'OpenAI et Claude v1.3 d'Anthropic. Leurs nouvelles attaques réussissent sur chaque requête d'une collection de demandes dangereuses tirée des jeux d'évaluation de red teaming des modèles⁵. Les auteurs concluent que les vulnérabilités persistent malgré les efforts de red teaming et d'entraînement à la sécurité⁵.