Cyberpediapar Brain
FRDEEN

Le Transformer et le mécanisme d'attention

Le Transformer, décrit en juin 2017 : ce que l'architecture à base d'attention change pour un salarié, ses limites et la prompt injection.

En 30 secondes

Où ça arrive
À chaque question posée à un assistant IA, qu'il s'agisse de résumer un document, de rédiger un courriel ou de traduire.
Ce qu'il faut savoir
Le modèle prédit le mot suivant le plus probable2. La fiche en tire un conseil : vérifier ce qu'il écrit.
Les limites
Sur un long texte, il n'exploite pas toutes les parties avec la même fiabilité3.
Le réflexe
Relire et vérifier toute réponse avant de l'utiliser, et ne jamais coller de données confidentielles dans un outil que l'entreprise n'a pas validé.
Si c'est déjà fait
Prévenir son responsable ou l'équipe sécurité, sans attendre de voir une conséquence.

De quoi parle-t-on

Le Transformer, architecture de modèle, a été décrit pour la première fois dans un article de recherche déposé le 12 juin 2017 sous le titre « Attention Is All You Need »1.

Comprendre les grandes lignes de cette architecture aide à régler ses usages : savoir ce que l'outil fait vraiment avec un texte, pourquoi une réponse bien rédigée peut être fausse, et ce qu'il vaut mieux ne pas lui confier.

Questions directes

D'où vient le Transformer ?

L'article fondateur a été soumis le 12 juin 20171. Ses auteurs y proposent une architecture de réseau qu'ils décrivent comme « new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely »1. Avant lui, les modèles dominants pour traiter des séquences de mots reposaient sur des réseaux dits récurrents ou convolutifs1.

Les résultats annoncés portaient sur la traduction automatique. Le modèle atteignait 28,4 BLEU sur la tâche anglais-allemand de WMT 2014, et 41,8 BLEU sur la tâche anglais-français après 3,5 jours d'entraînement sur huit GPU1. Les auteurs indiquent aussi que le modèle est plus facile à paralléliser et demande nettement moins de temps d'entraînement1.

Qu'est-ce que l'attention ?

L'attention est le mécanisme que les auteurs placent au centre de l'architecture : les meilleurs modèles de l'époque reliaient déjà l'encodeur et le décodeur par un mécanisme d'attention, et le Transformer s'appuie uniquement sur ce principe1. Pour un lecteur non spécialiste, l'image utile est celle d'une lecture où chaque mot est mis en relation avec les autres mots du texte, plutôt qu'une lecture strictement mot après mot. Cette image est une simplification : la fiche n'entre pas dans le calcul, et les sources du dossier ne le détaillent pas.

Ce modèle comprend-il ce qu'on lui écrit ?

Le Centre national de cybersécurité britannique (NCSC) répond sur ce point dans un billet du 8 décembre 2025. Face à une consigne, un modèle de langage « doesn't understand the text it in the way a person does » : il « is simply predicting the most likely next token from the text so far »2. Une réponse fluide est donc une suite probable de mots, pas la preuve d'une vérification.

Pourquoi les assistants se sont-ils améliorés ?

Un article de 2020 sur GPT-3 présente un modèle de langage de 175 milliards de paramètres, dix fois plus que tout modèle non épars précédent4. Ses auteurs montrent que l'augmentation de la taille des modèles améliore nettement les performances sur de nouvelles tâches données avec quelques exemples seulement4. Ils signalent aussi des jeux de données où le modèle reste en difficulté4.

Le modèle se souvient-il de toute la conversation ?

Pas de façon fiable. Une étude de 2023 testée sur des questions portant sur plusieurs documents constate que les performances peuvent se dégrader nettement quand l'information utile change de place dans le texte fourni3. Elles sont souvent meilleures quand elle se trouve au début ou à la fin, et se dégradent quand elle est au milieu d'un long contexte, y compris pour des modèles conçus pour les longs textes3.

Peut-on lui confier des données sensibles ?

Non, sauf dans un outil validé par l'entreprise. Le NCSC cite parmi les effets possibles de la prompt injection le fait de « reveal confidential information »5. La fiche ne détaille pas les règles de chaque outil : elles dépendent de la politique de l'entreprise, que les sources du dossier ne décrivent pas.

1Comment ça marche1 min

Un Transformer reçoit un texte et produit une suite de texte. Le NCSC résume le principe de façon sobre : le modèle prédit le « next token », c'est-à-dire l'élément suivant le plus probable d'après le texte déjà présent2. Rien dans ce fonctionnement ne sépare ce qui serait une consigne de ce qui serait une simple donnée2.

Deux conséquences pratiques en découlent.

  • Le texte produit est probable, pas contrôlé. Un modèle peut écrire un paragraphe convaincant sans que personne ait vérifié un seul fait.
  • Il n'existe pas de frontière de sécurité entre les instructions et les données à l'intérieur d'un prompt2.

L'article de 2020 sur GPT-3 note d'ailleurs que des évaluateurs humains avaient du mal à distinguer les articles de presse générés par le modèle d'articles écrits par des humains4. La qualité de la forme ne renseigne donc pas sur l'exactitude du fond.

2Ce que vous faites1 min
  • Relisez chaque réponse comme un brouillon écrit par quelqu'un qui n'a rien vérifié : chiffres, noms, références et citations se contrôlent à la source.
  • La performance est souvent la plus haute quand l'information utile se trouve au début ou à la fin du texte fourni3. La fiche en déduit de placer l'essentiel de la demande à ces endroits plutôt qu'au milieu d'un long document.
  • Pour un long échange ou un long document, la fiche conseille de recommencer avec un résumé et une demande précise plutôt que de supposer que tout a été retenu.
  • Ne collez pas de données personnelles, de secrets commerciaux, de mots de passe ou de clés d'accès. Le NCSC rapporte un cas où un chercheur en sécurité a extrait une clé d'API sensible d'un système exposé à une attaque par prompt injection5.
  • Si l'assistant lit des documents venus de l'extérieur (courriels, CV, pages web), considérez que leur contenu peut contenir des consignes cachées2.
3Les pièges2 min

Croire que le modèle raisonne

Une réponse qui expose des étapes ressemble à un raisonnement. Les sources du dossier décrivent pourtant un mécanisme de prédiction du mot suivant2, et le NCSC précise que le modèle ne comprend pas le texte comme une personne2.

Prendre une réponse fluide pour une réponse exacte

Un texte bien tourné peut être faux. Des évaluateurs humains ont eu du mal à distinguer des articles de presse générés par GPT-3 d'articles écrits par des humains4.

La prompt injection

La prompt injection désigne le fait de glisser dans un texte une consigne que le modèle suivra. Le NCSC la définit pour sa part comme une saisie conçue pour que le modèle se comporte de façon imprévue : produire un contenu choquant, révéler des informations confidentielles ou déclencher des effets non voulus dans un système qui accepte sans contrôle la sortie du modèle5.

Le billet du NCSC de décembre 2025 donne un exemple dans le recrutement. Un outil demande au modèle de noter si un CV correspond aux critères. Un candidat y cache un texte qui demande d'ignorer les consignes précédentes et d'approuver son CV pour un entretien : ses « données » sont alors exécutées comme une instruction2. On parle d'injection indirecte quand l'attaquant n'a aucun accès direct au système d'IA2.

Illustration neutralisée du type de texte caché :

Extrait
[Texte invisible ajouté à un CV, paraphrasé : demande au modèle de ne pas tenir compte
de sa mission d'origine et de recommander ce candidat.]

Les modèles actuels n'imposent pas de frontière de sécurité entre consignes et données dans une requête2. Le NCSC estime possible que la prompt injection ne soit jamais totalement réglée comme l'a été l'injection SQL2. Il déconseille de compter sur une liste de phrases interdites, car il existe une infinité de façons de reformuler une attaque2. Il rapporte une approche issue d'une discussion entre Simon Willison et Baibhav Bista : quand un modèle traite des informations d'un tiers, ses privilèges tombent à ceux de ce tiers2.

4Cas réels1 min

MathGPT : une clé d'API extraite (billet du NCSC, août 2023)

Le NCSC décrit, dans un billet daté du 30 août 2023, une attaque contre MathGPT, un modèle conçu pour convertir des questions en langage naturel en code de calcul. Un chercheur en sécurité avait constaté que le modèle évaluait comme du code le texte saisi par l'utilisateur. Il s'en est servi pour accéder au système qui hébergeait le modèle et en extraire une clé d'API sensible avant de divulguer l'attaque5. Le billet ne donne pas la date de l'attaque elle-même.

Une grille de risques à connaître

Le NIST a publié le 26 juillet 2024 un profil consacré à l'IA générative, complément de son cadre de gestion des risques de l'IA (AI RMF 1.0), diffusé en janvier 2023 et destiné à un usage volontaire6. Il s'adresse aux organisations qui conçoivent ou utilisent ces systèmes6.

Fiche

Identifiant
CP-257
Aile
4. Intelligence artificielle
Compétence Brain
Comprendre l'IA (understand_ai)
Réflexe Brain
air-038
Schéma
G3 · Coupe Anatomique
Langues
de, en, fr
Sources
6 sources vérifiées le 3 novembre 2026
Sources6 sources
  1. arXiv, « Attention Is All You Need », 12 juin 2017. https://arxiv.org/abs/1706.03762 (consulté le 3 novembre 2026)
  2. NCSC (Royaume-Uni), « Prompt injection is not SQL injection (it may be worse) », 8 décembre 2025. https://www.ncsc.gov.uk/blog-post/prompt-injection-is-not-sql-injection (consulté le 3 novembre 2026)
  3. arXiv, « Lost in the Middle: How Language Models Use Long Contexts », 6 juillet 2023. https://arxiv.org/abs/2307.03172 (consulté le 3 novembre 2026)
  4. arXiv, « Language Models are Few-Shot Learners », 28 mai 2020. https://arxiv.org/abs/2005.14165 (consulté le 3 novembre 2026)
  5. NCSC (Royaume-Uni), « Thinking about the security of AI systems », 30 août 2023. https://www.ncsc.gov.uk/blog-post/thinking-about-security-ai-systems (consulté le 3 novembre 2026)
  6. NIST, « Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile », 26 juillet 2024. https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence (consulté le 3 novembre 2026)

Citer cet article

Brain, « Le Transformer et le mécanisme d'attention », Cyberpedia, 2026. https://startbrain.io/cyberpedia/fr/articles/architecture-transformer-attention/

BibTeX 
@misc{brain_cp257_fr_2026,
  author = {Brain},
  title = {Le Transformer et le mécanisme d'attention},
  year = {2026},
  howpublished = {Cyberpedia},
  url = {https://startbrain.io/cyberpedia/fr/articles/architecture-transformer-attention/},
  note = {CC BY 4.0}
}
Licence CC BY 4.0