Cyberpediapar Brain
FRDEEN

Comment un modèle d'IA est entraîné et aligné

Pré-entraînement, fine-tuning, RLHF et DPO : les étapes de fabrication d'un assistant IA et ce qu'elles changent pour vos usages au travail.

En 30 secondes

Où ça arrive
Chaque fois qu'on interroge un assistant IA, qu'il soit public ou fourni par l'entreprise.
Ce qui menace ces systèmes
Le rapport du NIST recense notamment l'empoisonnement de données, l'évasion et l'abus8.
Le réflexe
Relire et vérifier toute réponse avant de s'en servir, et ne pas coller de données sensibles dans un outil sans l'accord de l'entreprise.
Si c'est déjà fait
Prévenir le service sécurité ou le référent IA, en indiquant l'outil utilisé et la nature des données saisies.

De quoi parle-t-on

Un assistant IA ne sort pas tout fait d'un seul entraînement. Il passe par plusieurs étapes successives : une lecture massive de textes, un apprentissage sur des exemples de consignes, puis un réglage selon les préférences d'évaluateurs. Pour un salarié, l'intérêt est pratique. Savoir comment la réponse est fabriquée aide à mesurer la confiance qu'on peut lui accorder, et à décider ce qu'on peut lui confier.

Questions directes

Quelles sont les étapes de fabrication d'un assistant IA ?

Il y en a trois. Le pré-entraînement donne au modèle une connaissance générale de la langue à partir de très gros corpus de textes. Le fine-tuning supervisé (SFT) lui apprend à répondre à des consignes, à partir d'exemples de bonnes réponses. L'alignement ajuste ensuite son comportement selon des préférences humaines, avec des méthodes comme le RLHF ou le DPO.

Que fait le pré-entraînement ?

L'architecture Transformer, présentée en 2017, est fondée uniquement sur des mécanismes d'attention1. Une approche courante consiste à pré-entraîner un modèle sur un grand corpus de textes, puis à l'affiner sur une tâche précise2. GPT-3, par exemple, est un modèle de langage de 175 milliards de paramètres, dix fois plus que tout modèle non épars précédent2.

Qu'apporte le fine-tuning supervisé ?

Dans le cas d'InstructGPT, les chercheurs ont réuni des consignes écrites par des évaluateurs et des consignes soumises via l'API d'OpenAI. Ils ont collecté des démonstrations du comportement souhaité, puis s'en sont servis pour affiner GPT-3 par apprentissage supervisé3. Pour le salarié, le point à retenir : dans le cas d'InstructGPT, des consignes soumises via l'API d'OpenAI ont servi de base au jeu de données3.

Que sont le RLHF et le DPO ?

Le RLHF (apprentissage par renforcement à partir de retours humains) ajoute une seconde phase. Les chercheurs collectent des classements de réponses du modèle, puis s'en servent pour affiner encore le modèle supervisé3. Les évaluateurs comparent des réponses et le système apprend à produire celles qu'ils préfèrent. D'autres auteurs ont appliqué cette méthode pour obtenir des assistants utiles et inoffensifs, et indiquent que cet entraînement améliore les résultats sur presque toutes les évaluations de traitement du langage4.

Le DPO (Direct Preference Optimization) vise le même but plus simplement. Ses auteurs décrivent le RLHF comme une procédure complexe et souvent instable, et proposent une méthode qui la remplace par une simple perte de classification5. Selon ses auteurs, le DPO aligne le modèle sur les préférences aussi bien que les méthodes existantes, ou mieux5.

L'IA peut-elle aussi superviser une autre IA ?

Oui, c'est le principe de la Constitutional AI. La seule supervision humaine est une liste de règles ou de principes, et le modèle produit lui-même des critiques et des révisions de ses réponses6. Pour l'innocuité, aucune étiquette humaine n'identifie les réponses nuisibles : un modèle évalue laquelle de deux réponses est la meilleure6.

Un modèle poli est-il un modèle fiable ?

Non. Les auteurs d'InstructGPT notent que des modèles plus gros ne suivent pas forcément mieux l'intention de l'utilisateur, et qu'ils peuvent produire des réponses fausses, toxiques ou simplement inutiles3. Même après alignement, InstructGPT « still makes simple mistakes »3. Un ton courtois et assuré ne prouve donc rien sur l'exactitude du contenu.

1Comment ça marche1 min

Le pré-entraînement fait absorber au modèle un grand corpus de textes2. Les auteurs du DPO soulignent que cet entraînement est entièrement non supervisé, ce qui rend difficile un contrôle précis du comportement5.

Les deux étapes suivantes servent à corriger cela. Le fine-tuning apprend des réponses attendues. L'alignement ajoute le jugement humain, ou celui d'un autre modèle, sur la qualité de plusieurs réponses possibles36.

Affiner un très grand modèle entièrement coûte cher. La méthode LoRA gèle les poids du modèle pré-entraîné et ajoute de petites matrices entraînables. Pour GPT-3 175B, elle réduit de 10 000 fois le nombre de paramètres à entraîner et de 3 fois la mémoire GPU nécessaire par rapport à un affinage complet7.

2Ce que vous faites1 min
  • Vérifiez les réponses qui comptent : chiffres, références, noms, extraits de règles. Le modèle peut produire des contenus faux3.
  • Ne collez pas de données sensibles (clients, contrats, code interne, données personnelles) dans un outil que l'entreprise n'a pas validé. Dans le cas d'InstructGPT, des consignes soumises via l'API d'OpenAI ont servi de base au jeu de données3.
  • Suivez la politique d'usage de l'entreprise : elle indique quels outils sont autorisés et quelles données y entrent.
  • Signalez un comportement étrange du modèle ou une réponse qui semble révéler des informations qui ne devraient pas sortir.
3Les pièges1 min

Le rapport NIST AI 100-2 E2025 établit un vocabulaire commun pour les attaques contre les systèmes d'apprentissage automatique. Parmi ses mots-clés figurent l'empoisonnement de données (data poisoning), l'évasion, l'abus et l'atteinte à la vie privée8. Il concerne aussi les agents conversationnels et les grands modèles de langage8.

Des pièges découlent de ces étapes de fabrication :

  • Des données d'entraînement ou d'affinage piégées peuvent fausser le modèle. Le rapport NIST place l'empoisonnement de données parmi les attaques répertoriées8.
  • Le NIST range aussi l'abus et l'évasion parmi les mots-clés de son rapport sur les attaques8.
  • Des informations confidentielles peuvent fuir. Le NCSC britannique veut que les systèmes d'IA fonctionnent « without revealing sensitive data to unauthorised parties »9. Le projet OWASP sur les applications de modèles de langage recense les vulnérabilités de sécurité les plus critiques de ces applications10.

Le NCSC rappelle aussi que les systèmes d'IA connaissent des vulnérabilités nouvelles, à considérer en plus des menaces informatiques habituelles9.

4Cas réels1 min

Mars 2022 : un petit modèle aligné préféré à un grand modèle brut

Dans l'article publié le 4 mars 2022, les auteurs comparent des modèles lors d'évaluations humaines. Les réponses du modèle InstructGPT de 1,3 milliard de paramètres sont préférées à celles de GPT-3 (175 milliards), avec cent fois moins de paramètres3. Les mêmes travaux relèvent une meilleure véracité et moins de contenus toxiques3. Pour un salarié, la leçon est limitée : l'alignement rend les réponses plus conformes à ce que les gens préfèrent, mais ne supprime pas les erreurs, que les auteurs reconnaissent encore3.

Fiche

Identifiant
CP-261
Aile
4. Intelligence artificielle
Compétence Brain
Comprendre l'IA (understand_ai)
Réflexe Brain
air-001
Schéma
G3 · Coupe Anatomique
Langues
de, en, fr
Sources
10 sources vérifiées le 3 novembre 2026
Sources10 sources
  1. arXiv, « Attention Is All You Need », 12 juin 2017. https://arxiv.org/abs/1706.03762 (consulté le 3 novembre 2026)
  2. arXiv, « Language Models are Few-Shot Learners », 28 mai 2020. https://arxiv.org/abs/2005.14165 (consulté le 3 novembre 2026)
  3. arXiv, « Training language models to follow instructions with human feedback », 4 mars 2022. https://arxiv.org/abs/2203.02155 (consulté le 3 novembre 2026)
  4. arXiv, « Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback », 12 avril 2022. https://arxiv.org/abs/2204.05862 (consulté le 3 novembre 2026)
  5. arXiv, « Direct Preference Optimization: Your Language Model is Secretly a Reward Model », 29 mai 2023. https://arxiv.org/abs/2305.18290 (consulté le 3 novembre 2026)
  6. arXiv, « Constitutional AI: Harmlessness from AI Feedback », 15 décembre 2022. https://arxiv.org/abs/2212.08073 (consulté le 3 novembre 2026)
  7. arXiv, « LoRA: Low-Rank Adaptation of Large Language Models », 17 juin 2021. https://arxiv.org/abs/2106.09685 (consulté le 3 novembre 2026)
  8. NIST, « Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations », 24 mars 2025. https://csrc.nist.gov/pubs/ai/100/2/e2025/final (consulté le 3 novembre 2026)
  9. NCSC (Royaume-Uni), « Guidelines for secure AI system development », 27 novembre 2023. https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development (consulté le 3 novembre 2026)
  10. OWASP, « OWASP Top 10 for Large Language Model Applications ». https://owasp.org/projects/top-10-for-large-language-model-applications (consulté le 3 novembre 2026)

Citer cet article

Brain, « Comment un modèle d'IA est entraîné et aligné », Cyberpedia, 2026. https://startbrain.io/cyberpedia/fr/articles/pre-entrainement-fine-tuning-alignement-rlhf-dpo/

BibTeX 
@misc{brain_cp261_fr_2026,
  author = {Brain},
  title = {Comment un modèle d'IA est entraîné et aligné},
  year = {2026},
  howpublished = {Cyberpedia},
  url = {https://startbrain.io/cyberpedia/fr/articles/pre-entrainement-fine-tuning-alignement-rlhf-dpo/},
  note = {CC BY 4.0}
}
Licence CC BY 4.0