Dérive des modèles et pollution du Web par l'IA
Comment des IA entraînées sur des textes d'IA perdent en diversité, et comment vérifier un contenu généré avant de l'utiliser au travail.
En 30 secondes
- Où ça arrive
- Dans les outils de génération de texte et d'image, et dans les contenus en ligne qui servent à les entraîner.
- Ce que ça change pour vous
- Une réponse peut sembler crédible et être fausse, ou n'être qu'une version appauvrie d'un contenu existant.
- Le réflexe
- Ne reprenez aucun texte généré sans l'avoir recoupé avec une source fiable que vous avez ouverte vous-même.
- Si c'est déjà fait
- Relisez le document, retrouvez la source de chaque fait, corrigez, et prévenez les destinataires si une erreur est partie.
De quoi parle-t-on
Les assistants d'écriture produisent des textes que d'autres modèles, ou d'autres salariés, reprennent ensuite. Quand ces textes générés servent à entraîner de nouveaux modèles, des chercheurs ont constaté des défauts irréversibles. Cet effet est appelé « Model Collapse », ici traduit par dérive de modèle1.
Cette fiche explique le mécanisme sans entrer dans les équations, puis donne des gestes simples : vérifier une information, recouper, repérer un contenu douteux et ne jamais reprendre tel quel un texte généré.
Questions directes
Qu'est-ce que la dérive de modèle ?
C'est la dégradation d'un modèle entraîné sur des contenus produits par d'autres modèles. Des chercheurs ont constaté que l'usage de contenu généré à l'entraînement cause des défauts irréversibles : les « queues » de la distribution d'origine, c'est-à-dire les cas rares, disparaissent. Ils ont nommé cet effet « Model Collapse » et l'ont observé sur des autoencodeurs variationnels, des modèles de mélange gaussien et des grands modèles de langage1.
Le phénomène se limite-t-il au texte ?
Non. Une autre équipe a étudié des modèles génératifs d'images dans des boucles où chaque génération s'entraîne sur les sorties de la précédente. Sans assez de données réelles fraîches à chaque génération, la qualité (précision) ou la diversité (rappel) des modèles futurs diminue progressivement. Les auteurs appellent cet état « Model Autophagy Disorder » (MAD), par analogie avec la maladie de la vache folle3.
Et pour les modèles de langage ?
Une étude acceptée à NAACL 2024 (Findings) a mesuré la diversité lexicale, syntaxique et sémantique après des réglages successifs sur du texte synthétique, en anglais. Elle relève une baisse constante de la diversité des sorties au fil des itérations, particulièrement marquée pour les tâches qui demandent de la créativité2.
Un texte généré peut-il être faux sans que l'outil « mente » ?
Oui. L'OWASP décrit l'hallucination : le modèle comble des lacunes avec des régularités statistiques, sans comprendre le contenu, et produit des réponses qui paraissent justes mais n'ont aucun fondement. Les biais des données d'entraînement et les informations incomplètes y contribuent aussi5.
Les données d'entraînement peuvent-elles être piégées volontairement ?
Oui. L'OWASP appelle empoisonnement des données la manipulation des données de préentraînement, de réglage ou de représentation pour introduire des failles, des portes dérobées ou des biais. Le risque est élevé avec des sources externes, qui peuvent contenir du contenu non vérifié ou malveillant4.
1Comment ça marche1 min
Un modèle de langage apprend sur de grandes quantités de texte collectées sur le Web. Si une part croissante de ce texte vient de modèles, le suivant apprend en partie sur des copies. Les auteurs de la première étude soutiennent que ce risque doit être pris au sérieux pour continuer à profiter de l'entraînement sur des données collectées à grande échelle sur le Web. Ils ajoutent que les données issues d'interactions humaines réelles avec les systèmes prendront de la valeur à mesure que le contenu généré se répandra dans les données collectées sur Internet1.
L'autre travail établit que sans assez de données réelles fraîches à chaque génération, la qualité ou la diversité diminue3. Les pages consultées ne chiffrent pas la part de contenu synthétique actuellement présente sur le Web, et cette fiche n'avance aucun chiffre.
2Ce que vous faites1 min
- Traitez une réponse générée comme un brouillon. L'OWASP nomme la confiance excessive (overreliance) : des utilisateurs intègrent des données incorrectes dans des décisions importantes sans examen suffisant5.
- Recoupez avec des sources externes fiables. L'OWASP recommande de croiser les sorties du modèle avec ces sources et de prévoir une relecture humaine et une vérification des faits pour les informations sensibles5.
- Retrouvez l'origine de chaque fait, chiffre ou citation avant de l'écrire dans un document. Si vous ne trouvez aucune source, retirez le fait.
- Vérifiez qu'une référence existe avant de l'utiliser. L'OWASP cite un cas où ChatGPT a fabriqué de fausses affaires judiciaires, avec de graves conséquences devant un tribunal5.
- Pour le code, ne prenez pas une bibliothèque suggérée sans contrôle. Des assistants proposent des bibliothèques tierces non sûres ou inexistantes5.
- Repérez les contenus douteux : texte sans auteur ni source, affirmations sans appui, contradictions avec une source que vous connaissez. Ces critères sont des repères de bon sens de cette fiche, pas une méthode issue des sources.
- Signalez le contenu généré quand vous le diffusez. L'OWASP recommande d'étiqueter clairement les contenus générés par IA et d'informer sur les limites de fiabilité5.
3Les pièges1 min
- Une réponse fluide n'est pas une réponse vérifiée : la désinformation d'un modèle apparaît crédible5.
- Une source qui reprend un texte généré ne constitue pas un second avis. Deux pages qui disent la même chose peuvent venir du même modèle.
- Les modèles eux-mêmes peuvent venir de l'extérieur. L'OWASP note qu'il n'existe actuellement pas de garantie forte sur la provenance des modèles publiés : les fiches descriptives n'en donnent aucune sur leur origine6.
- Un modèle empoisonné peut se comporter normalement jusqu'à ce qu'un déclencheur change son comportement, ce qui rend le défaut difficile à détecter4.
- Les conditions d'utilisation d'un outil peuvent permettre l'usage de vos données pour l'entraînement. L'OWASP signale ce risque quand les conditions et la politique de confidentialité sont floues6. Ne saisissez pas d'information sensible dans un outil non validé par votre entreprise.
- Une erreur d'IA engage l'organisation même sans attaquant. L'OWASP cite le chatbot d'Air Canada, dont les informations erronées aux voyageurs ont entraîné des perturbations et des complications juridiques, la compagnie ayant été poursuivie avec succès5.
Côté organisation, le NIST propose un profil transversal pour l'IA générative, complément du AI RMF 1.0, d'usage volontaire8. Les lignes directrices du NCSC britannique, publiées le 27 novembre 2023, couvrent la conception, le développement, le déploiement et l'exploitation des systèmes d'IA, dont la sécurité de la chaîne d'approvisionnement7.
4Cas réels1 min
27 mai 2023 : la « malédiction de la récursion »
Ilia Shumailov et cinq coauteurs soumettent à arXiv un article qui se demande ce qu'il adviendra des futurs modèles GPT quand les grands modèles de langage produiront une grande partie du texte en ligne. Leur réponse : le contenu généré utilisé à l'entraînement provoque des défauts irréversibles. Ils montrent que l'effet peut survenir dans plusieurs familles de modèles1.
4 juillet 2023 : le trouble d'autophagie des modèles
Sina Alemohammad, Richard G. Baraniuk et six coauteurs soumettent à arXiv une analyse de trois familles de boucles autophages sur des modèles d'images. Leur conclusion : sans assez de données réelles fraîches, la précision ou la diversité diminue de génération en génération3.
16 novembre 2023 : le déclin de la diversité linguistique
Yanzhu Guo et ses coauteurs soumettent à arXiv des expériences de réglage récursif en anglais. La diversité des sorties baisse à chaque itération, surtout pour les tâches créatives2.
Fiche
- Identifiant
- CP-279
- Aile
- 4. Intelligence artificielle
- Compétence Brain
- Comprendre l'IA (understand_ai)
- Réflexe Brain
- air-003
- Schéma
- G2 · Comparatif Mythe vs Réalité
- Langues
- de, en, fr
- Sources
- 8 sources vérifiées le 3 novembre 2026
Sources8 sources
- arXiv, « The Curse of Recursion: Training on Generated Data Makes Models Forget », 27 mai 2023. https://arxiv.org/abs/2305.17493 (consulté le 3 novembre 2026)
- arXiv, « The Curious Decline of Linguistic Diversity: Training Language Models on Synthetic Text », 16 novembre 2023. https://arxiv.org/abs/2311.09807 (consulté le 3 novembre 2026)
- arXiv, « Self-Consuming Generative Models Go MAD », 4 juillet 2023. https://arxiv.org/abs/2307.01850 (consulté le 3 novembre 2026)
- OWASP, « LLM04:2025 Data and Model Poisoning ». https://genai.owasp.org/llmrisk/llm042025-data-and-model-poisoning/ (consulté le 3 novembre 2026)
- OWASP, « LLM09:2025 Misinformation ». https://genai.owasp.org/llmrisk/llm092025-misinformation/ (consulté le 3 novembre 2026)
- OWASP, « LLM03:2025 Supply Chain ». https://genai.owasp.org/llmrisk/llm032025-supply-chain/ (consulté le 3 novembre 2026)
- NCSC (Royaume-Uni), « Guidelines for secure AI system development », 27 novembre 2023. https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development (consulté le 3 novembre 2026)
- NIST, « Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile », 26 juillet 2024. https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence (consulté le 3 novembre 2026)
Citer cet article
Brain, « Dérive des modèles et pollution du Web par l'IA », Cyberpedia, 2026. https:/
BibTeX
@misc{brain_cp279_fr_2026,
author = {Brain},
title = {Dérive des modèles et pollution du Web par l'IA},
year = {2026},
howpublished = {Cyberpedia},
url = {https://startbrain.io/cyberpedia/fr/articles/derive-modele-pollution-web-contenu-synthetique/},
note = {CC BY 4.0}
}