--- id: CP-279 slug: derive-modele-pollution-web-contenu-synthetique lang: fr title: Dérive des modèles et pollution du Web par l'IA description: Comment des IA entraînées sur des textes d'IA perdent en diversité, et comment vérifier un contenu généré avant de l'utiliser au travail. canonical_url: https://startbrain.io/cyberpedia/fr/articles/derive-modele-pollution-web-contenu-synthetique/ markdown_url: https://startbrain.io/cyberpedia/fr/articles/derive-modele-pollution-web-contenu-synthetique.md publisher: Brain (https://startbrain.io) license: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) cite_as: Brain, « Dérive des modèles et pollution du Web par l'IA », Cyberpedia, 2026. https://startbrain.io/cyberpedia/fr/articles/derive-modele-pollution-web-contenu-synthetique/ (CC BY 4.0) wing: 4 theme: understand_ai reflex: air-003 schema: G2 updated: "2026-11-03" translations: fr: https://startbrain.io/cyberpedia/fr/articles/derive-modele-pollution-web-contenu-synthetique/ en: https://startbrain.io/cyberpedia/en/articles/model-collapse-ai-slop-web-pollution/ de: https://startbrain.io/cyberpedia/de/articles/modellkollaps-ki-inhalte-web-verschmutzung/ es: https://startbrain.io/cyberpedia/es/articles/deriva-modelos-contaminacion-web-contenido-sintetico/ sources: - "n": 1 title: "The Curse of Recursion: Training on Generated Data Makes Models Forget" publisher: arXiv url: https://arxiv.org/abs/2305.17493 published: "2023-05-27" accessed: "2026-11-03" - "n": 2 title: "The Curious Decline of Linguistic Diversity: Training Language Models on Synthetic Text" publisher: arXiv url: https://arxiv.org/abs/2311.09807 published: "2023-11-16" accessed: "2026-11-03" - "n": 3 title: Self-Consuming Generative Models Go MAD publisher: arXiv url: https://arxiv.org/abs/2307.01850 published: "2023-07-04" accessed: "2026-11-03" - "n": 4 title: LLM04:2025 Data and Model Poisoning publisher: OWASP url: https://genai.owasp.org/llmrisk/llm042025-data-and-model-poisoning/ accessed: "2026-11-03" - "n": 5 title: LLM09:2025 Misinformation publisher: OWASP url: https://genai.owasp.org/llmrisk/llm092025-misinformation/ accessed: "2026-11-03" - "n": 6 title: LLM03:2025 Supply Chain publisher: OWASP url: https://genai.owasp.org/llmrisk/llm032025-supply-chain/ accessed: "2026-11-03" - "n": 7 title: Guidelines for secure AI system development publisher: NCSC (Royaume-Uni) url: https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development published: "2023-11-27" accessed: "2026-11-03" - "n": 8 title: "Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile" publisher: NIST url: https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence published: "2024-07-26" accessed: "2026-11-03" --- # Dérive des modèles et pollution du Web par l'IA Les assistants d'écriture produisent des textes que d'autres modèles, ou d'autres salariés, reprennent ensuite. Quand ces textes générés servent à entraîner de nouveaux modèles, des chercheurs ont constaté des défauts irréversibles. Cet effet est appelé « Model Collapse », ici traduit par dérive de modèle [1]. Cette fiche explique le mécanisme sans entrer dans les équations, puis donne des gestes simples : vérifier une information, recouper, repérer un contenu douteux et ne jamais reprendre tel quel un texte généré. ## En 30 secondes - Où ça arrive : dans les outils de génération de texte et d'image, et dans les contenus en ligne qui servent à les entraîner. - Ce que ça change pour vous : une réponse peut sembler crédible et être fausse, ou n'être qu'une version appauvrie d'un contenu existant. - Le réflexe : ne reprenez aucun texte généré sans l'avoir recoupé avec une source fiable que vous avez ouverte vous-même. - Si c'est déjà fait : relisez le document, retrouvez la source de chaque fait, corrigez, et prévenez les destinataires si une erreur est partie. ## Questions directes ### Qu'est-ce que la dérive de modèle ? C'est la dégradation d'un modèle entraîné sur des contenus produits par d'autres modèles. Des chercheurs ont constaté que l'usage de contenu généré à l'entraînement cause des défauts irréversibles : les « queues » de la distribution d'origine, c'est-à-dire les cas rares, disparaissent. Ils ont nommé cet effet « Model Collapse » et l'ont observé sur des autoencodeurs variationnels, des modèles de mélange gaussien et des grands modèles de langage [1]. ### Le phénomène se limite-t-il au texte ? Non. Une autre équipe a étudié des modèles génératifs d'images dans des boucles où chaque génération s'entraîne sur les sorties de la précédente. Sans assez de données réelles fraîches à chaque génération, la qualité (précision) ou la diversité (rappel) des modèles futurs diminue progressivement. Les auteurs appellent cet état « Model Autophagy Disorder » (MAD), par analogie avec la maladie de la vache folle [3]. ### Et pour les modèles de langage ? Une étude acceptée à NAACL 2024 (Findings) a mesuré la diversité lexicale, syntaxique et sémantique après des réglages successifs sur du texte synthétique, en anglais. Elle relève une baisse constante de la diversité des sorties au fil des itérations, particulièrement marquée pour les tâches qui demandent de la créativité [2]. ### Un texte généré peut-il être faux sans que l'outil « mente » ? Oui. L'OWASP décrit l'hallucination : le modèle comble des lacunes avec des régularités statistiques, sans comprendre le contenu, et produit des réponses qui paraissent justes mais n'ont aucun fondement. Les biais des données d'entraînement et les informations incomplètes y contribuent aussi [5]. ### Les données d'entraînement peuvent-elles être piégées volontairement ? Oui. L'OWASP appelle empoisonnement des données la manipulation des données de préentraînement, de réglage ou de représentation pour introduire des failles, des portes dérobées ou des biais. Le risque est élevé avec des sources externes, qui peuvent contenir du contenu non vérifié ou malveillant [4]. ## Comment ça marche Un modèle de langage apprend sur de grandes quantités de texte collectées sur le Web. Si une part croissante de ce texte vient de modèles, le suivant apprend en partie sur des copies. Les auteurs de la première étude soutiennent que ce risque doit être pris au sérieux pour continuer à profiter de l'entraînement sur des données collectées à grande échelle sur le Web. Ils ajoutent que les données issues d'interactions humaines réelles avec les systèmes prendront de la valeur à mesure que le contenu généré se répandra dans les données collectées sur Internet [1]. L'autre travail établit que sans assez de données réelles fraîches à chaque génération, la qualité ou la diversité diminue [3]. Les pages consultées ne chiffrent pas la part de contenu synthétique actuellement présente sur le Web, et cette fiche n'avance aucun chiffre. ## Ce que vous faites - Traitez une réponse générée comme un brouillon. L'OWASP nomme la confiance excessive (overreliance) : des utilisateurs intègrent des données incorrectes dans des décisions importantes sans examen suffisant [5]. - Recoupez avec des sources externes fiables. L'OWASP recommande de croiser les sorties du modèle avec ces sources et de prévoir une relecture humaine et une vérification des faits pour les informations sensibles [5]. - Retrouvez l'origine de chaque fait, chiffre ou citation avant de l'écrire dans un document. Si vous ne trouvez aucune source, retirez le fait. - Vérifiez qu'une référence existe avant de l'utiliser. L'OWASP cite un cas où ChatGPT a fabriqué de fausses affaires judiciaires, avec de graves conséquences devant un tribunal [5]. - Pour le code, ne prenez pas une bibliothèque suggérée sans contrôle. Des assistants proposent des bibliothèques tierces non sûres ou inexistantes [5]. - Repérez les contenus douteux : texte sans auteur ni source, affirmations sans appui, contradictions avec une source que vous connaissez. Ces critères sont des repères de bon sens de cette fiche, pas une méthode issue des sources. - Signalez le contenu généré quand vous le diffusez. L'OWASP recommande d'étiqueter clairement les contenus générés par IA et d'informer sur les limites de fiabilité [5]. ## Les pièges - Une réponse fluide n'est pas une réponse vérifiée : la désinformation d'un modèle apparaît crédible [5]. - Une source qui reprend un texte généré ne constitue pas un second avis. Deux pages qui disent la même chose peuvent venir du même modèle. - Les modèles eux-mêmes peuvent venir de l'extérieur. L'OWASP note qu'il n'existe actuellement pas de garantie forte sur la provenance des modèles publiés : les fiches descriptives n'en donnent aucune sur leur origine [6]. - Un modèle empoisonné peut se comporter normalement jusqu'à ce qu'un déclencheur change son comportement, ce qui rend le défaut difficile à détecter [4]. - Les conditions d'utilisation d'un outil peuvent permettre l'usage de vos données pour l'entraînement. L'OWASP signale ce risque quand les conditions et la politique de confidentialité sont floues [6]. Ne saisissez pas d'information sensible dans un outil non validé par votre entreprise. - Une erreur d'IA engage l'organisation même sans attaquant. L'OWASP cite le chatbot d'Air Canada, dont les informations erronées aux voyageurs ont entraîné des perturbations et des complications juridiques, la compagnie ayant été poursuivie avec succès [5]. Côté organisation, le NIST propose un profil transversal pour l'IA générative, complément du AI RMF 1.0, d'usage volontaire [8]. Les lignes directrices du NCSC britannique, publiées le 27 novembre 2023, couvrent la conception, le développement, le déploiement et l'exploitation des systèmes d'IA, dont la sécurité de la chaîne d'approvisionnement [7]. ## Cas réels ### 27 mai 2023 : la « malédiction de la récursion » Ilia Shumailov et cinq coauteurs soumettent à arXiv un article qui se demande ce qu'il adviendra des futurs modèles GPT quand les grands modèles de langage produiront une grande partie du texte en ligne. Leur réponse : le contenu généré utilisé à l'entraînement provoque des défauts irréversibles. Ils montrent que l'effet peut survenir dans plusieurs familles de modèles [1]. ### 4 juillet 2023 : le trouble d'autophagie des modèles Sina Alemohammad, Richard G. Baraniuk et six coauteurs soumettent à arXiv une analyse de trois familles de boucles autophages sur des modèles d'images. Leur conclusion : sans assez de données réelles fraîches, la précision ou la diversité diminue de génération en génération [3]. ### 16 novembre 2023 : le déclin de la diversité linguistique Yanzhu Guo et ses coauteurs soumettent à arXiv des expériences de réglage récursif en anglais. La diversité des sorties baisse à chaque itération, surtout pour les tâches créatives [2]. ## Sources 1. arXiv, « The Curse of Recursion: Training on Generated Data Makes Models Forget », 27 mai 2023. https://arxiv.org/abs/2305.17493 (consulté le 3 novembre 2026) 2. arXiv, « The Curious Decline of Linguistic Diversity: Training Language Models on Synthetic Text », 16 novembre 2023. https://arxiv.org/abs/2311.09807 (consulté le 3 novembre 2026) 3. arXiv, « Self-Consuming Generative Models Go MAD », 4 juillet 2023. https://arxiv.org/abs/2307.01850 (consulté le 3 novembre 2026) 4. OWASP, « LLM04:2025 Data and Model Poisoning ». https://genai.owasp.org/llmrisk/llm042025-data-and-model-poisoning/ (consulté le 3 novembre 2026) 5. OWASP, « LLM09:2025 Misinformation ». https://genai.owasp.org/llmrisk/llm092025-misinformation/ (consulté le 3 novembre 2026) 6. OWASP, « LLM03:2025 Supply Chain ». https://genai.owasp.org/llmrisk/llm032025-supply-chain/ (consulté le 3 novembre 2026) 7. NCSC (Royaume-Uni), « Guidelines for secure AI system development », 27 novembre 2023. https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development (consulté le 3 novembre 2026) 8. NIST, « Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile », 26 juillet 2024. https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence (consulté le 3 novembre 2026) --- Source originale : Cyberpedia, l'encyclopédie publique de cybersécurité et d'IA publiée par Brain. Version canonique : https://startbrain.io/cyberpedia/fr/articles/derive-modele-pollution-web-contenu-synthetique/ Vous pouvez reprendre ce texte librement sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/), à condition de citer « Brain, Cyberpedia » avec un lien vers l'adresse ci-dessus.