Cyberpediapar Brain

Modèles de diffusion

Comment une IA part d'un bruit aléatoire pour produire une image, et ce que le salarié peut vérifier avant de relayer ou de déposer un fichier.

Sur cette page
  1. 1En 30 secondes
  2. 2De quoi parle-t-on
  3. 3Questions directes
  4. 4Comment ça marche
  5. 5Ce que vous faites
  6. 6Les pièges
  7. 7Cas réels
  8. 8Sources
  9. 9Citer cet article

En 30 secondes

Où ça arrive
Dans une image ou une vidéo reçue par message, sur un réseau social ou dans un document, et dans les outils publics de génération d'images où l'on peut déposer des fichiers.
Ce qui est en jeu
Le NIST cite parmi les risques l'atteinte à l'intégrité de l'information, la fraude (usurpation d'identité comprise) et la tromperie de personnes par des voix, des images ou des vidéos de synthèse[3].
Le réflexe
Avant de relayer une image ou une vidéo, vérifier sa provenance ; ne jamais déposer d'images confidentielles ni de visages de collègues dans un outil public.
Si c'est déjà fait
Prévenir sans attendre l'équipe sécurité de l'entreprise, en indiquant l'outil utilisé et ce qui a été déposé.

De quoi parle-t-on

Un modèle de diffusion fabrique une image en partant d'un bruit aléatoire, qu'il affine étape par étape jusqu'à obtenir une image conforme à la consigne[3]. Pour apprendre à le faire, il suit le chemin inverse : on abîme des images en y ajoutant du bruit, puis le modèle apprend à les restaurer. L'idée de départ, publiée en 2015, est de détruire systématiquement et lentement la structure des données par un processus de diffusion, puis d'apprendre le processus inverse qui la restaure[1]. En 2020, des chercheurs présentent avec cette classe de modèles des résultats de synthèse d'images de haute qualité[2].

Pour un salarié, l'enjeu est pratique. Ces modèles servent à produire des images synthétiques réalistes, que l'on peut recevoir par message ou fabriquer dans un outil public. Le NIST, l'institut américain des normes, note que l'IA générative sait produire des images, du texte, de l'audio et de la vidéo réalistes, ce qui pose de nouveaux risques pour la confiance dans l'information numérique[3].

Questions directes

Qu'est-ce qu'un modèle de diffusion ?

C'est un modèle génératif qui produit des données, ici des images, en inversant un brouillage progressif. Le principe s'inspire de la physique statistique hors équilibre : on détruit la structure des données par une diffusion répétée, puis on apprend à la rétablir[1]. DALL-E 2, Imagen et Stable Diffusion sont des modèles de diffusion d'images[9].

Comment un modèle apprend-il à nettoyer le bruit ?

Il apprend en faisant l'inverse de ce qu'il fera ensuite. On ajoute du bruit à des images d'entraînement, par petites quantités, jusqu'à ce qu'il ne reste que du bruit. Le modèle apprend le processus inverse, qui restaure la structure[1]. Les auteurs d'un article de 2020 résument l'idée ainsi : « Creating noise from data is easy; creating data from noise is generative modeling. »[4] Une fois entraîné, le modèle part d'un bruit aléatoire et l'affine petit à petit[3].

Ce nettoyage demande beaucoup d'étapes. Une variante appelée DDIM produit des échantillons de haute qualité de 10 à 50 fois plus vite, en temps de calcul réel, que la méthode de 2020, avec la même procédure d'entraînement[5].

Comment un texte guide-t-il l'image ?

Le texte sert de consigne pendant le nettoyage. Les modèles de diffusion latente ajoutent au modèle des couches dites d'attention croisée, qui lui permettent d'être guidé par des entrées comme du texte ; ils travaillent dans l'espace latent d'autoencodeurs préentraînés, ce qui réduit les besoins de calcul par rapport aux modèles qui opèrent directement sur les pixels[6]. La méthode dite de guidage sans classifieur entraîne ensemble un modèle conditionné et un modèle non conditionné, puis combine leurs estimations pour arbitrer entre qualité et diversité des échantillons[7]. Le modèle Imagen s'appuie sur de grands modèles de langage généralistes pour encoder le texte, et ses auteurs constatent que les agrandir améliore la fidélité de l'image et son accord avec le texte plus que d'agrandir le modèle d'image[8].

Peut-on reconnaître une image générée à l'œil ?

Pas de façon fiable. Les indices perceptibles (reflets ou ombres incohérents avec l'éclairage, artefacts de mélange avec des arrière-plans) servent surtout aux détecteurs[3]. Il rapporte aussi une étude de 2024, sur les modalités audio, visuelle et audiovisuelle, qui trouve des performances proches du hasard[3]. Les auteurs d'Imagen parlent d'un « unprecedented degree of photorealism »[8]. Le NIST écrit en outre que l'efficacité de beaucoup des approches de transparence des contenus n'est pas encore pleinement examinée[3]. Un réflexe fondé sur le seul coup d'œil est donc fragile ; la vérification de la source l'est moins.

Une image peut-elle contenir une marque d'origine ?

Parfois. Le NIST décrit deux voies pour enregistrer l'origine d'un contenu : le filigrane numérique, qui intègre l'information dans le contenu lui-même, et l'enregistrement de métadonnées, signées ou non[3]. Un filigrane discret est lisible par une machine et difficile à repérer pour un humain ; il faut un détecteur, qui a une probabilité non nulle de faux positifs et de faux négatifs[3]. L'absence de marque ne prouve donc rien.

Un modèle peut-il ressortir une image de son entraînement ?

Oui. Des chercheurs ont montré que des modèles de diffusion mémorisent des images de leurs données d'entraînement et les restituent au moment de la génération[9].

Comment ça marche

La chaîne tient en deux temps. À l'entraînement, le modèle apprend à restaurer des images que l'on a brouillées[1]. À l'usage, il part d'un bruit aléatoire et l'affine étape par étape[3] ; le texte fourni oriente le résultat[6][7].

Une formulation mathématique plus générale décrit le brouillage comme une équation qui transforme lentement une distribution de données complexe en une distribution connue en y injectant du bruit, et une équation inverse qui retire ce bruit[4]. Ce cadre englobe des approches antérieures de la génération par scores et de la diffusion probabiliste[4]. Le lecteur non spécialiste n'a pas besoin des équations : retenir que l'image naît d'un bruit retiré par étapes suffit.

Le NIST décrit le parcours d'un contenu synthétique en trois temps : la création, la publication, puis la consommation, c'est-à-dire le moment où des personnes reçoivent, interprètent et agissent sur le contenu[3]. Le salarié intervient aux deux bouts : il peut créer, en utilisant un outil, et consommer, en recevant une image.

Ce que vous faites

  • Avant de relayer une image ou une vidéo qui surprend, cherchez d'où elle vient : qui l'a publiée en premier, dans quel contexte, et si l'émetteur peut le confirmer par un autre canal.
  • Si le contenu porte une marque de provenance ou des métadonnées, consultez-les sans les prendre pour une preuve complète : le NIST écrit qu'aucune de ces techniques n'offre à elle seule une solution complète[3].
  • Face à une demande urgente appuyée par une voix ou une vidéo (virement, accès), vérifiez par un autre moyen que celui de la demande. Le NIST cite le clonage de voix parmi les moyens d'amener quelqu'un à faciliter une transaction frauduleuse[3].
  • Ne déposez jamais d'images confidentielles (plans, documents photographiés, écrans) dans un outil public de génération d'images.
  • Ne déposez jamais de visages de collègues. Des chercheurs ont extrait de modèles de diffusion des photographies de personnes présentes dans leurs données d'entraînement[9].
  • En cas de doute sur un contenu reçu, transmettez-le à l'équipe sécurité plutôt que de le faire circuler.

Les pièges

  • L'hyperréalisme. Les auteurs d'Imagen annoncent un degré de photoréalisme sans précédent, et des évaluateurs humains jugent ses échantillons à égalité avec les données COCO pour l'accord entre image et texte[8]. Une image convaincante n'est pas une image authentique.
  • La fausse confiance. Le NIST avertit que la transparence peut créer un faux sentiment de confiance, par exemple lorsqu'un contenu paraît légitime selon des mesures techniques mais est sorti de son contexte[3].
  • Les outils de détection. Ils ne sont pas encore partout : le NIST écrit que la plupart de ces approches peuvent être à des années d'un déploiement large sur les appareils mobiles[3].
  • Les contenus truqués. Le NIST écrit que des images, des voix ou des vidéos de synthèse peuvent servir à tromper des systèmes d'authentification biométrique ou des personnes[3].
  • La mémorisation. Les chercheurs concluent que les modèles de diffusion préservent beaucoup moins la vie privée que des modèles génératifs antérieurs comme les GAN[9]. Ce que contient la base d'entraînement peut donc ressortir.

Cas réels

Janvier 2023 : des images d'entraînement extraites de modèles de pointe

Le 30 janvier 2023, neuf chercheurs publient une étude sur l'extraction de données d'entraînement de modèles de diffusion. Avec une méthode qui génère des images puis filtre celles qui correspondent à des données d'entraînement, ils en extraient plus d'un millier de modèles de pointe, des photographies de personnes comme des logos de marques déposées[9]. Les auteurs ajoutent que réduire ces vulnérabilités peut demander de nouvelles avancées dans l'entraînement qui protège la vie privée[9].

Sources

  1. arXiv, « Deep Unsupervised Learning using Nonequilibrium Thermodynamics », 12 mars 2015. https://arxiv.org/abs/1503.03585 (consulté le 10 novembre 2026)
  2. arXiv, « Denoising Diffusion Probabilistic Models », 19 juin 2020. https://arxiv.org/abs/2006.11239 (consulté le 10 novembre 2026)
  3. NIST, « Reducing Risks Posed by Synthetic Content: An Overview of Technical Approaches to Digital Content Transparency », 18 novembre 2024. https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-4.pdf (consulté le 10 novembre 2026)
  4. arXiv, « Score-Based Generative Modeling through Stochastic Differential Equations », 26 novembre 2020. https://arxiv.org/abs/2011.13456 (consulté le 10 novembre 2026)
  5. arXiv, « Denoising Diffusion Implicit Models », 6 octobre 2020. https://arxiv.org/abs/2010.02502 (consulté le 10 novembre 2026)
  6. arXiv, « High-Resolution Image Synthesis with Latent Diffusion Models », 20 décembre 2021. https://arxiv.org/abs/2112.10752 (consulté le 10 novembre 2026)
  7. arXiv, « Classifier-Free Diffusion Guidance », 26 juillet 2022. https://arxiv.org/abs/2207.12598 (consulté le 10 novembre 2026)
  8. arXiv, « Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding », 23 mai 2022. https://arxiv.org/abs/2205.11487 (consulté le 10 novembre 2026)
  9. arXiv, « Extracting Training Data from Diffusion Models », 30 janvier 2023. https://arxiv.org/abs/2301.13188 (consulté le 10 novembre 2026)