--- id: CP-274 slug: biais-algorithmiques-stereotypes-donnees lang: fr title: Biais algorithmiques et stéréotypes des données description: Une IA reprend les stéréotypes de ses données d'entraînement tout en paraissant neutre. Ce que le salarié vérifie, et ce que prévoit l'AI Act. canonical_url: https://startbrain.io/cyberpedia/fr/articles/biais-algorithmiques-stereotypes-donnees/ markdown_url: https://startbrain.io/cyberpedia/fr/articles/biais-algorithmiques-stereotypes-donnees.md publisher: Brain (https://startbrain.io) license: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) cite_as: Brain, « Biais algorithmiques et stéréotypes des données », Cyberpedia, 2026. https://startbrain.io/cyberpedia/fr/articles/biais-algorithmiques-stereotypes-donnees/ (CC BY 4.0) wing: 4 theme: use_responsibly reflex: air-007 schema: G2 updated: "2026-11-03" translations: fr: https://startbrain.io/cyberpedia/fr/articles/biais-algorithmiques-stereotypes-donnees/ en: https://startbrain.io/cyberpedia/en/articles/algorithmic-bias-training-data-stereotypes/ de: https://startbrain.io/cyberpedia/de/articles/algorithmische-verzerrungen-stereotype-trainingsdaten/ es: https://startbrain.io/cyberpedia/es/articles/sesgos-algoritmicos-estereotipos-datos/ sources: - "n": 1 title: Towards a Standard for Identifying and Managing Bias in Artificial Intelligence publisher: NIST url: https://www.nist.gov/publications/towards-standard-identifying-and-managing-bias-artificial-intelligence published: "2022-03-15" accessed: "2026-11-03" - "n": 2 title: Towards a Standard for Identifying and Managing Bias in Artificial Intelligence publisher: NIST url: https://nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.SP.1270.pdf accessed: "2026-11-03" - "n": 3 title: "IA : comment être en conformité avec le RGPD ?" publisher: CNIL url: https://www.cnil.fr/fr/intelligence-artificielle/ia-comment-etre-en-conformite-avec-le-rgpd published: "2022-04-05" accessed: "2026-11-03" - "n": 4 title: Législation sur l’IA publisher: Commission européenne url: https://digital-strategy.ec.europa.eu/fr/policies/regulatory-framework-ai accessed: "2026-11-03" - "n": 5 title: AI Risk Management Framework publisher: NIST url: https://www.nist.gov/itl/ai-risk-management-framework accessed: "2026-11-03" --- # Biais algorithmiques et stéréotypes des données Un outil d'IA apprend à partir de données produites par des personnes, dans des organisations et une société qui ont leurs propres habitudes et leurs propres inégalités. Ce qu'il en tire peut reproduire des stéréotypes, sans que personne l'ait voulu. Le NIST, l'organisme américain de normalisation, écrit que les biais « can lead to harmful impacts regardless of intent » [1]. Le résultat arrive sous une forme chiffrée ou classée, qui paraît objective. Cette fiche explique d'où viennent ces écarts et ce que fait un salarié qui utilise l'IA pour trier ou noter des personnes. ## En 30 secondes - Où ça arrive : tri de CV, notation, évaluation de candidats, génération de textes ou d'images, partout où l'IA classe ou décrit des personnes. - Ce qui se passe : l'outil reproduit des écarts présents dans ses données, et sa réponse semble neutre. - Le réflexe : ne jamais laisser une IA décider seule d'une affaire qui touche des personnes, comparer les résultats, signaler les écarts et garder une validation humaine. - Si c'est déjà fait : prévenir le responsable de l'outil ou le référent concerné, et faire revoir la décision par une personne. ## Questions directes ### Pourquoi une IA reproduit-elle des stéréotypes ? Parce qu'elle apprend de données qui les contiennent. Le NIST distingue trois catégories de biais dans l'IA : systémiques, statistiques et humains [2]. Les biais systémiques viennent des procédures et des pratiques d'institutions qui avantagent certains groupes et en désavantagent d'autres. Cela n'exige aucun préjugé conscient : il suffit que la majorité suive les règles et les normes existantes [2]. Ces biais se retrouvent dans les jeux de données utilisés en IA [2]. ### Les données peuvent-elles être justes et pourtant biaisées ? Oui. La CNIL décrit deux cas. Les données d'apprentissage peuvent être non représentatives. Elles peuvent aussi être bien représentatives du « monde réel » et refléter malgré tout un caractère discriminatoire, par exemple la reproduction d'écarts salariaux entre les femmes et les hommes [3]. Le NIST va dans le même sens : même représentatifs, des jeux de données peuvent présenter des biais historiques et systémiques ancrés [2]. ### Pourquoi la réponse paraît-elle neutre ? Le NIST note que les biais sont répandus dans les processus technologiques et peuvent nuire quelle que soit l'intention [1]. L'outil ne montre pas d'où vient sa réponse. La Commission européenne relève qu'il est souvent impossible de savoir pourquoi un système d'IA a pris une décision, ce qui rend difficile de savoir si une personne a été injustement désavantagée, par exemple dans une décision d'embauche [4]. ### Retirer le sexe ou l'origine des données suffit-il ? Non, d'après le NIST. Des développeurs excluent parfois les attributs protégés, mais cela ne règle pas le problème, car l'information peut être déduite d'autres façons [2]. ### Un humain qui relit suffit-il à corriger l'erreur ? Pas automatiquement. Le NIST qualifie d'hypothèse problématique l'idée qu'un humain puisse superviser efficacement et objectivement un système de décision algorithmique. Il ajoute que les humains apportent leurs propres biais cognitifs dans l'usage de ces systèmes [2]. La validation humaine demande donc une méthode, décrite plus bas. ## Comment ça marche Le NIST classe les sources de biais en trois familles [2]. - Les biais systémiques : ils tiennent aux institutions et à l'histoire, et sont présents dans les données comme dans les pratiques tout au long du cycle de vie de l'IA [2]. - Les biais statistiques et computationnels : ils apparaissent quand l'échantillon ne représente pas la population [2]. Un exemple donné : des données collectées par questionnaires en ligne ou récupérées sur les réseaux sociaux ne représentent que les utilisateurs d'une plateforme, mais servent parfois à entraîner des outils déployés dans des contextes beaucoup plus larges [2]. - Les biais humains : ce sont des erreurs systématiques de raisonnement, présentes dans les décisions des institutions, des groupes et des individus, y compris dans l'usage d'une application une fois déployée [2]. Pour les textes, le NIST observe que les jeux de données de traitement du langage diffèrent souvent de leurs usages réels, ce qui peut conduire à de la discrimination et à des écarts de performance [2]. Pour la reconnaissance faciale, il cite la classification du genre : sa précision varie selon l'âge et le groupe ethnique, et un échantillon limité ou non représentatif d'un groupe donne une précision plus faible pour ce groupe [2]. ## Ce que vous faites - Ne confiez pas à une IA, seule, une décision qui touche des personnes (recrutement, évaluation). Elle prépare, une personne décide. - Comparez les résultats. Soumettez à l'outil des cas voisins qui ne diffèrent que par une caractéristique personnelle et regardez si la réponse change. Dans un cas d'expérimentation d'une technologie, la CNIL a exigé une analyse systématique des erreurs du système et des éléments de réflexion sur les risques de discrimination [3]. - Demandez-vous qui n'est pas dans les données. Le NIST pose la question « Who is counted, and who is not counted? » et note que les populations autochtones, les femmes et les personnes handicapées sont constamment sous-représentées dans les jeux de données [2]. - Signalez les écarts constatés à la personne responsable de l'outil dans l'entreprise, avec les exemples. - Gardez une validation humaine qui regarde le résultat avec un esprit critique et qui peut le contredire. Le NIST rapporte que des chercheurs recommandent aux utilisateurs d'une sortie automatisée de « consider a deliberate and modest approach » [2]. ## Les pièges - La confiance excessive. Le NIST appelle « automation complacency » le fait de trop se reposer sur des systèmes automatisés [2]. Il explique aussi que des experts peuvent utiliser l'IA pour alléger la pression de processus plus subjectifs, au nom d'une objectivité présumée de l'automatisation, et s'en servir comme couverture de leurs propres biais implicites [2]. - Les données non représentatives. Un outil entraîné sur des données qui ne reflètent pas les personnes qu'il évalue se trompe plus souvent sur elles [2]. - Les groupes moyens appliqués aux individus. Le NIST nomme « ecological fallacy » le fait de déduire quelque chose d'une personne à partir du groupe auquel elle appartient [2]. - Un contrôle de façade. Le NIST juge que, sans soutien procédural et culturel important, les attentes optimistes envers le rôle de l'humain qui supervise ne se vérifient pas en pratique [2]. - L'exemple du recrutement. La CNIL a contrôlé un organisme qui évaluait automatiquement des CV vidéo enregistrés par des candidats. Elle a constaté des biais discriminatoires : le système, censé qualifier les compétences de savoir-être, ne prenait pas en compte la diversité des accents [3]. - Un cas connu sous un titre. La liste de références du NIST cite un article de Reuters daté d'octobre 2018 intitulé « Amazon scraps secret AI recruiting tool that showed bias against women » [2]. Les sources citées ici ne décrivent pas ce cas en détail. ## Ce que dit la loi européenne Le règlement européen sur l'IA est le règlement (UE) 2024/1689 [4]. Il classe les usages par niveau de risque. Les outils d'IA pour l'emploi et la gestion des travailleurs, comme les logiciels de tri de CV, font partie des cas d'usage à haut risque. La notation des examens dans l'éducation aussi [4]. Parmi les obligations des systèmes à haut risque figurent une haute qualité des jeux de données pour réduire au minimum les risques de résultats discriminatoires, la journalisation de l'activité, une documentation détaillée et des mesures de surveillance humaine appropriées [4]. Sur le calendrier, la Commission indique que le règlement est entré en vigueur le 1er août 2024. Les règles pour certains domaines à haut risque, dont l'emploi, s'appliqueront à partir du 2 décembre 2027 [4]. Côté méthode, le cadre de gestion des risques de l'IA du NIST est destiné à un usage volontaire et vise à mieux intégrer des considérations de fiabilité dans la conception, le développement, l'usage et l'évaluation des systèmes d'IA [5]. ## Sources 1. NIST, « Towards a Standard for Identifying and Managing Bias in Artificial Intelligence », 15 mars 2022. https://www.nist.gov/publications/towards-standard-identifying-and-managing-bias-artificial-intelligence (consulté le 3 novembre 2026) 2. NIST, « Towards a Standard for Identifying and Managing Bias in Artificial Intelligence ». https://nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.SP.1270.pdf (consulté le 3 novembre 2026) 3. CNIL, « IA : comment être en conformité avec le RGPD ? », 5 avril 2022. https://www.cnil.fr/fr/intelligence-artificielle/ia-comment-etre-en-conformite-avec-le-rgpd (consulté le 3 novembre 2026) 4. Commission européenne, « Législation sur l’IA ». https://digital-strategy.ec.europa.eu/fr/policies/regulatory-framework-ai (consulté le 3 novembre 2026) 5. NIST, « AI Risk Management Framework ». https://www.nist.gov/itl/ai-risk-management-framework (consulté le 3 novembre 2026) --- Source originale : Cyberpedia, l'encyclopédie publique de cybersécurité et d'IA publiée par Brain. Version canonique : https://startbrain.io/cyberpedia/fr/articles/biais-algorithmiques-stereotypes-donnees/ Vous pouvez reprendre ce texte librement sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/), à condition de citer « Brain, Cyberpedia » avec un lien vers l'adresse ci-dessus.