Biais algorithmiques et stéréotypes des données

Le NIST classe les sources de biais en trois familles².

• Les biais systémiques : ils tiennent aux institutions et à l'histoire, et sont présents dans les données comme dans les pratiques tout au long du cycle de vie de l'IA².
• Les biais statistiques et computationnels : ils apparaissent quand l'échantillon ne représente pas la population². Un exemple donné : des données collectées par questionnaires en ligne ou récupérées sur les réseaux sociaux ne représentent que les utilisateurs d'une plateforme, mais servent parfois à entraîner des outils déployés dans des contextes beaucoup plus larges².
• Les biais humains : ce sont des erreurs systématiques de raisonnement, présentes dans les décisions des institutions, des groupes et des individus, y compris dans l'usage d'une application une fois déployée².

Pour les textes, le NIST observe que les jeux de données de traitement du langage diffèrent souvent de leurs usages réels, ce qui peut conduire à de la discrimination et à des écarts de performance². Pour la reconnaissance faciale, il cite la classification du genre : sa précision varie selon l'âge et le groupe ethnique, et un échantillon limité ou non représentatif d'un groupe donne une précision plus faible pour ce groupe².

• Ne confiez pas à une IA, seule, une décision qui touche des personnes (recrutement, évaluation). Elle prépare, une personne décide.
• Comparez les résultats. Soumettez à l'outil des cas voisins qui ne diffèrent que par une caractéristique personnelle et regardez si la réponse change. Dans un cas d'expérimentation d'une technologie, la CNIL a exigé une analyse systématique des erreurs du système et des éléments de réflexion sur les risques de discrimination³.
• Demandez-vous qui n'est pas dans les données. Le NIST pose la question « Who is counted, and who is not counted? » et note que les populations autochtones, les femmes et les personnes handicapées sont constamment sous-représentées dans les jeux de données².
• Signalez les écarts constatés à la personne responsable de l'outil dans l'entreprise, avec les exemples.
• Gardez une validation humaine qui regarde le résultat avec un esprit critique et qui peut le contredire. Le NIST rapporte que des chercheurs recommandent aux utilisateurs d'une sortie automatisée de « consider a deliberate and modest approach »².

• La confiance excessive. Le NIST appelle « automation complacency » le fait de trop se reposer sur des systèmes automatisés². Il explique aussi que des experts peuvent utiliser l'IA pour alléger la pression de processus plus subjectifs, au nom d'une objectivité présumée de l'automatisation, et s'en servir comme couverture de leurs propres biais implicites².
• Les données non représentatives. Un outil entraîné sur des données qui ne reflètent pas les personnes qu'il évalue se trompe plus souvent sur elles².
• Les groupes moyens appliqués aux individus. Le NIST nomme « ecological fallacy » le fait de déduire quelque chose d'une personne à partir du groupe auquel elle appartient².
• Un contrôle de façade. Le NIST juge que, sans soutien procédural et culturel important, les attentes optimistes envers le rôle de l'humain qui supervise ne se vérifient pas en pratique².
• L'exemple du recrutement. La CNIL a contrôlé un organisme qui évaluait automatiquement des CV vidéo enregistrés par des candidats. Elle a constaté des biais discriminatoires : le système, censé qualifier les compétences de savoir-être, ne prenait pas en compte la diversité des accents³.
• Un cas connu sous un titre. La liste de références du NIST cite un article de Reuters daté d'octobre 2018 intitulé « Amazon scraps secret AI recruiting tool that showed bias against women »². Les sources citées ici ne décrivent pas ce cas en détail.

Le règlement européen sur l'IA est le règlement (UE) 2024/1689⁴. Il classe les usages par niveau de risque. Les outils d'IA pour l'emploi et la gestion des travailleurs, comme les logiciels de tri de CV, font partie des cas d'usage à haut risque. La notation des examens dans l'éducation aussi⁴.

Parmi les obligations des systèmes à haut risque figurent une haute qualité des jeux de données pour réduire au minimum les risques de résultats discriminatoires, la journalisation de l'activité, une documentation détaillée et des mesures de surveillance humaine appropriées⁴.

Sur le calendrier, la Commission indique que le règlement est entré en vigueur le 1er août 2024. Les règles pour certains domaines à haut risque, dont l'emploi, s'appliqueront à partir du 2 décembre 2027⁴.

Côté méthode, le cadre de gestion des risques de l'IA du NIST est destiné à un usage volontaire et vise à mieux intégrer des considérations de fiabilité dans la conception, le développement, l'usage et l'évaluation des systèmes d'IA⁵.