Sesgos algorítmicos y estereotipos de los datos

El NIST clasifica las fuentes de sesgo en tres familias².

• Los sesgos sistémicos: dependen de las instituciones y de la historia, y están presentes tanto en los datos como en las prácticas a lo largo de todo el ciclo de vida de la IA².
• Los sesgos estadísticos y computacionales: aparecen cuando la muestra no representa a la población². Un ejemplo que se da: los datos recogidos mediante cuestionarios en línea u obtenidos de las redes sociales solo representan a los usuarios de una plataforma, pero a veces sirven para entrenar herramientas que se despliegan en contextos mucho más amplios².
• Los sesgos humanos: son errores sistemáticos de razonamiento, presentes en las decisiones de instituciones, grupos e individuos, incluido el uso de una aplicación una vez desplegada².

En cuanto a los textos, el NIST observa que los conjuntos de datos de procesamiento del lenguaje suelen diferir de sus usos reales, lo que puede conducir a discriminación y a diferencias de rendimiento². En cuanto al reconocimiento facial, cita la clasificación del género: su precisión varía según la edad y el grupo étnico, y una muestra limitada o no representativa de un grupo da una precisión menor para ese grupo².

• No confíe a una IA, sola, una decisión que afecte a personas (contratación, evaluación). La IA prepara, una persona decide.
• Compare los resultados. Plantee a la herramienta casos parecidos que solo se diferencien en una característica personal y observe si la respuesta cambia. En un caso de experimentación con una tecnología, la CNIL exigió un análisis sistemático de los errores del sistema y elementos de reflexión sobre los riesgos de discriminación³.
• Pregúntese quién no está en los datos. El NIST plantea la pregunta « Who is counted, and who is not counted? » y señala que las poblaciones indígenas, las mujeres y las personas con discapacidad están constantemente infrarrepresentadas en los conjuntos de datos².
• Comunique las diferencias que observe a la persona responsable de la herramienta en la empresa, con ejemplos.
• Mantenga una validación humana que examine el resultado con espíritu crítico y pueda contradecirlo. El NIST indica que algunos investigadores recomiendan a los usuarios de una salida automatizada « consider a deliberate and modest approach »².

• La confianza excesiva. El NIST llama « automation complacency » al hecho de depender demasiado de los sistemas automatizados². Explica también que los expertos pueden usar la IA para aliviar la presión de procesos más subjetivos, en nombre de una supuesta objetividad de la automatización, y servirse de ella como pantalla de sus propios sesgos implícitos².
• Los datos no representativos. Una herramienta entrenada con datos que no reflejan a las personas que evalúa se equivoca más con ellas².
• Los grupos medios aplicados a los individuos. El NIST llama « ecological fallacy » a deducir algo sobre una persona a partir del grupo al que pertenece².
• Un control de fachada. El NIST considera que, sin un apoyo procedimental y cultural importante, las expectativas optimistas sobre el papel del humano que supervisa no se cumplen en la práctica².
• El ejemplo de la contratación. La CNIL controló a un organismo que evaluaba automáticamente currículums en vídeo grabados por candidatos. Constató sesgos discriminatorios: el sistema, que debía calificar las competencias de saber estar, no tenía en cuenta la diversidad de acentos³.
• Un caso conocido por su título. La lista de referencias del NIST cita un artículo de Reuters de octubre de 2018 titulado « Amazon scraps secret AI recruiting tool that showed bias against women »². Las fuentes citadas aquí no describen este caso en detalle.

El reglamento europeo sobre la IA es el Reglamento (UE) 2024/1689⁴. Clasifica los usos por nivel de riesgo. Las herramientas de IA para el empleo y la gestión de los trabajadores, como los programas de filtrado de currículums, forman parte de los casos de uso de alto riesgo. También la calificación de exámenes en el ámbito educativo⁴.

Entre las obligaciones de los sistemas de alto riesgo figuran una alta calidad de los conjuntos de datos para reducir al mínimo los riesgos de resultados discriminatorios, el registro de la actividad, una documentación detallada y medidas adecuadas de supervisión humana⁴.

En cuanto al calendario, la Comisión indica que el reglamento entró en vigor el 1 de agosto de 2024. Las normas para determinados ámbitos de alto riesgo, entre ellos el empleo, se aplicarán a partir del 2 de diciembre de 2027⁴.

En cuanto al método, el marco de gestión de riesgos de la IA del NIST está pensado para un uso voluntario y pretende integrar mejor las consideraciones de fiabilidad en el diseño, el desarrollo, el uso y la evaluación de los sistemas de IA⁵.