Pregiudizi algoritmici e stereotipi nei dati

Il NIST classifica le fonti di bias in tre famiglie².

• I bias sistemici: dipendono dalle istituzioni e dalla storia e sono presenti nei dati come nelle pratiche lungo tutto il ciclo di vita dell'IA².
• I bias statistici e computazionali: compaiono quando il campione non rappresenta la popolazione². Un esempio riportato: i dati raccolti con questionari online o ricavati dai social network rappresentano soltanto gli utenti di una piattaforma, ma a volte servono ad addestrare strumenti impiegati in contesti molto più ampi².
• I bias umani: sono errori sistematici di ragionamento, presenti nelle decisioni di istituzioni, gruppi e individui, anche nell'uso di un'applicazione una volta distribuita².

Per i testi, il NIST osserva che i set di dati per l'elaborazione del linguaggio naturale spesso differiscono dai loro usi reali, il che può portare a discriminazioni e a differenze di prestazioni². Per il riconoscimento facciale, cita la classificazione del genere: la sua precisione varia a seconda dell'età e del gruppo etnico, e un campione limitato o non rappresentativo di un gruppo dà una precisione più bassa per quel gruppo².

• Non affidi a un'IA, da sola, una decisione che riguarda delle persone (assunzione, valutazione). L'IA prepara, una persona decide.
• Confronti i risultati. Sottoponga allo strumento casi simili che differiscono solo per una caratteristica personale e verifichi se la risposta cambia. In un caso di sperimentazione di una tecnologia, la CNIL ha preteso un'analisi sistematica degli errori del sistema e degli elementi di riflessione sui rischi di discriminazione³.
• Si chieda chi non è presente nei dati. Il NIST pone la domanda « Who is counted, and who is not counted? » e osserva che le popolazioni indigene, le donne e le persone con disabilità sono costantemente sottorappresentate nei set di dati².
• Segnali gli scarti rilevati al responsabile dello strumento in azienda, con gli esempi.
• Mantenga una convalida umana che esamini il risultato con spirito critico e che possa contraddirlo. Il NIST riferisce che alcuni ricercatori raccomandano a chi utilizza un risultato automatizzato di « consider a deliberate and modest approach »².

• L'eccesso di fiducia. Il NIST chiama « automation complacency » l'abitudine ad affidarsi troppo ai sistemi automatizzati². Spiega anche che degli esperti possono usare l'IA per alleggerire la pressione di processi più soggettivi, in nome di una presunta oggettività dell'automazione, e servirsene come copertura dei propri bias impliciti².
• I dati non rappresentativi. Uno strumento addestrato su dati che non riflettono le persone che valuta sbaglia più spesso nei loro confronti².
• I gruppi medi applicati agli individui. Il NIST chiama « ecological fallacy » il fatto di dedurre qualcosa su una persona a partire dal gruppo a cui appartiene².
• Un controllo di facciata. Il NIST ritiene che, senza un sostegno procedurale e culturale importante, le aspettative ottimistiche sul ruolo dell'essere umano che supervisiona non trovino riscontro nella pratica².
• L'esempio della selezione del personale. La CNIL ha controllato un organismo che valutava in modo automatico dei CV video registrati dai candidati. Ha rilevato bias discriminatori: il sistema, che avrebbe dovuto qualificare le competenze comportamentali, non teneva conto della diversità degli accenti³.
• Un caso noto per il titolo. L'elenco dei riferimenti del NIST cita un articolo di Reuters dell'ottobre 2018 intitolato « Amazon scraps secret AI recruiting tool that showed bias against women »². Le fonti citate qui non descrivono questo caso in dettaglio.

Il regolamento europeo sull'IA è il regolamento (UE) 2024/1689⁴. Classifica gli usi in base al livello di rischio. Gli strumenti di IA per l'occupazione e la gestione dei lavoratori, come i software di selezione dei CV, rientrano tra i casi d'uso ad alto rischio. Vi rientra anche la valutazione degli esami nell'istruzione⁴.

Tra gli obblighi dei sistemi ad alto rischio figurano un'elevata qualità dei set di dati per ridurre al minimo i rischi di risultati discriminatori, la registrazione dell'attività, una documentazione dettagliata e misure adeguate di sorveglianza umana⁴.

Quanto al calendario, la Commissione indica che il regolamento è entrato in vigore il 1° agosto 2024. Le norme per alcuni ambiti ad alto rischio, tra cui l'occupazione, si applicheranno a partire dal 2 dicembre 2027⁴.

Sul piano del metodo, il quadro di gestione dei rischi dell'IA del NIST è destinato a un uso volontario e mira a integrare meglio le considerazioni di affidabilità nella progettazione, nello sviluppo, nell'uso e nella valutazione dei sistemi di IA⁵.