--- id: CP-274 slug: pregiudizi-algoritmici-stereotipi-dati lang: it title: Pregiudizi algoritmici e stereotipi nei dati description: Un'IA riprende gli stereotipi dei suoi dati di addestramento pur sembrando neutrale. Cosa verifica il dipendente e cosa prevede l'AI Act. canonical_url: https://startbrain.io/cyberpedia/it/articles/pregiudizi-algoritmici-stereotipi-dati/ markdown_url: https://startbrain.io/cyberpedia/it/articles/pregiudizi-algoritmici-stereotipi-dati.md publisher: Brain (https://startbrain.io) license: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) cite_as: Brain, «Pregiudizi algoritmici e stereotipi nei dati», Cyberpedia, 2026. https://startbrain.io/cyberpedia/it/articles/pregiudizi-algoritmici-stereotipi-dati/ (CC BY 4.0) wing: 4 theme: use_responsibly reflex: air-007 schema: G2 updated: "2026-11-03" translations: it: https://startbrain.io/cyberpedia/it/articles/pregiudizi-algoritmici-stereotipi-dati/ fr: https://startbrain.io/cyberpedia/fr/articles/biais-algorithmiques-stereotypes-donnees/ en: https://startbrain.io/cyberpedia/en/articles/algorithmic-bias-training-data-stereotypes/ de: https://startbrain.io/cyberpedia/de/articles/algorithmische-verzerrungen-stereotype-trainingsdaten/ es: https://startbrain.io/cyberpedia/es/articles/sesgos-algoritmicos-estereotipos-datos/ nl: https://startbrain.io/cyberpedia/nl/articles/algoritmische-vooroordelen-stereotypen-data/ sources: - "n": 1 title: Towards a Standard for Identifying and Managing Bias in Artificial Intelligence publisher: NIST url: https://www.nist.gov/publications/towards-standard-identifying-and-managing-bias-artificial-intelligence published: "2022-03-15" accessed: "2026-11-03" - "n": 2 title: Towards a Standard for Identifying and Managing Bias in Artificial Intelligence publisher: NIST url: https://nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.SP.1270.pdf accessed: "2026-11-03" - "n": 3 title: "IA : comment être en conformité avec le RGPD ?" publisher: CNIL url: https://www.cnil.fr/fr/intelligence-artificielle/ia-comment-etre-en-conformite-avec-le-rgpd published: "2022-04-05" accessed: "2026-11-03" - "n": 4 title: Législation sur l’IA publisher: Commission européenne url: https://digital-strategy.ec.europa.eu/fr/policies/regulatory-framework-ai accessed: "2026-11-03" - "n": 5 title: AI Risk Management Framework publisher: NIST url: https://www.nist.gov/itl/ai-risk-management-framework accessed: "2026-11-03" --- # Pregiudizi algoritmici e stereotipi nei dati Uno strumento di IA impara da dati prodotti da persone, all'interno di organizzazioni e di una società con le proprie abitudini e le proprie disuguaglianze. Ciò che ne ricava può riprodurre degli stereotipi, senza che nessuno lo abbia voluto. Il NIST, l'ente statunitense di normazione, scrive che i pregiudizi (bias) « can lead to harmful impacts regardless of intent » [1]. Il risultato arriva in forma numerica o in una classifica, e per questo sembra oggettivo. Questa scheda spiega da dove nascono questi scarti e cosa fa un dipendente che usa l'IA per selezionare o valutare delle persone. ## In 30 secondi - Dove succede: selezione dei CV, punteggi, valutazione dei candidati, generazione di testi o immagini, ovunque l'IA classifichi o descriva delle persone. - Cosa succede: lo strumento riproduce gli scarti presenti nei suoi dati e la sua risposta sembra neutrale. - Il riflesso: non lasciare mai che un'IA decida da sola su una questione che riguarda delle persone, confrontare i risultati, segnalare gli scarti e mantenere una convalida umana. - Se è già successo: avvisare il responsabile dello strumento o il referente interessato e far riesaminare la decisione da una persona. ## Domande dirette ### Perché un'IA riproduce gli stereotipi? Perché impara da dati che li contengono. Il NIST distingue tre categorie di bias nell'IA: sistemici, statistici e umani [2]. I bias sistemici derivano dalle procedure e dalle pratiche di istituzioni che avvantaggiano alcuni gruppi e ne svantaggiano altri. Non occorre alcun pregiudizio consapevole: basta che la maggioranza segua le regole e le norme esistenti [2]. Questi bias si ritrovano nei set di dati usati nell'IA [2]. ### I dati possono essere corretti e tuttavia distorti? Sì. La CNIL descrive due casi. I dati di addestramento possono non essere rappresentativi. Possono anche rappresentare bene il « mondo reale » e riflettere comunque un carattere discriminatorio, per esempio la riproduzione delle differenze salariali tra donne e uomini [3]. Il NIST va nella stessa direzione: anche quando sono rappresentativi, i set di dati possono presentare bias storici e sistemici radicati [2]. ### Perché la risposta sembra neutrale? Il NIST osserva che i bias sono diffusi nei processi tecnologici e possono danneggiare a prescindere dall'intenzione [1]. Lo strumento non mostra da dove provenga la sua risposta. La Commissione europea rileva che spesso è impossibile sapere perché un sistema di IA abbia preso una decisione, e questo rende difficile stabilire se una persona sia stata svantaggiata ingiustamente, per esempio in una decisione di assunzione [4]. ### Togliere il sesso o l'origine dai dati basta? No, secondo il NIST. Gli sviluppatori a volte escludono gli attributi protetti, ma questo non risolve il problema, perché l'informazione può essere dedotta in altri modi [2]. ### Basta che un essere umano riveda il risultato per correggere l'errore? Non automaticamente. Il NIST definisce un'ipotesi problematica l'idea che un essere umano possa supervisionare in modo efficace e oggettivo un sistema decisionale algoritmico. Aggiunge che gli esseri umani portano i propri bias cognitivi nell'uso di questi sistemi [2]. La convalida umana richiede quindi un metodo, descritto più avanti. ## Come funziona Il NIST classifica le fonti di bias in tre famiglie [2]. - I bias sistemici: dipendono dalle istituzioni e dalla storia e sono presenti nei dati come nelle pratiche lungo tutto il ciclo di vita dell'IA [2]. - I bias statistici e computazionali: compaiono quando il campione non rappresenta la popolazione [2]. Un esempio riportato: i dati raccolti con questionari online o ricavati dai social network rappresentano soltanto gli utenti di una piattaforma, ma a volte servono ad addestrare strumenti impiegati in contesti molto più ampi [2]. - I bias umani: sono errori sistematici di ragionamento, presenti nelle decisioni di istituzioni, gruppi e individui, anche nell'uso di un'applicazione una volta distribuita [2]. Per i testi, il NIST osserva che i set di dati per l'elaborazione del linguaggio naturale spesso differiscono dai loro usi reali, il che può portare a discriminazioni e a differenze di prestazioni [2]. Per il riconoscimento facciale, cita la classificazione del genere: la sua precisione varia a seconda dell'età e del gruppo etnico, e un campione limitato o non rappresentativo di un gruppo dà una precisione più bassa per quel gruppo [2]. ## Cosa fa Lei - Non affidi a un'IA, da sola, una decisione che riguarda delle persone (assunzione, valutazione). L'IA prepara, una persona decide. - Confronti i risultati. Sottoponga allo strumento casi simili che differiscono solo per una caratteristica personale e verifichi se la risposta cambia. In un caso di sperimentazione di una tecnologia, la CNIL ha preteso un'analisi sistematica degli errori del sistema e degli elementi di riflessione sui rischi di discriminazione [3]. - Si chieda chi non è presente nei dati. Il NIST pone la domanda « Who is counted, and who is not counted? » e osserva che le popolazioni indigene, le donne e le persone con disabilità sono costantemente sottorappresentate nei set di dati [2]. - Segnali gli scarti rilevati al responsabile dello strumento in azienda, con gli esempi. - Mantenga una convalida umana che esamini il risultato con spirito critico e che possa contraddirlo. Il NIST riferisce che alcuni ricercatori raccomandano a chi utilizza un risultato automatizzato di « consider a deliberate and modest approach » [2]. ## Le insidie - L'eccesso di fiducia. Il NIST chiama « automation complacency » l'abitudine ad affidarsi troppo ai sistemi automatizzati [2]. Spiega anche che degli esperti possono usare l'IA per alleggerire la pressione di processi più soggettivi, in nome di una presunta oggettività dell'automazione, e servirsene come copertura dei propri bias impliciti [2]. - I dati non rappresentativi. Uno strumento addestrato su dati che non riflettono le persone che valuta sbaglia più spesso nei loro confronti [2]. - I gruppi medi applicati agli individui. Il NIST chiama « ecological fallacy » il fatto di dedurre qualcosa su una persona a partire dal gruppo a cui appartiene [2]. - Un controllo di facciata. Il NIST ritiene che, senza un sostegno procedurale e culturale importante, le aspettative ottimistiche sul ruolo dell'essere umano che supervisiona non trovino riscontro nella pratica [2]. - L'esempio della selezione del personale. La CNIL ha controllato un organismo che valutava in modo automatico dei CV video registrati dai candidati. Ha rilevato bias discriminatori: il sistema, che avrebbe dovuto qualificare le competenze comportamentali, non teneva conto della diversità degli accenti [3]. - Un caso noto per il titolo. L'elenco dei riferimenti del NIST cita un articolo di Reuters dell'ottobre 2018 intitolato « Amazon scraps secret AI recruiting tool that showed bias against women » [2]. Le fonti citate qui non descrivono questo caso in dettaglio. ## Cosa dice la legge europea Il regolamento europeo sull'IA è il regolamento (UE) 2024/1689 [4]. Classifica gli usi in base al livello di rischio. Gli strumenti di IA per l'occupazione e la gestione dei lavoratori, come i software di selezione dei CV, rientrano tra i casi d'uso ad alto rischio. Vi rientra anche la valutazione degli esami nell'istruzione [4]. Tra gli obblighi dei sistemi ad alto rischio figurano un'elevata qualità dei set di dati per ridurre al minimo i rischi di risultati discriminatori, la registrazione dell'attività, una documentazione dettagliata e misure adeguate di sorveglianza umana [4]. Quanto al calendario, la Commissione indica che il regolamento è entrato in vigore il 1° agosto 2024. Le norme per alcuni ambiti ad alto rischio, tra cui l'occupazione, si applicheranno a partire dal 2 dicembre 2027 [4]. Sul piano del metodo, il quadro di gestione dei rischi dell'IA del NIST è destinato a un uso volontario e mira a integrare meglio le considerazioni di affidabilità nella progettazione, nello sviluppo, nell'uso e nella valutazione dei sistemi di IA [5]. ## Fonti 1. NIST, «Towards a Standard for Identifying and Managing Bias in Artificial Intelligence», 15 marzo 2022. https://www.nist.gov/publications/towards-standard-identifying-and-managing-bias-artificial-intelligence (consultato il 3 novembre 2026) 2. NIST, «Towards a Standard for Identifying and Managing Bias in Artificial Intelligence». https://nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.SP.1270.pdf (consultato il 3 novembre 2026) 3. CNIL, «IA : comment être en conformité avec le RGPD ?», 5 aprile 2022. https://www.cnil.fr/fr/intelligence-artificielle/ia-comment-etre-en-conformite-avec-le-rgpd (consultato il 3 novembre 2026) 4. Commission européenne, «Législation sur l’IA». https://digital-strategy.ec.europa.eu/fr/policies/regulatory-framework-ai (consultato il 3 novembre 2026) 5. NIST, «AI Risk Management Framework». https://www.nist.gov/itl/ai-risk-management-framework (consultato il 3 novembre 2026) --- Fonte originale: Cyberpedia, l'enciclopedia pubblica di cybersicurezza e IA pubblicata da Brain. Versione canonica: https://startbrain.io/cyberpedia/it/articles/pregiudizi-algoritmici-stereotipi-dati/ Puoi riutilizzare liberamente questo testo con licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/), a condizione di citare «Brain, Cyberpedia» con un link all'indirizzo qui sopra.