Algoritmische vooroordelen en stereotypen in data

Het NIST deelt de bronnen van vooroordelen in drie families in².

• Systemische vooroordelen: ze hebben te maken met instellingen en geschiedenis en zitten zowel in de data als in de werkwijzen, gedurende de hele levenscyclus van de AI².
• Statistische en computationele vooroordelen: ze ontstaan wanneer de steekproef de populatie niet weergeeft². Een voorbeeld: data die zijn verzameld via online vragenlijsten of van sociale media zijn gehaald, vertegenwoordigen alleen de gebruikers van één platform, maar worden soms gebruikt om tools te trainen die in veel bredere contexten worden ingezet².
• Menselijke vooroordelen: dit zijn systematische denkfouten, aanwezig in de beslissingen van instellingen, groepen en individuen, ook bij het gebruik van een toepassing nadat die in gebruik is genomen².

Voor teksten stelt het NIST vast dat datasets voor taalverwerking vaak afwijken van het feitelijke gebruik, wat kan leiden tot discriminatie en prestatieverschillen². Bij gezichtsherkenning noemt het de classificatie van gender: de nauwkeurigheid varieert per leeftijd en etnische groep, en een beperkte of niet-representatieve steekproef van een groep geeft een lagere nauwkeurigheid voor die groep².

• Laat een beslissing die mensen raakt (werving, beoordeling) niet aan een AI alleen over. De AI bereidt voor, een persoon beslist.
• Vergelijk de resultaten. Leg de tool vergelijkbare gevallen voor die alleen in één persoonlijk kenmerk verschillen en kijk of het antwoord verandert. In een geval van experimenteren met een technologie eiste de CNIL een systematische analyse van de fouten van het systeem en overwegingen over de risico's op discriminatie³.
• Vraag u af wie er niet in de data zit. Het NIST stelt de vraag « Who is counted, and who is not counted? » en merkt op dat inheemse bevolkingsgroepen, vrouwen en mensen met een beperking voortdurend ondervertegenwoordigd zijn in datasets².
• Meld de vastgestelde afwijkingen, met voorbeelden, aan de persoon die in het bedrijf verantwoordelijk is voor de tool.
• Houd een menselijke controle die het resultaat kritisch bekijkt en het kan tegenspreken. Het NIST meldt dat onderzoekers gebruikers van een geautomatiseerd resultaat aanraden om « consider a deliberate and modest approach »².

• Overmatig vertrouwen. Het NIST gebruikt de term « automation complacency » voor het te veel vertrouwen op geautomatiseerde systemen². Het legt ook uit dat deskundigen AI kunnen gebruiken om de druk van subjectievere processen te verlichten, in naam van de veronderstelde objectiviteit van automatisering, en haar kunnen gebruiken als dekmantel voor hun eigen impliciete vooroordelen².
• Niet-representatieve data. Een tool die is getraind op data die de beoordeelde mensen niet weerspiegelen, maakt vaker fouten over hen².
• Groepsgemiddelden toegepast op individuen. Het NIST gebruikt de term « ecological fallacy » voor het afleiden van iets over een persoon uit de groep waartoe die persoon behoort².
• Een schijncontrole. Het NIST oordeelt dat zonder aanzienlijke procedurele en culturele ondersteuning de optimistische verwachtingen over de rol van de toezichthoudende mens in de praktijk niet standhouden².
• Het voorbeeld van werving. De CNIL controleerde een organisatie die automatisch video-cv's beoordeelde die kandidaten hadden opgenomen. Ze stelde discriminerende vooroordelen vast: het systeem, dat sociale vaardigheden moest beoordelen, hield geen rekening met de diversiteit aan accenten³.
• Een bekend geval, alleen met titel genoemd. In de referentielijst van het NIST staat een artikel van Reuters van oktober 2018 met de titel « Amazon scraps secret AI recruiting tool that showed bias against women »². De hier aangehaalde bronnen beschrijven dit geval niet in detail.

De Europese verordening over AI is Verordening (EU) 2024/1689⁴. Ze deelt toepassingen in naar risiconiveau. AI-tools voor werkgelegenheid en personeelsbeheer, zoals software voor cv-selectie, behoren tot de toepassingen met hoog risico. Dat geldt ook voor het beoordelen van examens in het onderwijs⁴.

Tot de verplichtingen voor systemen met hoog risico behoren datasets van hoge kwaliteit om het risico op discriminerende resultaten tot een minimum te beperken, het bijhouden van logboeken, uitgebreide documentatie en passende maatregelen voor menselijk toezicht⁴.

Over de planning geeft de Commissie aan dat de verordening op 1 augustus 2024 in werking is getreden. De regels voor bepaalde domeinen met hoog risico, waaronder werkgelegenheid, zullen van toepassing zijn vanaf 2 december 2027⁴.

Wat de aanpak betreft, is het kader voor risicobeheer van AI van het NIST bedoeld voor vrijwillig gebruik en wil het overwegingen over betrouwbaarheid beter verwerken in het ontwerp, de ontwikkeling, het gebruik en de evaluatie van AI-systemen⁵.