Uprzedzenia algorytmiczne i stereotypy w danych

NIST dzieli źródła uprzedzeń na trzy rodziny².

• Uprzedzenia systemowe: wynikają z instytucji i historii i są obecne w danych oraz w praktykach przez cały cykl życia AI².
• Uprzedzenia statystyczne i obliczeniowe: pojawiają się, gdy próba nie reprezentuje populacji². Podany przykład: dane zebrane w ankietach internetowych lub pobrane z mediów społecznościowych reprezentują tylko użytkowników jednej platformy, a bywają używane do trenowania narzędzi stosowanych w znacznie szerszych kontekstach².
• Uprzedzenia ludzkie: to systematyczne błędy rozumowania, obecne w decyzjach instytucji, grup i jednostek, także w korzystaniu z aplikacji po jej wdrożeniu².

W przypadku tekstów NIST zauważa, że zbiory danych do przetwarzania języka naturalnego często różnią się od rzeczywistych zastosowań, co może prowadzić do dyskryminacji i różnic w skuteczności². W przypadku rozpoznawania twarzy przywołuje klasyfikację płci: jej dokładność zależy od wieku i grupy etnicznej, a ograniczona próba lub próba niereprezentatywna dla danej grupy daje niższą dokładność dla tej grupy².

• Nie należy powierzać AI samej decyzji dotyczącej osób (rekrutacja, ocena). AI przygotowuje, decyduje człowiek.
• Należy porównywać wyniki. Można podać narzędziu zbliżone przypadki, które różnią się tylko jedną cechą osobistą, i sprawdzić, czy odpowiedź się zmienia. W jednym przypadku eksperymentu z technologią CNIL zażądał systematycznej analizy błędów systemu oraz elementów refleksji nad ryzykiem dyskryminacji³.
• Warto zapytać, kogo w danych nie ma. NIST stawia pytanie „Who is counted, and who is not counted?” i zauważa, że ludność rdzenna, kobiety i osoby z niepełnosprawnościami są w zbiorach danych stale niedoreprezentowane².
• Zauważone różnice należy zgłosić osobie odpowiedzialnej za narzędzie w firmie, wraz z przykładami.
• Należy zachować weryfikację przez człowieka, który patrzy na wynik krytycznie i może go podważyć. NIST podaje, że badacze zalecają użytkownikom zautomatyzowanych wyników, by „consider a deliberate and modest approach”².

• Nadmierne zaufanie. NIST nazywa „automation complacency” zbytnie polegani na systemach zautomatyzowanych². Wyjaśnia też, że eksperci mogą używać AI, by zmniejszyć nacisk bardziej subiektywnych procesów, w imię domniemanej obiektywności automatyzacji, i wykorzystywać ją jako przykrywkę dla własnych ukrytych uprzedzeń².
• Dane niereprezentatywne. Narzędzie wytrenowane na danych, które nie odzwierciedlają ocenianych osób, myli się co do nich częściej².
• Średnie grup stosowane do jednostek. NIST nazywa „ecological fallacy” wnioskowanie o osobie na podstawie grupy, do której należy².
• Kontrola na pokaz. NIST ocenia, że bez istotnego wsparcia proceduralnego i kulturowego optymistyczne oczekiwania wobec roli nadzorującego człowieka nie sprawdzają się w praktyce².
• Przykład rekrutacji. CNIL skontrolował podmiot, który automatycznie oceniał filmowe CV nagrane przez kandydatów. Stwierdził uprzedzenia dyskryminujące: system, który miał oceniać kompetencje miękkie, nie uwzględniał różnorodności akcentów³.
• Znany przypadek, znany tylko z tytułu. Lista odniesień NIST przywołuje artykuł Reutersa z października 2018 roku zatytułowany „Amazon scraps secret AI recruiting tool that showed bias against women”². Cytowane tu źródła nie opisują tego przypadku szczegółowo.

Europejskie rozporządzenie o AI to rozporządzenie (UE) 2024/1689⁴. Klasyfikuje ono zastosowania według poziomu ryzyka. Narzędzia AI do zatrudnienia i zarządzania pracownikami, takie jak oprogramowanie do selekcji CV, należą do zastosowań wysokiego ryzyka. Podobnie ocenianie egzaminów w edukacji⁴.

Wśród obowiązków dla systemów wysokiego ryzyka są wysoka jakość zbiorów danych, by zminimalizować ryzyko dyskryminujących wyników, rejestrowanie aktywności, szczegółowa dokumentacja oraz odpowiednie środki nadzoru ze strony człowieka⁴.

Co do harmonogramu, Komisja podaje, że rozporządzenie weszło w życie 1 sierpnia 2024 roku. Przepisy dotyczące niektórych obszarów wysokiego ryzyka, w tym zatrudnienia, będą stosowane od 2 grudnia 2027 roku⁴.

Od strony metody ramy zarządzania ryzykiem AI opracowane przez NIST są przeznaczone do użytku dobrowolnego i mają lepiej uwzględniać kwestie wiarygodności w projektowaniu, rozwoju, użytkowaniu i ocenie systemów AI⁵.