Algorithmische Verzerrungen und Stereotype in Daten

Das NIST ordnet die Quellen von Verzerrungen in drei Gruppen².

• Systemische Verzerrungen: Sie gehen auf Institutionen und Geschichte zurück und sind in Daten wie in Praktiken über den gesamten Lebenszyklus der KI vorhanden².
• Statistische und computergestützte Verzerrungen: Sie entstehen, wenn die Stichprobe die Bevölkerung nicht abbildet². Ein genanntes Beispiel: Daten aus Online-Fragebögen oder aus sozialen Netzwerken repräsentieren nur die Nutzerinnen und Nutzer einer Plattform, dienen aber manchmal dazu, Werkzeuge zu trainieren, die in sehr viel breiteren Zusammenhängen eingesetzt werden².
• Menschliche Verzerrungen: Das sind systematische Denkfehler in den Entscheidungen von Institutionen, Gruppen und Einzelnen, auch bei der Nutzung einer Anwendung nach ihrer Einführung².

Für Texte beobachtet das NIST, dass Datensätze zur Sprachverarbeitung oft von ihrer tatsächlichen Verwendung abweichen, was zu Diskriminierung und Leistungsunterschieden führen kann². Bei der Gesichtserkennung nennt es die Geschlechtsklassifikation: Ihre Genauigkeit schwankt je nach Alter und ethnischer Gruppe, und eine begrenzte oder für eine Gruppe nicht repräsentative Stichprobe führt für diese Gruppe zu geringerer Genauigkeit².

• Überlassen Sie einer KI allein keine Entscheidung, die Personen betrifft (Personalauswahl, Beurteilung). Sie bereitet vor, ein Mensch entscheidet.
• Vergleichen Sie die Ergebnisse. Legen Sie dem Werkzeug ähnliche Fälle vor, die sich nur in einem persönlichen Merkmal unterscheiden, und prüfen Sie, ob sich die Antwort ändert. In einem Fall der Erprobung einer Technologie verlangte die CNIL eine systematische Analyse der Fehler des Systems sowie Überlegungen zu den Diskriminierungsrisiken³.
• Fragen Sie sich, wer in den Daten fehlt. Das NIST stellt die Frage „Who is counted, and who is not counted?“ und hält fest, dass indigene Bevölkerungsgruppen, Frauen und Menschen mit Behinderungen in Datensätzen durchgehend unterrepräsentiert sind².
• Melden Sie festgestellte Abweichungen mit den Beispielen an die Person, die im Unternehmen für das Werkzeug verantwortlich ist.
• Behalten Sie eine menschliche Freigabe bei, die das Ergebnis kritisch betrachtet und ihm widersprechen kann. Das NIST berichtet, dass Forschende den Nutzerinnen und Nutzern einer automatisierten Ausgabe empfehlen, „consider a deliberate and modest approach“².

• Übermäßiges Vertrauen. Das NIST nennt es „automation complacency“, wenn man sich zu sehr auf automatisierte Systeme verlässt². Es erklärt außerdem, dass Fachleute KI nutzen können, um den Druck subjektiverer Prozesse zu mindern, im Namen einer angeblichen Objektivität der Automatisierung, und sie als Deckung für ihre eigenen impliziten Vorurteile verwenden².
• Nicht repräsentative Daten. Ein Werkzeug, das mit Daten trainiert wurde, die die bewerteten Personen nicht abbilden, irrt sich bei ihnen häufiger².
• Gruppendurchschnitte, auf Einzelne angewandt. Das NIST nennt es „ecological fallacy“, wenn von der Gruppe, der eine Person angehört, auf diese Person geschlossen wird².
• Eine Scheinkontrolle. Das NIST urteilt, dass sich die optimistischen Erwartungen an die Rolle des aufsichtführenden Menschen ohne erhebliche verfahrensmäßige und kulturelle Unterstützung in der Praxis nicht bestätigen².
• Das Beispiel Personalauswahl. Die CNIL prüfte eine Einrichtung, die von Bewerbenden aufgenommene Video-Lebensläufe automatisch bewertete. Sie stellte diskriminierende Verzerrungen fest: Das System, das die Kompetenzen im Umgang mit anderen beurteilen sollte, berücksichtigte die Vielfalt der Akzente nicht³.
• Ein bekannter Fall, nur dem Titel nach. Die Literaturliste des NIST führt einen Reuters-Artikel vom Oktober 2018 mit dem Titel „Amazon scraps secret AI recruiting tool that showed bias against women“ an². Die hier zitierten Quellen beschreiben diesen Fall nicht im Einzelnen.

Die europäische KI-Verordnung ist die Verordnung (EU) 2024/1689⁴. Sie stuft Anwendungen nach Risikostufen ein. KI-Werkzeuge für Beschäftigung und Personalverwaltung, etwa Software zur Vorauswahl von Lebensläufen, gehören zu den Hochrisiko-Anwendungsfällen. Die Bewertung von Prüfungen im Bildungswesen ebenso⁴.

Zu den Pflichten für Hochrisiko-Systeme gehören Datensätze von hoher Qualität, um das Risiko diskriminierender Ergebnisse zu minimieren, die Protokollierung der Aktivität, eine ausführliche Dokumentation und geeignete Maßnahmen zur menschlichen Aufsicht⁴.

Zum Zeitplan gibt die Kommission an, dass die Verordnung am 1. August 2024 in Kraft getreten ist. Die Vorschriften für bestimmte Hochrisiko-Bereiche, darunter die Beschäftigung, gelten ab dem 2. Dezember 2027⁴.

Zur Methode: Das KI-Risikomanagement-Rahmenwerk des NIST ist für die freiwillige Nutzung gedacht und soll Aspekte der Vertrauenswürdigkeit besser in Entwurf, Entwicklung, Einsatz und Bewertung von KI-Systemen einbeziehen⁵.