--- id: CP-274 slug: algorithmische-verzerrungen-stereotype-trainingsdaten lang: de title: Algorithmische Verzerrungen und Stereotype in Daten description: Eine KI übernimmt die Stereotype ihrer Trainingsdaten und wirkt dabei neutral. Was Beschäftigte prüfen und was der AI Act vorsieht. canonical_url: https://startbrain.io/cyberpedia/de/articles/algorithmische-verzerrungen-stereotype-trainingsdaten/ markdown_url: https://startbrain.io/cyberpedia/de/articles/algorithmische-verzerrungen-stereotype-trainingsdaten.md publisher: Brain (https://startbrain.io) license: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) cite_as: Brain, „Algorithmische Verzerrungen und Stereotype in Daten“, Cyberpedia, 2026. https://startbrain.io/cyberpedia/de/articles/algorithmische-verzerrungen-stereotype-trainingsdaten/ (CC BY 4.0) wing: 4 theme: use_responsibly reflex: air-007 schema: G2 updated: "2026-11-03" translations: de: https://startbrain.io/cyberpedia/de/articles/algorithmische-verzerrungen-stereotype-trainingsdaten/ fr: https://startbrain.io/cyberpedia/fr/articles/biais-algorithmiques-stereotypes-donnees/ en: https://startbrain.io/cyberpedia/en/articles/algorithmic-bias-training-data-stereotypes/ es: https://startbrain.io/cyberpedia/es/articles/sesgos-algoritmicos-estereotipos-datos/ sources: - "n": 1 title: Towards a Standard for Identifying and Managing Bias in Artificial Intelligence publisher: NIST url: https://www.nist.gov/publications/towards-standard-identifying-and-managing-bias-artificial-intelligence published: "2022-03-15" accessed: "2026-11-03" - "n": 2 title: Towards a Standard for Identifying and Managing Bias in Artificial Intelligence publisher: NIST url: https://nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.SP.1270.pdf accessed: "2026-11-03" - "n": 3 title: "IA : comment être en conformité avec le RGPD ?" publisher: CNIL url: https://www.cnil.fr/fr/intelligence-artificielle/ia-comment-etre-en-conformite-avec-le-rgpd published: "2022-04-05" accessed: "2026-11-03" - "n": 4 title: Législation sur l’IA publisher: Commission européenne url: https://digital-strategy.ec.europa.eu/fr/policies/regulatory-framework-ai accessed: "2026-11-03" - "n": 5 title: AI Risk Management Framework publisher: NIST url: https://www.nist.gov/itl/ai-risk-management-framework accessed: "2026-11-03" --- # Algorithmische Verzerrungen und Stereotype in Daten Ein KI-Werkzeug lernt aus Daten, die Menschen erzeugt haben, in Organisationen und einer Gesellschaft mit eigenen Gewohnheiten und eigenen Ungleichheiten. Was es daraus ableitet, kann Stereotype wiedergeben, ohne dass dies jemand beabsichtigt hat. Das NIST, die US-amerikanische Normungsbehörde, schreibt, Verzerrungen (Biases) „can lead to harmful impacts regardless of intent“ [1]. Das Ergebnis erscheint als Zahl oder als Rangfolge und wirkt dadurch objektiv. Dieser Beitrag erklärt, woher solche Abweichungen kommen und was Beschäftigte tun, die KI einsetzen, um Personen zu sortieren oder zu bewerten. ## In 30 Sekunden - Wo es vorkommt: Vorauswahl von Lebensläufen, Scoring, Bewertung von Bewerbenden, Erzeugung von Texten oder Bildern, überall dort, wo KI Personen einordnet oder beschreibt. - Was geschieht: Das Werkzeug gibt Abweichungen aus seinen Daten wieder, und seine Antwort wirkt neutral. - Der Reflex: Lassen Sie eine KI nie allein über eine Angelegenheit entscheiden, die Personen betrifft, vergleichen Sie die Ergebnisse, melden Sie Auffälligkeiten und behalten Sie eine menschliche Freigabe bei. - Wenn es schon passiert ist: Informieren Sie die für das Werkzeug verantwortliche Person oder die zuständige Ansprechperson und lassen Sie die Entscheidung von einem Menschen überprüfen. ## Direkte Fragen ### Warum gibt eine KI Stereotype wieder? Weil sie aus Daten lernt, die Stereotype enthalten. Das NIST unterscheidet drei Kategorien von Verzerrungen in der KI: systemische, statistische und menschliche [2]. Systemische Verzerrungen stammen aus Verfahren und Praktiken von Institutionen, die manche Gruppen begünstigen und andere benachteiligen. Dafür braucht es keine bewussten Vorurteile: Es genügt, dass die Mehrheit den bestehenden Regeln und Normen folgt [2]. Diese Verzerrungen finden sich in den Datensätzen, die in der KI verwendet werden [2]. ### Können Daten korrekt und trotzdem verzerrt sein? Ja. Die CNIL beschreibt zwei Fälle. Die Trainingsdaten können nicht repräsentativ sein. Sie können auch die „reale Welt“ gut abbilden und trotzdem einen diskriminierenden Charakter widerspiegeln, zum Beispiel die Fortschreibung von Lohnunterschieden zwischen Frauen und Männern [3]. Das NIST sieht es ähnlich: Auch repräsentative Datensätze können tief verankerte historische und systemische Verzerrungen enthalten [2]. ### Warum wirkt die Antwort neutral? Das NIST stellt fest, dass Verzerrungen in technischen Prozessen weit verbreitet sind und unabhängig von der Absicht schaden können [1]. Das Werkzeug zeigt nicht, woher seine Antwort stammt. Die Europäische Kommission weist darauf hin, dass sich oft nicht feststellen lässt, warum ein KI-System eine Entscheidung getroffen hat, und dass dadurch schwer zu beurteilen ist, ob eine Person ungerecht benachteiligt wurde, etwa bei einer Einstellungsentscheidung [4]. ### Genügt es, Geschlecht oder Herkunft aus den Daten zu entfernen? Nein, so das NIST. Entwickler schließen geschützte Merkmale manchmal aus, doch das löst das Problem nicht, weil sich die Information auf anderen Wegen ableiten lässt [2]. ### Genügt es, wenn ein Mensch das Ergebnis durchsieht? Nicht automatisch. Das NIST bezeichnet die Annahme, ein Mensch könne ein algorithmisches Entscheidungssystem wirksam und objektiv beaufsichtigen, als problematische Hypothese. Es fügt hinzu, dass Menschen beim Einsatz dieser Systeme ihre eigenen kognitiven Verzerrungen mitbringen [2]. Die menschliche Freigabe braucht deshalb eine Methode, die weiter unten beschrieben ist. ## Wie es funktioniert Das NIST ordnet die Quellen von Verzerrungen in drei Gruppen [2]. - Systemische Verzerrungen: Sie gehen auf Institutionen und Geschichte zurück und sind in Daten wie in Praktiken über den gesamten Lebenszyklus der KI vorhanden [2]. - Statistische und computergestützte Verzerrungen: Sie entstehen, wenn die Stichprobe die Bevölkerung nicht abbildet [2]. Ein genanntes Beispiel: Daten aus Online-Fragebögen oder aus sozialen Netzwerken repräsentieren nur die Nutzerinnen und Nutzer einer Plattform, dienen aber manchmal dazu, Werkzeuge zu trainieren, die in sehr viel breiteren Zusammenhängen eingesetzt werden [2]. - Menschliche Verzerrungen: Das sind systematische Denkfehler in den Entscheidungen von Institutionen, Gruppen und Einzelnen, auch bei der Nutzung einer Anwendung nach ihrer Einführung [2]. Für Texte beobachtet das NIST, dass Datensätze zur Sprachverarbeitung oft von ihrer tatsächlichen Verwendung abweichen, was zu Diskriminierung und Leistungsunterschieden führen kann [2]. Bei der Gesichtserkennung nennt es die Geschlechtsklassifikation: Ihre Genauigkeit schwankt je nach Alter und ethnischer Gruppe, und eine begrenzte oder für eine Gruppe nicht repräsentative Stichprobe führt für diese Gruppe zu geringerer Genauigkeit [2]. ## Was Sie tun - Überlassen Sie einer KI allein keine Entscheidung, die Personen betrifft (Personalauswahl, Beurteilung). Sie bereitet vor, ein Mensch entscheidet. - Vergleichen Sie die Ergebnisse. Legen Sie dem Werkzeug ähnliche Fälle vor, die sich nur in einem persönlichen Merkmal unterscheiden, und prüfen Sie, ob sich die Antwort ändert. In einem Fall der Erprobung einer Technologie verlangte die CNIL eine systematische Analyse der Fehler des Systems sowie Überlegungen zu den Diskriminierungsrisiken [3]. - Fragen Sie sich, wer in den Daten fehlt. Das NIST stellt die Frage „Who is counted, and who is not counted?“ und hält fest, dass indigene Bevölkerungsgruppen, Frauen und Menschen mit Behinderungen in Datensätzen durchgehend unterrepräsentiert sind [2]. - Melden Sie festgestellte Abweichungen mit den Beispielen an die Person, die im Unternehmen für das Werkzeug verantwortlich ist. - Behalten Sie eine menschliche Freigabe bei, die das Ergebnis kritisch betrachtet und ihm widersprechen kann. Das NIST berichtet, dass Forschende den Nutzerinnen und Nutzern einer automatisierten Ausgabe empfehlen, „consider a deliberate and modest approach“ [2]. ## Die Fallstricke - Übermäßiges Vertrauen. Das NIST nennt es „automation complacency“, wenn man sich zu sehr auf automatisierte Systeme verlässt [2]. Es erklärt außerdem, dass Fachleute KI nutzen können, um den Druck subjektiverer Prozesse zu mindern, im Namen einer angeblichen Objektivität der Automatisierung, und sie als Deckung für ihre eigenen impliziten Vorurteile verwenden [2]. - Nicht repräsentative Daten. Ein Werkzeug, das mit Daten trainiert wurde, die die bewerteten Personen nicht abbilden, irrt sich bei ihnen häufiger [2]. - Gruppendurchschnitte, auf Einzelne angewandt. Das NIST nennt es „ecological fallacy“, wenn von der Gruppe, der eine Person angehört, auf diese Person geschlossen wird [2]. - Eine Scheinkontrolle. Das NIST urteilt, dass sich die optimistischen Erwartungen an die Rolle des aufsichtführenden Menschen ohne erhebliche verfahrensmäßige und kulturelle Unterstützung in der Praxis nicht bestätigen [2]. - Das Beispiel Personalauswahl. Die CNIL prüfte eine Einrichtung, die von Bewerbenden aufgenommene Video-Lebensläufe automatisch bewertete. Sie stellte diskriminierende Verzerrungen fest: Das System, das die Kompetenzen im Umgang mit anderen beurteilen sollte, berücksichtigte die Vielfalt der Akzente nicht [3]. - Ein bekannter Fall, nur dem Titel nach. Die Literaturliste des NIST führt einen Reuters-Artikel vom Oktober 2018 mit dem Titel „Amazon scraps secret AI recruiting tool that showed bias against women“ an [2]. Die hier zitierten Quellen beschreiben diesen Fall nicht im Einzelnen. ## Was das europäische Recht sagt Die europäische KI-Verordnung ist die Verordnung (EU) 2024/1689 [4]. Sie stuft Anwendungen nach Risikostufen ein. KI-Werkzeuge für Beschäftigung und Personalverwaltung, etwa Software zur Vorauswahl von Lebensläufen, gehören zu den Hochrisiko-Anwendungsfällen. Die Bewertung von Prüfungen im Bildungswesen ebenso [4]. Zu den Pflichten für Hochrisiko-Systeme gehören Datensätze von hoher Qualität, um das Risiko diskriminierender Ergebnisse zu minimieren, die Protokollierung der Aktivität, eine ausführliche Dokumentation und geeignete Maßnahmen zur menschlichen Aufsicht [4]. Zum Zeitplan gibt die Kommission an, dass die Verordnung am 1. August 2024 in Kraft getreten ist. Die Vorschriften für bestimmte Hochrisiko-Bereiche, darunter die Beschäftigung, gelten ab dem 2. Dezember 2027 [4]. Zur Methode: Das KI-Risikomanagement-Rahmenwerk des NIST ist für die freiwillige Nutzung gedacht und soll Aspekte der Vertrauenswürdigkeit besser in Entwurf, Entwicklung, Einsatz und Bewertung von KI-Systemen einbeziehen [5]. ## Quellen 1. NIST, „Towards a Standard for Identifying and Managing Bias in Artificial Intelligence“, 15. März 2022. https://www.nist.gov/publications/towards-standard-identifying-and-managing-bias-artificial-intelligence (abgerufen am 3. November 2026) 2. NIST, „Towards a Standard for Identifying and Managing Bias in Artificial Intelligence“. https://nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.SP.1270.pdf (abgerufen am 3. November 2026) 3. CNIL, „IA : comment être en conformité avec le RGPD ?“, 5. April 2022. https://www.cnil.fr/fr/intelligence-artificielle/ia-comment-etre-en-conformite-avec-le-rgpd (abgerufen am 3. November 2026) 4. Commission européenne, „Législation sur l’IA“. https://digital-strategy.ec.europa.eu/fr/policies/regulatory-framework-ai (abgerufen am 3. November 2026) 5. NIST, „AI Risk Management Framework“. https://www.nist.gov/itl/ai-risk-management-framework (abgerufen am 3. November 2026) --- Originalquelle: Cyberpedia, die öffentliche Enzyklopädie zu Cybersicherheit und KI von Brain. Kanonische Version: https://startbrain.io/cyberpedia/de/articles/algorithmische-verzerrungen-stereotype-trainingsdaten/ Sie dürfen diesen Text unter der Lizenz CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) frei weiterverwenden, sofern Sie „Brain, Cyberpedia“ mit einem Link auf die obige Adresse nennen.