Cyberpediavon Brain

Automationsbias: eine KI nicht mehr prüfen, die oft recht hat

Warum man die Antworten einer KI, die sich selten irrt, irgendwann ungeprüft übernimmt, und welche einfachen Gewohnheiten das Prüfen erhalten.

Auf dieser Seite
  1. 1In 30 Sekunden
  2. 2Worum es geht
  3. 3Direkte Fragen
  4. 4Wie es funktioniert
  5. 5Was Sie tun
  6. 6Die Fallstricke
  7. 7Quellen
  8. 8Diesen Artikel zitieren

In 30 Sekunden

Wo es vorkommt
In jeder Arbeit, bei der eine KI einen Text, eine Zahl, eine Sortierung oder eine Empfehlung vorschlägt, die Sie anschließend freigeben.
Was geschieht
Man kann einem falschen Rat der Maschine folgen, obwohl man zuerst die richtige Antwort hatte[1].
Der Reflex
Vor der Freigabe einen Teil der Antwort nachlesen, ihre Quelle suchen und sich fragen, was geschieht, wenn sie falsch ist.
Wenn es schon passiert ist
Lesen Sie jetzt das Ergebnis noch einmal, das Sie ungeprüft übernommen haben, vor allem wenn es einen Kunden oder eine offizielle Zahl betrifft, und melden Sie jeden Fehler der Person, die es erhalten hat.

Worum es geht

Ein KI-Assistent, der meistens gute Antworten gibt, verändert nach und nach die Art, wie man ihn liest. Forscher nennen diese Verschiebung Automationsbias: die Neigung, den Vorschlägen einer Maschine zu folgen, ohne sie zu prüfen.

Eine Studie aus der Pathologie veranschaulicht das Risiko: Die KI verbessert dort die Gesamtleistung, und dennoch führt sie dazu, dass zunächst richtige Einschätzungen umgestoßen werden[1].

Direkte Fragen

Betrifft das wirklich kompetente Leute?

Ja. In einem 2024 veröffentlichten Online-Experiment sollten 28 im Fach ausgebildete Experten für Pathologie Prozentanteile von Tumorzellen schätzen. Die KI hat ihre Gesamtleistung verbessert, aber in 7 % der Fälle wurde eine zunächst richtige Einschätzung durch einen falschen Rat der Maschine umgestoßen[1].

Verschärft Zeitdruck das Problem?

In derselben Studie ließ der Zeitdruck den Bias nicht häufiger auftreten. Er scheint ihn jedoch verschärft zu haben: Die Teilnehmer stützten sich stärker auf die negativen Konsultationen des Systems, und ihre Leistung sank anschließend[1].

Genügt ein Warnsignal von anderer Seite, um uns zweifeln zu lassen?

Forscher haben diese Frage in drei Experimenten untersucht, die in den Niederlanden durchgeführt und 2021 online gestellt wurden. Sie betreffen das übermäßige Vertrauen in einen algorithmischen Rat, auch wenn andere Quellen Warnsignale senden, und die selektive Übernahme dieses Rats, wenn er zu Stereotypen passt[2].

Ändert der Kenntnisstand über KI etwas?

Ja. Ein vorab registriertes Experiment von 2023 mit 9.000 Erwachsenen in 9 Ländern hat eine Identifikationsaufgabe getestet. Personen, die am wenigsten über KI wissen, neigen etwas eher dazu, ihr zu misstrauen. Der Automationsbias tritt dann bereits bei noch niedrigem Kenntnisstand auf und stabilisiert sich, wenn die Kenntnis der KI sehr hoch wird[3]. Auch die Schwierigkeit der Aufgabe und die dem Werkzeug zugeschriebene Kompetenz spielen eine Rolle[3].

Wer ist am stärksten gefährdet?

Das hängt von der Einstellung gegenüber KI ab. In einem 2025 veröffentlichten Experiment mit 2.784 Teilnehmern erkannten diejenigen, die der KI misstrauten, Fehler besser. Diejenigen, die ihr gegenüber positiv eingestellt waren, zeigten eine übermäßige Abhängigkeit von ihren Vorschlägen[4].

Schneidet ein Team aus Mensch und KI besser ab als die KI allein?

Nicht unbedingt. Die Autoren einer 2025 veröffentlichten Studie erinnern daran, dass Teams aus Mensch und KI als weniger leistungsfähig als die KI allein beurteilt wurden, wobei als Grund der Automationsbias angeführt wird: Die Menschen folgen den Empfehlungen der KI, selbst wenn sie falsch sind[5].

Was sagt der AI Act?

Für Hochrisiko-KI-Systeme verlangt Artikel 14, dass die mit der Aufsicht betrauten Personen sich der „possible tendency of automatically relying or over-relying on the output produced by a high-risk AI system (automation bias)“ („mögliche Neigung, sich automatisch auf die Ausgabe eines Hochrisiko-KI-Systems zu verlassen oder ihr übermäßig zu vertrauen (Automationsbias)“) bewusst bleiben können[6]. Sie müssen außerdem entscheiden können, das System nicht zu verwenden oder seine Ausgabe zu ignorieren, zu ersetzen oder rückgängig zu machen[6]. Eine juristische Analyse von 2025 meint, dass bei der Konzentration auf die Anbieter Gestaltung und Kontext als Ursachen des Bias zu wenig behandelt werden[7].

Wie es funktioniert

Die Autoren der Pathologiestudie definieren den Bias als unkritisches Befolgen automatisierter Hinweise[1].

Auch die Art, wie die Arbeit organisiert ist, spielt eine Rolle. Im Experiment mit 2.784 Teilnehmern verringerte die Forderung nach einer Korrektur für jeden gemeldeten Fehler die Beteiligung und erhöhte die Annahme falscher Vorschläge[4]. Die Autoren folgern daraus, dass der Erfolg auch davon abhängt, wer die Ausgaben der KI nachliest und wie die Nachprüfung organisiert ist[4].

Was Sie tun

Diese Gewohnheiten greifen Empfehlungen von Microsoft für Teams auf, die Anwendungen auf Azure OpenAI bauen[8], sowie die Ergebnisse der oben genannten Studien.

  • Lesen Sie einen Teil der Antwort nach, bevor Sie sie freigeben, und ändern Sie ihn, statt ihn unverändert zu akzeptieren. Microsoft empfiehlt den Teams, das Werkzeug so zu gestalten, dass die Benutzer die Ausgaben nachlesen und korrigieren, bevor sie sie akzeptieren[8].
  • Suchen Sie die Quelle. Wenn ein Werkzeug seine Referenzen nennt, sieht man, woher der erzeugte Inhalt stammt[8]. Nennt das Werkzeug keine, suchen Sie die Information anderswo.
  • Prüfen Sie vorrangig die Zahlen. Microsoft nennt das Beispiel eines Systems, das bei Zahlen weniger genau ist: Es empfiehlt, sie zu kennzeichnen und dazu aufzufordern, sie zu überprüfen oder externe Quellen heranzuziehen[8].
  • Testen Sie Code, bevor Sie ihn akzeptieren. Bei Codevorschlägen erinnert Microsoft den Entwickler daran, sie nachzulesen und zu testen[8].
  • Fragen Sie sich, was geschieht, wenn die Antwort falsch ist. Microsoft hält fest, dass das Risiko durch Ungenauigkeiten bei der Zusammenfassung von Arztnotizen höher ist als bei der Zusammenfassung von Online-Artikeln[8].
  • Behalten Sie die Verantwortung für den endgültigen Inhalt. Microsoft empfiehlt, die Benutzer daran zu erinnern, dass sie für den Inhalt einstehen, den sie freigeben[8].

Die Fallstricke

  • Glauben, das Werkzeug mache die Überprüfung überflüssig. In der Pathologiestudie stieg die Gesamtleistung mit der KI, und der Bias bestand trotzdem[1].
  • Glauben, alle Unterstützungsmittel hätten dieselbe Wirkung. In einer Studie mit 108 Teilnehmern zu einer Entscheidung über die Diabetesversorgung haben die Vertrauensniveaus der KI, die Texterklärungen und die Leistungsvisualisierungen die Ergebnisse verbessert. Die menschliche Rückmeldung und die von der KI gestellten Fragen haben zum Nachdenken angeregt, aber die Leistung oft verringert, weil sie den kognitiven Aufwand erhöhten[5].
  • Meinen, das Gesetz regle das Thema. Der AI Act verlangt, dass Hochrisiko-Systeme so bereitgestellt werden, dass die mit der Aufsicht betrauten Personen sich des Bias bewusst bleiben können[6], aber die oben zitierte juristische Analyse fragt, ob es angebracht ist, das Risiko direkt zu regeln, statt nur Sensibilisierung zu verlangen[7].

Quellen

  1. arXiv, „Automation Bias in AI-Assisted Medical Decision-Making under Time Pressure in Computational Pathology“, 1. November 2024. https://arxiv.org/abs/2411.00998 (abgerufen am 14. November 2026)
  2. arXiv, „Human-AI Interactions in Public Sector Decision-Making: "Automation Bias" and "Selective Adherence" to Algorithmic Advice“, 3. März 2021. https://arxiv.org/abs/2103.02381 (abgerufen am 14. November 2026)
  3. arXiv, „Bending the Automation Bias Curve: A Study of Human and AI-based Decision Making in National Security Contexts“, 28. Juni 2023. https://arxiv.org/abs/2306.16507 (abgerufen am 14. November 2026)
  4. arXiv, „Bias in the Loop: How Humans Evaluate AI-Generated Suggestions“, 10. September 2025. https://arxiv.org/abs/2509.08514 (abgerufen am 14. November 2026)
  5. arXiv, „Engaging with AI: How Interface Design Shapes Human-AI Collaboration in High-Stakes Decision-Making“, 28. Januar 2025. https://arxiv.org/abs/2501.16627 (abgerufen am 14. November 2026)
  6. Commission européenne, „AI Act Service Desk - Article 14: Human oversight“. https://ai-act-service-desk.ec.europa.eu/en/ai-act/article-14 (abgerufen am 14. November 2026)
  7. arXiv, „Automation Bias in the AI Act: On the Legal Implications of Attempting to De-Bias Human Oversight of AI“, 14. Februar 2025. https://arxiv.org/abs/2502.10036 (abgerufen am 14. November 2026)
  8. Microsoft, „Overview of responsible AI practices for Azure OpenAI models“. https://learn.microsoft.com/en-us/azure/foundry/responsible-ai/openai/overview (abgerufen am 14. November 2026)