Gegnerische Beispiele gegen die KI-Bilderkennung
Ein für das bloße Auge fast identisches Bild oder ein einfacher Aufkleber können ein Bildmodell täuschen. Prinzip, datierte Fälle und Abwehrmaßnahmen.
Auf dieser Seite
In 30 Sekunden
- Wo es vorkommt
- Bei Systemen, die Bilder lesen, vor allem bei solchen, die ihre Daten von einer Kamera oder einem anderen Sensor erhalten[1].
- Was der Angreifer will
- Eine bestimmte Antwort seiner Wahl erzwingen, zum Beispiel ein Schild einer anderen Kategorie zuordnen lassen[3].
- Der Reflex
- Das Lesen eines Bildes durch eine Maschine nicht als gesichert betrachten und dem für das System zuständigen Team eine absurde Entscheidung melden, obwohl das Bild normal aussieht.
- Wenn es schon passiert ist
- Das Bild oder die Sequenz, die den Fehler ausgelöst hat, aufbewahren und an dieses Team weitergeben.
Worum es geht
Ein gegnerisches Beispiel (adversarial example) ist eine sehr geringfügig veränderte Eingabe, mit dem Ziel, ein Modell des maschinellen Lernens zu einem Fehler zu verleiten[1]. Bei einem Bild kann die Veränderung so unauffällig sein, dass ein menschlicher Beobachter sie nicht bemerkt, das Modell sich aber trotzdem irrt[1].
Für Beschäftigte liegt die Schwierigkeit genau hier: Das Bild wirkt normal, die Maschine entscheidet anders. Schon 2013 zeigen Forscher, dass eine nicht wahrnehmbare Störung genügt, damit ein neuronales Netz ein Bild der falschen Kategorie zuordnet[2].
Direkte Fragen
Kann man sehen, dass ein Bild verändert wurde?
Nicht immer. In vielen Fällen sind die Veränderungen so subtil, dass ein Mensch sie nicht bemerkt, der Klassifikator sich aber irrt[1]. Bei Verkehrsschildern besteht die Störung aus schwarzen und weißen Aufklebern auf einem echten Stoppschild[3].
Muss man Zugriff auf das Modell haben, um es zu täuschen?
Nicht unbedingt. Dieselbe Störung kann ein anderes Netz täuschen, das auf einem anderen Teil der Daten trainiert wurde[2]. Die Autoren von 2016 schreiben, diese Beispiele stellten ein Sicherheitsproblem dar, weil sie dazu dienen könnten, Systeme des maschinellen Lernens anzugreifen, „even if the adversary has no access to the underlying model“[1].
Betrifft es auch eine Kamera in der realen Welt oder nur Dateien, die an ein Programm gesendet werden?
Ja, auch die Kamera ist betroffen. Gegnerische Bilder, die mit der Kamera eines Telefons gewonnen wurden, wurden einem Inception-Klassifikator auf ImageNet vorgelegt: Ein großer Teil von ihnen bleibt falsch klassifiziert, nachdem er durch die Kamera gegangen ist[1].
Lösen Abwehrmaßnahmen das Problem?
Eine Abwehr kann umgangen werden. Die defensive Destillation war so vorgestellt worden, dass sie die Erfolgsquote der Angriffe von 95 % auf 0,5 % senke, dann haben drei neue Angriffsalgorithmen sie mit einer Wahrscheinlichkeit von 100 % umgangen[6].
In der Haut des Angreifers
Der Angreifer sucht ein Bild, das dem Original ähnelt, aber eine falsche Antwort auslöst. Die Forscher von 2013 finden es, indem sie den Vorhersagefehler des Netzes maximieren[2]. 2014 beschreiben Goodfellow, Shlens und Szegedy ein einfaches, schnelles Verfahren, um solche Beispiele zu erzeugen, gestützt auf ihre Erklärung der Schwachstelle: Die Hauptursache sei die lineare Natur neuronaler Netze[4].
Der Angreifer kann mehrere Ziele verfolgen. Bei Schildern zielt er auf eine bestimmte Klassifizierung, eine sogenannte gezielte[3]. Mit einem gegnerischen Patch kann er den Klassifikator eine beliebige, von ihm gewählte Zielklasse ausgeben lassen[5]. Dieselbe Störung kann ein anderes Netz täuschen[2], und diese Beispiele könnten dazu dienen, ein System anzugreifen, auch wenn der Gegner keinen Zugriff auf das Modell hat[1].
Was Sie auf dem Bildschirm sehen
Auf dem Bildschirm oder in der Kamera wirkt die Szene gewöhnlich. Ein menschlicher Beobachter bemerkt manchmal keine Veränderung, und dennoch irrt sich der Klassifikator[1]. Bei einem gegnerischen Patch wird das gedruckte Muster der Szene hinzugefügt, fotografiert und dann dem Klassifikator vorgelegt, der die übrigen Elemente der Szene dann ignoriert und die vom Angreifer gewählte Klasse meldet, selbst wenn der Patch klein ist[5].
Das Warnzeichen ist also die Entscheidung, nicht das Bild: eine Antwort des Systems, die nichts mit dem zu tun hat, was eine Person in derselben Szene sieht.
Unter der HaubeIT-Teams
Ein neuronales Netz lernt Zuordnungen zwischen Eingaben und Ausgaben, die laut Szegedy und seinen Kollegen in erheblichem Maß ziemlich unstetig sind[2]. Eine nicht wahrnehmbare Störung, die durch Maximieren des Netzfehlers gesucht wird, genügt dann, um die vorhergesagte Klasse zu ändern, und sie ist kein zufälliges Artefakt des Trainings[2].
Goodfellow und seine Koautoren verwerfen die ersten Erklärungen, die Nichtlinearität und die Überanpassung, zugunsten der linearen Natur der Netze. Diese Lesart, sagen sie, erkläre auch die Verallgemeinerung der Beispiele von einer Architektur und einem Trainingsdatensatz auf den anderen[4]. Das Modell irrt sich dann mit hoher Konfidenz[4].
Für die physische Welt schlagen Eykholt und seine Koautoren einen Algorithmus namens Robust Physical Perturbations (RP2) vor, der unter verschiedenen physischen Bedingungen, darunter Blickwinkeln, robuste visuelle Störungen erzeugt[3]. Der Patch von Brown und seinen Koautoren ist universell (er greift jede beliebige Szene an), robust (er übersteht zahlreiche Transformationen) und gezielt[5].
FallanalysenReale Fälle
Dezember 2013: nicht wahrnehmbare Störungen, die von einem Netz auf ein anderes übergehen
Im Dezember 2013 veröffentlichen Szegedy und sechs Koautoren „Intriguing properties of neural networks“. Sie zeigen, dass eine nicht wahrnehmbare Störung, die durch Maximieren des Vorhersagefehlers gefunden wird, das Bild falsch klassifizieren lässt und dass dieselbe Störung ein anderes Netz täuscht, das auf einer anderen Teilmenge der Daten trainiert wurde[2].
Juli 2016: die Kamera eines Telefons neutralisiert den Angriff nicht
Im Juli 2016 stellen Kurakin, Goodfellow und Bengio fest, dass die früheren Arbeiten einen Gegner voraussetzten, der seine Daten direkt an den Klassifikator senden kann, was bei Systemen, die Signale von Kameras erhalten, nicht der Fall ist[1]. Die gegnerischen Bilder, die durch die Kamera eines Telefons gelaufen sind, bleiben größtenteils falsch klassifiziert[1].
August 2016: die defensive Destillation umgangen
Carlini und Wagner veröffentlichen im August 2016 eine Arbeit, die die defensive Destillation infrage stellt. Ihre drei neuen Algorithmen sind mit einer Wahrscheinlichkeit von 100 % erfolgreich, sowohl bei destillierten als auch bei nicht destillierten Netzen, und sie schlagen einen Test auf Übertragbarkeit mit hoher Konfidenz vor, der sie ebenfalls scheitern lässt[6].
Juli 2017: das Stoppschild und seine Aufkleber
Im Juli 2017 veröffentlichen Eykholt und acht Koautoren ihren Angriff auf die Klassifizierung von Verkehrsschildern. Allein mit schwarzen und weißen Aufklebern greifen sie ein echtes Stoppschild an. Der gezielte Fehler betrifft 100 % der im Labor aufgenommenen Bilder und 84,8 % der Videobilder, die beim Feldtest von einem fahrenden Fahrzeug aus aufgenommen wurden, für den anvisierten Klassifikator[3]. Sie schlagen auch ein zweistufiges Bewertungsverfahren vor, erst Labor, dann Feld, weil es keine standardisierte Testmethode gibt[3].
Dezember 2017: der druckbare gegnerische Patch
Im Dezember 2017 beschreiben Brown, Mané, Roy, Abadi und Gilmer einen Patch, der gedruckt, einer Szene hinzugefügt, fotografiert und einem Klassifikator vorgelegt werden kann[5].
Was Sie tun
- Wenn Sie ein System nutzen oder überwachen, das Bilder liest, behandeln Sie seine Ausgabe als einen Vorschlag, der zu prüfen ist, wenn sie dem widerspricht, was Sie sehen.
- Melden Sie dem Team, das das System betreibt, eine absurde Entscheidung, zusammen mit dem betroffenen Bild oder der betroffenen Sequenz.
- Entfernen oder reinigen Sie einen verdächtigen Aufkleber oder Gegenstand nicht, ohne dieses Team vorher informiert zu haben: Er dient als Beweis.
Die Fallstricke
- Ein „normales“ Bild ist kein sicheres Bild: Der Angriff kann für das Auge unsichtbar sein[1].
- Eine einzelne Abwehr genügt nicht: Die defensive Destillation wurde umgangen[6].
- Der Angreifer braucht nicht unbedingt Zugriff auf das Modell: Die Autoren von 2016 halten fest, dass diese Beispiele dazu dienen könnten, ein System ohne diesen Zugriff anzugreifen[1].
Abwehrmaßnahmen und Referenzrahmen
Gegnerisches Training besteht darin, gegnerische Beispiele während des Lernens zu verwenden. Goodfellow und seine Koautoren haben es genutzt, um den Fehler eines Maxout-Netzes auf dem Testdatensatz MNIST zu verringern[4].
Das NIST veröffentlicht den Bericht AI 100-2 E2023, Endfassung vom 4. Januar 2024, der die Angriffe auf maschinelles Lernen klassifiziert, ein Vokabular festlegt, Abschwächungsmethoden vorstellt und noch offene Herausforderungen benennt[7]. Das britische NCSC hat am 22. Mai 2024 Sicherheitsgrundsätze für maschinelles Lernen veröffentlicht. Diese Grundsätze bilden weder einen vollständigen Bewertungsrahmen noch eine Checkliste und verlangen, Sicherheit als Anforderung über den gesamten Lebenszyklus des Systems zu behandeln[8]. OWASP bereitet seinerseits eine Top 10 der Sicherheit des maschinellen Lernens vor, noch im Entwurfsstadium[9].
Quellen
- arXiv, „Adversarial examples in the physical world“, 8. Juli 2016. https://arxiv.org/abs/1607.02533 (abgerufen am 10. November 2026)
- arXiv, „Intriguing properties of neural networks“, 21. Dezember 2013. https://arxiv.org/abs/1312.6199 (abgerufen am 10. November 2026)
- arXiv, „Robust Physical-World Attacks on Deep Learning Models“, 27. Juli 2017. https://arxiv.org/abs/1707.08945 (abgerufen am 10. November 2026)
- arXiv, „Explaining and Harnessing Adversarial Examples“, 20. Dezember 2014. https://arxiv.org/abs/1412.6572 (abgerufen am 10. November 2026)
- arXiv, „Adversarial Patch“, 27. Dezember 2017. https://arxiv.org/abs/1712.09665 (abgerufen am 10. November 2026)
- arXiv, „Towards Evaluating the Robustness of Neural Networks“, 16. August 2016. https://arxiv.org/abs/1608.04644 (abgerufen am 10. November 2026)
- NIST, „Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations“, 4. Januar 2024. https://csrc.nist.gov/pubs/ai/100/2/e2023/final (abgerufen am 10. November 2026)
- NCSC (Royaume-Uni), „Machine learning principles“, 22. Mai 2024. https://www.ncsc.gov.uk/collection/machine-learning-principles (abgerufen am 10. November 2026)
- OWASP, „OWASP Machine Learning Security Top Ten“. https://owasp.org/projects/machine-learning-security-top-ten (abgerufen am 10. November 2026)
Diesen Artikel zitieren
Brain, „Gegnerische Beispiele gegen die KI-Bilderkennung“, Cyberpedia, 2026. https:/
BibTeX
@misc{brain_cp289_de_2026,
author = {Brain},
title = {Gegnerische Beispiele gegen die KI-Bilderkennung},
year = {2026},
howpublished = {Cyberpedia},
url = {https://startbrain.io/cyberpedia/de/articles/gegnerische-beispiele-ki-bilderkennung/},
note = {CC BY 4.0}
}