Cyberpediaod Brain

Przykłady kontradyktoryjne przeciwko rozpoznawaniu obrazów przez AI

Obraz niemal identyczny gołym okiem lub zwykła naklejka mogą oszukać model wizyjny. Zasada, przypadki z datami i obrona.

Na tej stronie
  1. 1W 30 sekund
  2. 2O co chodzi
  3. 3Pytania wprost
  4. 4W skórze atakującego
  5. 5Co widać na ekranie
  6. 6Pod maską
  7. 7Analizy incydentów
  8. 8Co robić
  9. 9Pułapki
  10. 10Obrona i ramy odniesienia
  11. 11Źródła
  12. 12Zacytuj ten artykuł

W 30 sekund

Gdzie to się zdarza
W systemach odczytujących obrazy, zwłaszcza tych, które otrzymują dane z kamery lub innego czujnika[1].
Czego chce atakujący
Uzyskać konkretną, wybraną przez siebie odpowiedź, na przykład sprawić, by znak został zaliczony do innej kategorii[3].
Odruch
Nie uznawać za pewnik odczytu obrazu przez maszynę i zgłosić zespołowi odpowiedzialnemu za system absurdalną decyzję, gdy obraz wydaje się normalny.
Jeśli już się stało
Zachować obraz lub sekwencję, która wywołała błąd, i przekazać ją temu zespołowi.
Plan artykułu

O co chodzi

Przykład kontradyktoryjny (adversarial example) to dane wejściowe zmodyfikowane bardzo nieznacznie w celu skłonienia modelu uczenia maszynowego do błędu[1]. W przypadku obrazu zmiana może być tak dyskretna, że człowiek jej nie zauważa, a model mimo to się myli[1].

Dla pracownika trudność polega właśnie na tym: obraz wygląda normalnie, a maszyna decyduje inaczej. Już w 2013 roku badacze wykazują, że niedostrzegalne zaburzenie wystarcza, aby sieć neuronowa zaliczyła obraz do złej kategorii[2].

Pytania wprost

Czy widać, że obraz został zmodyfikowany?

Nie zawsze. W wielu przypadkach zmiany są tak subtelne, że człowiek ich nie zauważa, a klasyfikator mimo to się myli[1]. W przypadku znaków drogowych zaburzenie ma postać czarno-białych naklejek umieszczonych na prawdziwym znaku stop[3].

Czy trzeba mieć dostęp do modelu, aby go oszukać?

Niekoniecznie. To samo zaburzenie może wprowadzić w błąd inną sieć, wytrenowaną na innej części danych[2]. Autorzy z 2016 roku piszą, że te przykłady stanowią problem bezpieczeństwa, ponieważ mogłyby służyć do atakowania systemów uczenia maszynowego „even if the adversary has no access to the underlying model”[1].

Czy dotyczy to także kamery w świecie rzeczywistym, czy tylko plików przesyłanych do programu?

Dotyczy. Obrazy kontradyktoryjne uzyskane aparatem telefonu przedstawiono klasyfikatorowi Inception na ImageNet: duża część z nich pozostaje błędnie sklasyfikowana po przejściu przez kamerę[1].

Czy obrona rozwiązuje problem?

Obronę można obejść. Destylację defensywną przedstawiano jako obniżającą skuteczność ataków z 95 % do 0,5 %, po czym trzy nowe algorytmy ataku obeszły ją z prawdopodobieństwem 100 %[6].

W skórze atakującego

Atakujący szuka obrazu, który przypomina oryginał, ale wywołuje błędną odpowiedź. Badacze z 2013 roku znajdują go, maksymalizując błąd predykcji sieci[2]. W 2014 roku Goodfellow, Shlens i Szegedy opisują prostą i szybką metodę wytwarzania takich przykładów, opartą na ich wyjaśnieniu podatności: główną przyczyną miałby być liniowy charakter sieci neuronowych[4].

Atakujący może mieć kilka celów. W przypadku znaków dąży do konkretnej klasyfikacji, zwanej ukierunkowaną[3]. Dzięki patchowi kontradyktoryjnemu może sprawić, że klasyfikator zwróci dowolną wybraną klasę docelową[5]. To samo zaburzenie może oszukać inną sieć[2], a takie przykłady mogłyby służyć do atakowania systemu, nawet jeśli przeciwnik nie ma dostępu do modelu[1].

Co widać na ekranie

Na ekranie lub w obrazie z kamery scena wygląda zwyczajnie. Człowiek czasem nie zauważa żadnej modyfikacji, a mimo to klasyfikator się myli[1]. W przypadku patcha kontradyktoryjnego wydrukowany wzór zostaje dodany do sceny, sfotografowany, a następnie przedstawiony klasyfikatorowi, który ignoruje wtedy pozostałe elementy sceny i podaje klasę wybraną przez atakującego, nawet gdy patch jest mały[5].

Sygnałem ostrzegawczym jest więc decyzja, nie obraz: odpowiedź systemu bez związku z tym, co osoba widzi na tej samej scenie.

Pod maskąZespoły IT

Sieć neuronowa uczy się zależności między wejściami a wyjściami, które według Szegedy'ego i jego współpracowników są w znacznym stopniu dość nieciągłe[2]. Niedostrzegalne zaburzenie, wyszukane przez maksymalizację błędu sieci, wystarcza wtedy do zmiany przewidywanej klasy i nie jest przypadkowym artefaktem uczenia[2].

Goodfellow i współautorzy odrzucają pierwsze wyjaśnienia, nieliniowość i nadmierne dopasowanie, na rzecz liniowego charakteru sieci. Ta interpretacja, jak mówią, wyjaśnia także uogólnianie się przykładów z jednej architektury i zbioru treningowego na inne[4]. Model myli się wtedy z dużą pewnością[4].

Dla świata fizycznego Eykholt i współautorzy proponują algorytm o nazwie Robust Physical Perturbations (RP2), który wytwarza zaburzenia wizualne odporne w różnych warunkach fizycznych, w tym przy punktach widzenia[3]. Patch Browna i współautorów jest uniwersalny (atakuje dowolną scenę), odporny (wytrzymuje liczne przekształcenia) i ukierunkowany[5].

Analizy incydentówPrawdziwe przypadki

Grudzień 2013: niedostrzegalne zaburzenia przechodzące z jednej sieci na drugą

W grudniu 2013 roku Szegedy i sześciu współautorów publikuje „Intriguing properties of neural networks”. Wykazują oni, że niedostrzegalne zaburzenie znalezione przez maksymalizację błędu predykcji powoduje błędną klasyfikację obrazu oraz że to samo zaburzenie oszukuje inną sieć wytrenowaną na innym podzbiorze danych[2].

Lipiec 2016: kamera telefonu nie neutralizuje ataku

W lipcu 2016 roku Kurakin, Goodfellow i Bengio zauważają, że wcześniejsze prace zakładały przeciwnika zdolnego przesyłać dane bezpośrednio do klasyfikatora, co nie dotyczy systemów odbierających sygnały z kamer[1]. Obrazy kontradyktoryjne przepuszczone przez kamerę telefonu w dużej części pozostają błędnie sklasyfikowane[1].

Sierpień 2016: obejście destylacji defensywnej

Carlini i Wagner publikują w sierpniu 2016 roku pracę, która podważa destylację defensywną. Ich trzy nowe algorytmy odnoszą sukces z prawdopodobieństwem 100 % zarówno na sieciach destylowanych, jak i niedestylowanych, a autorzy proponują test transferowalności o wysokiej pewności, który również ją pokonuje[6].

Lipiec 2017: znak stop i naklejki

W lipcu 2017 roku Eykholt i ośmiu współautorów publikuje swój atak na klasyfikację znaków drogowych. Używając wyłącznie czarno-białych naklejek, atakują prawdziwy znak stop. Błąd ukierunkowany dotyczy 100 % obrazów wykonanych w laboratorium i 84,8 % obrazów wideo rejestrowanych z poruszającego się pojazdu podczas testu w terenie, dla klasyfikatora, w który wymierzono atak[3]. Proponują też dwuetapową metodę oceny, najpierw laboratorium, potem teren, wobec braku znormalizowanej metody testowej[3].

Grudzień 2017: patch kontradyktoryjny, który można wydrukować

W grudniu 2017 roku Brown, Mané, Roy, Abadi i Gilmer opisują patch, który można wydrukować, dodać do sceny, sfotografować i przedstawić klasyfikatorowi[5].

Co robić

  • W przypadku używania lub nadzorowania systemu, który odczytuje obrazy, jego wynik należy traktować jako propozycję do sprawdzenia, gdy przeczy temu, co widać.
  • Zgłosić absurdalną decyzję zespołowi zarządzającemu systemem, razem z obrazem lub sekwencją, której dotyczy.
  • Nie usuwać ani nie czyścić naklejki lub podejrzanego przedmiotu bez uprzedzenia tego zespołu, ponieważ służą one za dowód.

Pułapki

  • „Normalny” obraz nie jest obrazem bezpiecznym: atak może być niewidoczny dla oka[1].
  • Pojedyncza obrona nie wystarcza: destylacja defensywna została obejdzona[6].
  • Atakujący niekoniecznie potrzebuje dostępu do modelu: autorzy z 2016 roku zauważają, że takie przykłady mogłyby służyć do atakowania systemu bez tego dostępu[1].

Obrona i ramy odniesienia

Trening kontradyktoryjny polega na wykorzystaniu przykładów kontradyktoryjnych podczas uczenia. Goodfellow i współautorzy użyli go, aby zmniejszyć błąd sieci maxout na zbiorze testowym MNIST[4].

NIST publikuje raport AI 100-2 E2023, wersję ostateczną z 4 stycznia 2024 roku, który klasyfikuje ataki na uczenie maszynowe, definiuje słownictwo, przedstawia metody łagodzenia i wskazuje wyzwania wciąż otwarte[7]. Brytyjskie NCSC opublikowało 22 maja 2024 roku zasady bezpieczeństwa dla uczenia maszynowego. Zasady te nie tworzą ani kompletnych ram oceny, ani listy kontrolnej, i wymagają traktowania bezpieczeństwa jako wymogu przez cały cykl życia systemu[8]. OWASP przygotowuje ze swojej strony Top 10 bezpieczeństwa uczenia maszynowego, wciąż w postaci wersji roboczej[9].

Źródła

  1. arXiv, „Adversarial examples in the physical world”, 8 lipca 2016. https://arxiv.org/abs/1607.02533 (dostęp 10 listopada 2026)
  2. arXiv, „Intriguing properties of neural networks”, 21 grudnia 2013. https://arxiv.org/abs/1312.6199 (dostęp 10 listopada 2026)
  3. arXiv, „Robust Physical-World Attacks on Deep Learning Models”, 27 lipca 2017. https://arxiv.org/abs/1707.08945 (dostęp 10 listopada 2026)
  4. arXiv, „Explaining and Harnessing Adversarial Examples”, 20 grudnia 2014. https://arxiv.org/abs/1412.6572 (dostęp 10 listopada 2026)
  5. arXiv, „Adversarial Patch”, 27 grudnia 2017. https://arxiv.org/abs/1712.09665 (dostęp 10 listopada 2026)
  6. arXiv, „Towards Evaluating the Robustness of Neural Networks”, 16 sierpnia 2016. https://arxiv.org/abs/1608.04644 (dostęp 10 listopada 2026)
  7. NIST, „Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations”, 4 stycznia 2024. https://csrc.nist.gov/pubs/ai/100/2/e2023/final (dostęp 10 listopada 2026)
  8. NCSC (Royaume-Uni), „Machine learning principles”, 22 maja 2024. https://www.ncsc.gov.uk/collection/machine-learning-principles (dostęp 10 listopada 2026)
  9. OWASP, „OWASP Machine Learning Security Top Ten”. https://owasp.org/projects/machine-learning-security-top-ten (dostęp 10 listopada 2026)