Esempi avversari contro la visione basata su IA
Un'immagine quasi identica a occhio nudo o un semplice adesivo possono ingannare un modello di visione. Principio, casi datati e difese.
In questa pagina
In 30 secondi
- Dove accade
- Sui sistemi che leggono immagini, in particolare quelli che ricevono i dati da una telecamera o da un altro sensore[1].
- Cosa vuole l'attaccante
- Ottenere una risposta precisa a sua scelta, per esempio far classificare un segnale in un'altra categoria[3].
- Il riflesso
- Non dare per scontata la lettura di un'immagine da parte di una macchina, e segnalare alla squadra responsabile del sistema una decisione assurda mentre l'immagine sembra normale.
- Se è già successo
- Conservare l'immagine o la sequenza che ha provocato l'errore e trasmetterla a questa squadra.
Di cosa si tratta
Un esempio avversario (adversarial example) è un dato in ingresso modificato in modo molto lieve, allo scopo di spingere un modello di apprendimento automatico a sbagliare[1]. Per un'immagine, la modifica può essere così discreta che un osservatore umano non la nota, eppure il modello sbaglia comunque[1].
Per un dipendente, la difficoltà sta qui: l'immagine sembra normale, è la macchina a decidere diversamente. Già nel 2013, dei ricercatori mostrano che una perturbazione impercettibile basta a far classificare un'immagine nella categoria sbagliata da una rete neurale[2].
Domande dirette
Si può vedere che un'immagine è stata modificata?
Non sempre. In molti casi le modifiche sono così sottili che un essere umano non le nota, mentre il classificatore sbaglia[1]. Nel caso dei segnali stradali, la perturbazione assume la forma di adesivi in bianco e nero applicati su un vero segnale di stop[3].
Bisogna avere accesso al modello per ingannarlo?
Non necessariamente. Una stessa perturbazione può far sbagliare un'altra rete, addestrata su una parte diversa dei dati[2]. Gli autori del 2016 scrivono che questi esempi pongono un problema di sicurezza perché potrebbero servire ad attaccare dei sistemi di apprendimento automatico «even if the adversary has no access to the underlying model»[1].
Una telecamera nel mondo reale è interessata, o solo dei file inviati a un programma?
Lo è. Delle immagini avversarie ottenute con la fotocamera di un telefono sono state presentate a un classificatore Inception su ImageNet: una larga frazione di esse resta classificata male dopo essere passata dalla telecamera[1].
Le difese risolvono il problema?
Una difesa può essere aggirata. La distillazione difensiva era stata presentata come capace di far passare il tasso di successo degli attacchi dal 95 % allo 0,5 %, poi tre nuovi algoritmi di attacco l'hanno aggirata con una probabilità del 100 %[6].
Nei panni dell'attaccante
L'attaccante cerca un'immagine che somigli all'originale ma che inneschi una risposta sbagliata. I ricercatori del 2013 la trovano massimizzando l'errore di previsione della rete[2]. Nel 2014, Goodfellow, Shlens e Szegedy descrivono un metodo semplice e rapido per produrre tali esempi, fondato sulla loro spiegazione della vulnerabilità: la causa principale sarebbe la natura lineare delle reti neurali[4].
L'attaccante ha diversi obiettivi possibili. Nel caso dei segnali, mira a una classificazione precisa, detta mirata[3]. Con una patch avversaria, può far restituire al classificatore qualsiasi classe bersaglio scelta[5]. Una stessa perturbazione può ingannare un'altra rete[2], e questi esempi potrebbero servire ad attaccare un sistema anche se l'avversario non ha accesso al modello[1].
Cosa si vede sullo schermo
Sullo schermo o sulla telecamera, la scena sembra ordinaria. Un osservatore umano a volte non nota alcuna modifica, eppure il classificatore sbaglia[1]. Nel caso di una patch avversaria, il motivo stampato viene aggiunto alla scena, fotografato, poi presentato al classificatore, che allora ignora gli altri elementi della scena e annuncia la classe scelta dall'attaccante, anche quando la patch è piccola[5].
Il segnale d'allarme è dunque la decisione, non l'immagine: una risposta del sistema senza alcun rapporto con ciò che una persona vede nella stessa scena.
Sotto il cofanoTeam IT
Una rete neurale apprende delle corrispondenze tra ingressi e uscite che sono, secondo Szegedy e i suoi colleghi, piuttosto discontinue in misura significativa[2]. Una perturbazione impercettibile, cercata massimizzando l'errore della rete, basta allora a cambiare la classe prevista, e non è un artefatto casuale dell'apprendimento[2].
Goodfellow e i suoi coautori scartano le prime spiegazioni, la non linearità e il sovradattamento, a favore della natura lineare delle reti. Questa lettura, dicono, spiega anche la generalizzazione degli esempi da un'architettura e da un insieme di addestramento all'altro[4]. Il modello sbaglia allora con un'elevata fiducia[4].
Per il mondo fisico, Eykholt e i suoi coautori propongono un algoritmo chiamato Robust Physical Perturbations (RP2), che produce delle perturbazioni visive robuste in diverse condizioni fisiche, tra cui i punti di vista[3]. La patch di Brown e dei suoi coautori è universale (attacca qualsiasi scena), robusta (resiste a numerose trasformazioni) e mirata[5].
AutopsieCasi reali
Dicembre 2013: perturbazioni impercettibili che passano da una rete all'altra
Nel dicembre 2013, Szegedy e sei coautori pubblicano «Intriguing properties of neural networks». Mostrano che una perturbazione impercettibile trovata massimizzando l'errore di previsione fa classificare male l'immagine, e che la stessa perturbazione inganna un'altra rete addestrata su un altro sottoinsieme dei dati[2].
Luglio 2016: la telecamera di un telefono non neutralizza l'attacco
Nel luglio 2016, Kurakin, Goodfellow e Bengio rilevano che i lavori precedenti supponevano un avversario in grado di inviare i propri dati direttamente al classificatore, il che non è il caso dei sistemi che ricevono segnali da telecamere[1]. Le immagini avversarie passate dalla telecamera di un telefono restano in gran parte classificate male[1].
Agosto 2016: la distillazione difensiva aggirata
Carlini e Wagner pubblicano nell'agosto 2016 un lavoro che contesta la distillazione difensiva. I loro tre nuovi algoritmi riescono con una probabilità del 100 % su reti distillate come non distillate, e propongono un test di trasferibilità ad alta fiducia che la mette anch'esso in scacco[6].
Luglio 2017: il segnale di stop e i suoi adesivi
Nel luglio 2017, Eykholt e otto coautori pubblicano il loro attacco alla classificazione dei segnali stradali. Con soli adesivi in bianco e nero, attaccano un vero segnale di stop. L'errore mirato riguarda il 100 % delle immagini scattate in laboratorio e l'84,8 % delle immagini video riprese da un veicolo in movimento durante la prova sul campo, per il classificatore preso di mira[3]. Propongono anche un metodo di valutazione in due fasi, laboratorio poi campo, in mancanza di un metodo di prova standardizzato[3].
Dicembre 2017: la patch avversaria stampabile
Nel dicembre 2017, Brown, Mané, Roy, Abadi e Gilmer descrivono una patch che può essere stampata, aggiunta a una scena, fotografata e presentata a un classificatore[5].
Cosa fa Lei
- Se utilizza o sorveglia un sistema che legge immagini, tratti il suo risultato come una proposta da verificare quando contraddice ciò che vede.
- Segnali una decisione assurda alla squadra che gestisce il sistema, con l'immagine o la sequenza interessata.
- Non rimuova né pulisca un adesivo o un oggetto sospetto senza aver avvisato questa squadra: serve da prova.
Le trappole
- Un'immagine «normale» non è un'immagine sicura: l'attacco può essere invisibile a occhio nudo[1].
- Una difesa unica non basta: la distillazione difensiva è stata aggirata[6].
- L'attaccante non ha necessariamente bisogno di accedere al modello: gli autori del 2016 notano che questi esempi potrebbero servire ad attaccare un sistema senza questo accesso[1].
Difese e quadri di riferimento
L'addestramento avversario consiste nell'usare degli esempi avversari durante l'apprendimento. Goodfellow e i suoi coautori l'hanno usato per ridurre l'errore di una rete maxout sull'insieme di prova MNIST[4].
Il NIST pubblica il rapporto AI 100-2 E2023, versione finale del 4 gennaio 2024, che classifica gli attacchi contro l'apprendimento automatico, definisce un vocabolario, presenta dei metodi di attenuazione e segnala sfide ancora aperte[7]. Il NCSC britannico ha pubblicato il 22 maggio 2024 dei principi di sicurezza per l'apprendimento automatico. Questi principi non costituiscono né un quadro di valutazione completo né una lista di controllo, e chiedono di trattare la sicurezza come un requisito lungo tutto il ciclo di vita del sistema[8]. L'OWASP prepara da parte sua una Top 10 della sicurezza dell'apprendimento automatico, ancora allo stato di bozza[9].
Fonti
- arXiv, «Adversarial examples in the physical world», 8 luglio 2016. https://arxiv.org/abs/1607.02533 (consultato il 10 novembre 2026)
- arXiv, «Intriguing properties of neural networks», 21 dicembre 2013. https://arxiv.org/abs/1312.6199 (consultato il 10 novembre 2026)
- arXiv, «Robust Physical-World Attacks on Deep Learning Models», 27 luglio 2017. https://arxiv.org/abs/1707.08945 (consultato il 10 novembre 2026)
- arXiv, «Explaining and Harnessing Adversarial Examples», 20 dicembre 2014. https://arxiv.org/abs/1412.6572 (consultato il 10 novembre 2026)
- arXiv, «Adversarial Patch», 27 dicembre 2017. https://arxiv.org/abs/1712.09665 (consultato il 10 novembre 2026)
- arXiv, «Towards Evaluating the Robustness of Neural Networks», 16 agosto 2016. https://arxiv.org/abs/1608.04644 (consultato il 10 novembre 2026)
- NIST, «Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations», 4 gennaio 2024. https://csrc.nist.gov/pubs/ai/100/2/e2023/final (consultato il 10 novembre 2026)
- NCSC (Royaume-Uni), «Machine learning principles», 22 maggio 2024. https://www.ncsc.gov.uk/collection/machine-learning-principles (consultato il 10 novembre 2026)
- OWASP, «OWASP Machine Learning Security Top Ten». https://owasp.org/projects/machine-learning-security-top-ten (consultato il 10 novembre 2026)
Cita questo articolo
Brain, «Esempi avversari contro la visione basata su IA», Cyberpedia, 2026. https:/
BibTeX
@misc{brain_cp289_it_2026,
author = {Brain},
title = {Esempi avversari contro la visione basata su IA},
year = {2026},
howpublished = {Cyberpedia},
url = {https://startbrain.io/cyberpedia/it/articles/esempi-avversari-visione-ia/},
note = {CC BY 4.0}
}