Cyberpediapor Brain

Ejemplos adversarios contra la visión por IA

Una imagen casi idéntica a simple vista o una simple pegatina pueden engañar a un modelo de visión. Principio, casos fechados y defensas.

En esta página
  1. 1En 30 segundos
  2. 2De qué se trata
  3. 3Preguntas directas
  4. 4En la piel del atacante
  5. 5Lo que ve en la pantalla
  6. 6Bajo el capó
  7. 7Autopsias
  8. 8Qué hace usted
  9. 9Las trampas
  10. 10Defensas y marcos de referencia
  11. 11Fuentes
  12. 12Citar este artículo

En 30 segundos

Dónde ocurre
En los sistemas que leen imágenes, en particular los que reciben sus datos de una cámara o de otro sensor[1].
Qué quiere el atacante
Obtener una respuesta concreta de su elección, por ejemplo que una señal se clasifique en otra categoría[3].
El reflejo
No dar por buena la lectura de una imagen por una máquina, y notificar al equipo responsable del sistema una decisión absurda cuando la imagen parece normal.
Si ya ha ocurrido
Conservar la imagen o la secuencia que provocó el error y transmitirla a ese equipo.
Plano del artículo

De qué se trata

Un ejemplo adversario (adversarial example) es un dato de entrada modificado de forma muy leve, con el fin de empujar a un modelo de aprendizaje automático a equivocarse[1]. En el caso de una imagen, la modificación puede ser tan discreta que un observador humano no la nota, y el modelo se equivoca igualmente[1].

Para un empleado, ahí está la dificultad: la imagen parece normal, pero la máquina decide otra cosa. Ya en 2013, unos investigadores demuestran que una perturbación imperceptible basta para que una red neuronal clasifique una imagen en la categoría equivocada[2].

Preguntas directas

¿Se puede ver que una imagen ha sido modificada?

No siempre. En muchos casos, las modificaciones son tan sutiles que una persona no las nota, y aun así el clasificador se equivoca[1]. En el caso de las señales de tráfico, la perturbación toma la forma de pegatinas en blanco y negro colocadas sobre una señal de stop real[3].

¿Hace falta tener acceso al modelo para engañarlo?

No necesariamente. Una misma perturbación puede hacer que se equivoque otra red, entrenada con una parte distinta de los datos[2]. Los autores de 2016 escriben que estos ejemplos plantean un problema de seguridad porque podrían servir para atacar sistemas de aprendizaje automático «even if the adversary has no access to the underlying model»[1].

¿Afecta también a una cámara en el mundo real, o solo a archivos enviados a un programa?

Sí, la afecta. Se presentaron a un clasificador Inception sobre ImageNet imágenes adversarias obtenidas con la cámara de un teléfono: una gran fracción de ellas sigue mal clasificada tras pasar por la cámara[1].

¿Resuelven las defensas el problema?

Una defensa puede ser eludida. La destilación defensiva se había presentado como capaz de reducir la tasa de éxito de los ataques del 95 % al 0,5 %, y después tres nuevos algoritmos de ataque la eludieron con una probabilidad del 100 %[6].

En la piel del atacante

El atacante busca una imagen que se parezca a la original pero que desencadene una respuesta falsa. Los investigadores de 2013 la encuentran maximizando el error de predicción de la red[2]. En 2014, Goodfellow, Shlens y Szegedy describen un método simple y rápido para producir esos ejemplos, basado en su explicación de la vulnerabilidad: la causa principal sería la naturaleza lineal de las redes neuronales[4].

El atacante puede tener varios objetivos. En el caso de las señales, apunta a una clasificación concreta, llamada dirigida[3]. Con un parche adversario, puede hacer que el clasificador devuelva cualquier clase objetivo elegida[5]. Una misma perturbación puede engañar a otra red[2], y estos ejemplos podrían servir para atacar un sistema aunque el adversario no tenga acceso al modelo[1].

Lo que ve en la pantalla

En la pantalla o en la cámara, la escena parece corriente. A veces un observador humano no nota ninguna modificación, y sin embargo el clasificador se equivoca[1]. En el caso de un parche adversario, el motivo impreso se añade a la escena, se fotografía y se presenta al clasificador, que entonces ignora los demás elementos de la escena y anuncia la clase elegida por el atacante, incluso cuando el parche es pequeño[5].

La señal de alerta es, por tanto, la decisión, no la imagen: una respuesta del sistema sin relación con lo que una persona ve en la misma escena.

Bajo el capóEquipos de TI

Una red neuronal aprende correspondencias entre entradas y salidas que son, según Szegedy y sus colegas, bastante discontinuas en una medida significativa[2]. Una perturbación imperceptible, buscada maximizando el error de la red, basta entonces para cambiar la clase predicha, y no es un artefacto aleatorio del aprendizaje[2].

Goodfellow y sus coautores descartan las primeras explicaciones, la no linealidad y el sobreajuste, en favor de la naturaleza lineal de las redes. Esta lectura, dicen, explica también la generalización de los ejemplos de una arquitectura y de un conjunto de entrenamiento a otros[4]. El modelo se equivoca entonces con una confianza elevada[4].

Para el mundo físico, Eykholt y sus coautores proponen un algoritmo llamado Robust Physical Perturbations (RP2), que produce perturbaciones visuales robustas en distintas condiciones físicas, entre ellas los puntos de vista[3]. El parche de Brown y sus coautores es universal (ataca cualquier escena), robusto (resiste numerosas transformaciones) y dirigido[5].

AutopsiasCasos reales

Diciembre de 2013: perturbaciones imperceptibles que pasan de una red a otra

En diciembre de 2013, Szegedy y seis coautores publican «Intriguing properties of neural networks». Demuestran que una perturbación imperceptible hallada maximizando el error de predicción hace que la imagen se clasifique mal, y que la misma perturbación engaña a otra red entrenada con otro subconjunto de los datos[2].

Julio de 2016: la cámara de un teléfono no neutraliza el ataque

En julio de 2016, Kurakin, Goodfellow y Bengio señalan que los trabajos anteriores suponían un adversario capaz de enviar sus datos directamente al clasificador, algo que no ocurre en los sistemas que reciben señales de cámaras[1]. Las imágenes adversarias que pasan por la cámara de un teléfono siguen en gran parte mal clasificadas[1].

Agosto de 2016: la destilación defensiva eludida

Carlini y Wagner publican en agosto de 2016 un trabajo que cuestiona la destilación defensiva. Sus tres nuevos algoritmos tienen éxito con una probabilidad del 100 % tanto en redes destiladas como no destiladas, y proponen una prueba de transferibilidad de alta confianza que también la derrota[6].

Julio de 2017: la señal de stop y sus pegatinas

En julio de 2017, Eykholt y ocho coautores publican su ataque a la clasificación de señales de tráfico. Con pegatinas solo en blanco y negro, atacan una señal de stop real. El error dirigido afecta al 100 % de las imágenes tomadas en laboratorio y al 84,8 % de las imágenes de vídeo captadas desde un vehículo en movimiento en la prueba sobre el terreno, para el clasificador objetivo[3]. Proponen además un método de evaluación en dos etapas, laboratorio y después terreno, por falta de un método de prueba estandarizado[3].

Diciembre de 2017: el parche adversario imprimible

En diciembre de 2017, Brown, Mané, Roy, Abadi y Gilmer describen un parche que puede imprimirse, añadirse a una escena, fotografiarse y presentarse a un clasificador[5].

Qué hace usted

  • Si utiliza o supervisa un sistema que lee imágenes, trate su resultado como una propuesta que hay que comprobar cuando contradice lo que usted ve.
  • Comunique una decisión absurda al equipo que gestiona el sistema, con la imagen o la secuencia afectada.
  • No retire ni limpie una pegatina o un objeto sospechoso sin haber avisado a ese equipo: sirve de prueba.

Las trampas

  • Una imagen «normal» no es una imagen segura: el ataque puede ser invisible a simple vista[1].
  • Una sola defensa no basta: la destilación defensiva fue eludida[6].
  • Al atacante no le hace falta necesariamente acceder al modelo: los autores de 2016 señalan que estos ejemplos podrían servir para atacar un sistema sin ese acceso[1].

Defensas y marcos de referencia

El entrenamiento adversario consiste en utilizar ejemplos adversarios durante el aprendizaje. Goodfellow y sus coautores lo emplearon para reducir el error de una red maxout en el conjunto de prueba MNIST[4].

El NIST publica el informe AI 100-2 E2023, versión final del 4 de enero de 2024, que clasifica los ataques contra el aprendizaje automático, define un vocabulario, presenta métodos de mitigación y señala desafíos aún abiertos[7]. El NCSC británico publicó el 22 de mayo de 2024 unos principios de seguridad para el aprendizaje automático. Estos principios no constituyen ni un marco de evaluación completo ni una lista de comprobación, y piden tratar la seguridad como un requisito a lo largo de todo el ciclo de vida del sistema[8]. Por su parte, OWASP prepara un Top 10 de seguridad del aprendizaje automático, todavía en estado de borrador[9].

Fuentes

  1. arXiv, «Adversarial examples in the physical world», 8 de julio de 2016. https://arxiv.org/abs/1607.02533 (consultado el 10 de noviembre de 2026)
  2. arXiv, «Intriguing properties of neural networks», 21 de diciembre de 2013. https://arxiv.org/abs/1312.6199 (consultado el 10 de noviembre de 2026)
  3. arXiv, «Robust Physical-World Attacks on Deep Learning Models», 27 de julio de 2017. https://arxiv.org/abs/1707.08945 (consultado el 10 de noviembre de 2026)
  4. arXiv, «Explaining and Harnessing Adversarial Examples», 20 de diciembre de 2014. https://arxiv.org/abs/1412.6572 (consultado el 10 de noviembre de 2026)
  5. arXiv, «Adversarial Patch», 27 de diciembre de 2017. https://arxiv.org/abs/1712.09665 (consultado el 10 de noviembre de 2026)
  6. arXiv, «Towards Evaluating the Robustness of Neural Networks», 16 de agosto de 2016. https://arxiv.org/abs/1608.04644 (consultado el 10 de noviembre de 2026)
  7. NIST, «Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations», 4 de enero de 2024. https://csrc.nist.gov/pubs/ai/100/2/e2023/final (consultado el 10 de noviembre de 2026)
  8. NCSC (Royaume-Uni), «Machine learning principles», 22 de mayo de 2024. https://www.ncsc.gov.uk/collection/machine-learning-principles (consultado el 10 de noviembre de 2026)
  9. OWASP, «OWASP Machine Learning Security Top Ten». https://owasp.org/projects/machine-learning-security-top-ten (consultado el 10 de noviembre de 2026)