Cyberpediapor Brain

Exemplos adversariais contra a visão por IA

Uma imagem quase idêntica a olho nu ou um simples autocolante podem enganar um modelo de visão. Princípio, casos datados e defesas.

Nesta página
  1. 1Em 30 segundos
  2. 2Do que se trata
  3. 3Perguntas diretas
  4. 4Na pele do atacante
  5. 5O que vê no ecrã
  6. 6Por baixo do capô
  7. 7Autópsias
  8. 8O que fazer
  9. 9As armadilhas
  10. 10Defesas e quadros de referência
  11. 11Fontes
  12. 12Citar este artigo

Em 30 segundos

Onde acontece
Nos sistemas que leem imagens, nomeadamente os que recebem os dados de uma câmara ou de outro sensor[1].
O que pretende o atacante
Obter uma resposta precisa à sua escolha, por exemplo fazer classificar um sinal noutra categoria[3].
O reflexo
Não dar por garantida a leitura de uma imagem por uma máquina e comunicar à equipa responsável pelo sistema uma decisão absurda quando a imagem parece normal.
Se já o fez
Guardar a imagem ou a sequência que provocou o erro e transmiti-la a essa equipa.
Mapa do artigo

Do que se trata

Um exemplo adversarial (adversarial example) é um dado de entrada modificado muito ligeiramente, com o objetivo de levar um modelo de aprendizagem automática a enganar-se[1]. No caso de uma imagem, a modificação pode ser tão discreta que um observador humano não a nota, e o modelo engana-se mesmo assim[1].

Para um colaborador, a dificuldade está aqui: a imagem parece normal, é a máquina que decide de outra forma. Logo em 2013, investigadores mostram que uma perturbação impercetível basta para que uma rede neuronal classifique uma imagem na categoria errada[2].

Perguntas diretas

É possível ver que uma imagem foi modificada?

Nem sempre. Em muitos casos, as modificações são tão subtis que um humano não as nota, e o classificador engana-se[1]. No caso dos sinais de trânsito, a perturbação toma a forma de autocolantes pretos e brancos colocados num verdadeiro sinal de stop[3].

É preciso ter acesso ao modelo para o enganar?

Não necessariamente. Uma mesma perturbação pode fazer enganar-se outra rede, treinada com uma parte diferente dos dados[2]. Os autores de 2016 escrevem que estes exemplos levantam um problema de segurança porque poderiam servir para atacar sistemas de aprendizagem automática «even if the adversary has no access to the underlying model»[1].

Uma câmara no mundo real é afetada, ou apenas ficheiros enviados a um programa?

É afetada. Imagens adversas obtidas com a câmara de um telemóvel foram apresentadas a um classificador Inception no ImageNet: uma grande fração delas continua mal classificada depois de passar pela câmara[1].

As defesas resolvem o problema?

Uma defesa pode ser contornada. A destilação defensiva tinha sido apresentada como fazendo descer a taxa de sucesso dos ataques de 95 % para 0,5 %, e depois três novos algoritmos de ataque contornaram-na com uma probabilidade de 100 %[6].

Na pele do atacante

O atacante procura uma imagem que se pareça com a original mas que desencadeie uma resposta errada. Os investigadores de 2013 encontram-na maximizando o erro de previsão da rede[2]. Em 2014, Goodfellow, Shlens e Szegedy descrevem um método simples e rápido para produzir tais exemplos, baseado na sua explicação da vulnerabilidade: a causa principal seria a natureza linear das redes neuronais[4].

O atacante pode ter vários objetivos. No caso dos sinais, visa uma classificação precisa, dita direcionada[3]. Com um patch adverso, pode fazer o classificador devolver qualquer classe-alvo à sua escolha[5]. Uma mesma perturbação pode enganar outra rede[2], e estes exemplos poderiam servir para atacar um sistema mesmo que o adversário não tenha acesso ao modelo[1].

O que vê no ecrã

No ecrã ou na câmara, a cena parece banal. Um observador humano por vezes não nota nenhuma modificação, e no entanto o classificador engana-se[1]. No caso de um patch adverso, o motivo impresso é acrescentado à cena, fotografado e depois apresentado ao classificador, que então ignora os outros elementos da cena e anuncia a classe escolhida pelo atacante, mesmo quando o patch é pequeno[5].

O sinal de alerta é, portanto, a decisão, não a imagem: uma resposta do sistema sem relação com o que uma pessoa vê na mesma cena.

Por baixo do capôEquipas de TI

Uma rede neuronal aprende correspondências entre entradas e saídas que são, segundo Szegedy e os seus colegas, bastante descontínuas numa medida significativa[2]. Uma perturbação impercetível, procurada maximizando o erro da rede, basta então para mudar a classe prevista, e não é um artefacto aleatório da aprendizagem[2].

Goodfellow e os seus coautores afastam as primeiras explicações, a não linearidade e o sobreajustamento, a favor da natureza linear das redes. Esta leitura, dizem, explica também a generalização dos exemplos de uma arquitetura e de um conjunto de treino para outro[4]. O modelo engana-se então com uma confiança elevada[4].

Para o mundo físico, Eykholt e os seus coautores propõem um algoritmo chamado Robust Physical Perturbations (RP2), que produz perturbações visuais robustas em diferentes condições físicas, incluindo os pontos de vista[3]. O patch de Brown e dos seus coautores é universal (ataca qualquer cena), robusto (resiste a muitas transformações) e direcionado[5].

AutópsiasCasos reais

Dezembro de 2013: perturbações impercetíveis que passam de uma rede para outra

Em dezembro de 2013, Szegedy e seis coautores publicam «Intriguing properties of neural networks». Mostram que uma perturbação impercetível encontrada maximizando o erro de previsão faz classificar mal a imagem, e que a mesma perturbação engana outra rede treinada com outro subconjunto dos dados[2].

Julho de 2016: a câmara de um telemóvel não neutraliza o ataque

Em julho de 2016, Kurakin, Goodfellow e Bengio observam que os trabalhos anteriores supunham um adversário capaz de enviar os seus dados diretamente ao classificador, o que não é o caso dos sistemas que recebem sinais de câmaras[1]. As imagens adversas que passam pela câmara de um telemóvel continuam em grande parte mal classificadas[1].

Agosto de 2016: a destilação defensiva contornada

Carlini e Wagner publicam em agosto de 2016 um trabalho que contesta a destilação defensiva. Os seus três novos algoritmos têm êxito com uma probabilidade de 100 % tanto em redes destiladas como não destiladas, e propõem um teste de transferibilidade de alta confiança que a põe também em xeque[6].

Julho de 2017: o sinal de stop e os seus autocolantes

Em julho de 2017, Eykholt e oito coautores publicam o seu ataque à classificação de sinais de trânsito. Apenas com autocolantes pretos e brancos, atacam um verdadeiro sinal de stop. O erro direcionado atinge 100 % das imagens captadas em laboratório e 84,8 % das imagens de vídeo captadas a partir de um veículo em movimento no teste em campo, para o classificador visado[3]. Propõem também um método de avaliação em duas etapas, laboratório e depois campo, por falta de um método de teste normalizado[3].

Dezembro de 2017: o patch adverso imprimível

Em dezembro de 2017, Brown, Mané, Roy, Abadi e Gilmer descrevem um patch que pode ser impresso, acrescentado a uma cena, fotografado e apresentado a um classificador[5].

O que fazer

  • Se utiliza ou vigia um sistema que lê imagens, trate a sua saída como uma proposta a verificar quando contradiz o que vê.
  • Comunique uma decisão absurda à equipa que gere o sistema, com a imagem ou a sequência em causa.
  • Não retire nem limpe um autocolante ou um objeto suspeito sem ter avisado essa equipa: serve de prova.

As armadilhas

  • Uma imagem «normal» não é uma imagem segura: o ataque pode ser invisível a olho nu[1].
  • Uma única defesa não basta: a destilação defensiva foi contornada[6].
  • O atacante não precisa forçosamente de aceder ao modelo: os autores de 2016 notam que estes exemplos poderiam servir para atacar um sistema sem esse acesso[1].

Defesas e quadros de referência

O treino adversarial consiste em utilizar exemplos adversariais durante a aprendizagem. Goodfellow e os seus coautores usaram-no para reduzir o erro de uma rede maxout no conjunto de teste MNIST[4].

O NIST publica o relatório AI 100-2 E2023, versão final de 4 de janeiro de 2024, que classifica os ataques contra a aprendizagem automática, define um vocabulário, apresenta métodos de atenuação e assinala desafios ainda em aberto[7]. O NCSC britânico publicou a 22 de maio de 2024 princípios de segurança para a aprendizagem automática. Estes princípios não formam nem um quadro de avaliação completo nem uma lista de verificação, e pedem que a segurança seja tratada como uma exigência ao longo de todo o ciclo de vida do sistema[8]. A OWASP prepara, por seu lado, um Top 10 da segurança da aprendizagem automática, ainda em estado de rascunho[9].

Fontes

  1. arXiv, «Adversarial examples in the physical world», 8 de julho de 2016. https://arxiv.org/abs/1607.02533 (consultado em 10 de novembro de 2026)
  2. arXiv, «Intriguing properties of neural networks», 21 de dezembro de 2013. https://arxiv.org/abs/1312.6199 (consultado em 10 de novembro de 2026)
  3. arXiv, «Robust Physical-World Attacks on Deep Learning Models», 27 de julho de 2017. https://arxiv.org/abs/1707.08945 (consultado em 10 de novembro de 2026)
  4. arXiv, «Explaining and Harnessing Adversarial Examples», 20 de dezembro de 2014. https://arxiv.org/abs/1412.6572 (consultado em 10 de novembro de 2026)
  5. arXiv, «Adversarial Patch», 27 de dezembro de 2017. https://arxiv.org/abs/1712.09665 (consultado em 10 de novembro de 2026)
  6. arXiv, «Towards Evaluating the Robustness of Neural Networks», 16 de agosto de 2016. https://arxiv.org/abs/1608.04644 (consultado em 10 de novembro de 2026)
  7. NIST, «Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations», 4 de janeiro de 2024. https://csrc.nist.gov/pubs/ai/100/2/e2023/final (consultado em 10 de novembro de 2026)
  8. NCSC (Royaume-Uni), «Machine learning principles», 22 de maio de 2024. https://www.ncsc.gov.uk/collection/machine-learning-principles (consultado em 10 de novembro de 2026)
  9. OWASP, «OWASP Machine Learning Security Top Ten». https://owasp.org/projects/machine-learning-security-top-ten (consultado em 10 de novembro de 2026)