Cyberpediapor Brain

Aprendizagem supervisionada, não supervisionada e por reforço

Como aprende um sistema de IA: exemplos etiquetados, dados sem etiqueta, tentativas e recompensas. E porque contam os dados de treino.

Nesta página
  1. 1Em 30 segundos
  2. 2Do que se trata
  3. 3Perguntas diretas
  4. 4Como funciona
  5. 5As armadilhas
  6. 6Fontes
  7. 7Citar este artigo

Em 30 segundos

Onde acontece
Nas ferramentas que classificam mensagens, detetam atividades suspeitas ou comandam um agente, isto é, um programa que aprende por tentativas e recebe um retorno sobre as suas ações[1][2].
O que pretende o atacante
Falsear o treino inserindo ou modificando exemplos, o que o NIST chama envenenamento dos dados[2].
O reflexo
Perguntar de onde vêm os dados que serviram para treinar uma ferramenta antes de confiar no seu resultado, porque um modelo é muitas vezes tão bom quanto os dados que se lhe dão[1].

Do que se trata

Um sistema de IA corrente não foi programado regra a regra. Segundo a Google[1], a aprendizagem automática (machine learning) permite a um sistema aprender e melhorar sozinho, sem ser explicitamente programado, fornecendo-lhe grandes quantidades de dados. A forma como se lhe fornecem esses dados muda o que ele aprende.

A Google[1] apresenta quatro tipos de modelos. Três são descritos aqui: a aprendizagem supervisionada, a aprendizagem não supervisionada e a aprendizagem por reforço. O quarto, dito semissupervisionado, é uma abordagem mista em que apenas uma parte dos dados está etiquetada[1]. Para um colaborador, um ponto conta: um modelo depende dos dados que o treinaram[1], e atacantes podem procurar falseá-los[2].

Perguntas diretas

Qual é a diferença entre as três formas de aprender?

Tudo depende do que o sistema recebe durante o treino. Na aprendizagem supervisionada, recebe exemplos etiquetados[1]. Na aprendizagem não supervisionada, recebe dados sem etiqueta[1]. Na aprendizagem por reforço, um agente interage com um ambiente e aprende uma política, isto é, uma maneira de agir, que maximiza a sua recompensa[2].

Uma ferramenta de IA continua a aprender depois de entrar em funcionamento?

O NCSC (Reino Unido)[3] define a aprendizagem contínua como o conjunto de métodos que ajustam ou prolongam o treino de um modelo depois de implantado, a partir das interações e dos retornos de utilização. A Google[1] indica, por seu lado, que um modelo pode ser treinado de novo com dados novos e receber retornos de utilizadores reais. O NIST[2] observa que os detetores de ataques a sistemas industriais são muitas vezes treinados de novo com dados recolhidos durante o seu funcionamento, o que abre a atacantes a possibilidade de os envenenar.

O que é o envenenamento dos dados?

O NIST[2] define os ataques por envenenamento como ataques realizados durante a fase de treino. Num envenenamento de dados, o adversário controla uma parte dos dados de treino, inserindo ou modificando exemplos[2]. A ENISA[4] inclui o envenenamento dos dados entre as ameaças que visam os sistemas de aprendizagem automática, a par dos ataques adversariais e da exfiltração de dados.

Como funciona

Aprendizagem supervisionada: aprender com exemplos corrigidos

O modelo recebe dados etiquetados e aprende a relacionar uma caraterística com uma etiqueta[1]. A Google[1] dá o exemplo do reconhecimento de maçãs: para treinar o algoritmo, mostram-se-lhe imagens etiquetadas como maçãs. A resposta esperada é conhecida de antemão[1].

O NIST[2] distingue duas famílias de técnicas supervisionadas: a classificação, em que as etiquetas previstas são discretas, e a regressão, em que são contínuas. A Microsoft[5] observa que o resultado de um modelo de aprendizagem automática é, na maior parte dos casos, um valor numérico, como uma pontuação ou uma classificação.

O NIST[2] cita classificadores de spam treinados com exemplos de correios eletrónicos. Descreve também o caso da classificação de software malicioso, em que atacantes podem submeter ficheiros a plataformas de informação sobre ameaças e em que a etiquetagem é feita com assinaturas de antivírus ou outros métodos externos[2].

Aprendizagem não supervisionada: encontrar grupos sem instruções

O modelo aprende padrões a partir de dados não etiquetados[1]. A «correctness» do resultado não é conhecida de antemão: o algoritmo aprende com os dados sem intervenção humana e classifica-os em grupos segundo os seus atributos[1]. Se lhe derem imagens de maçãs e de bananas, separa-as sozinho[1]. A Google[1] considera-a eficaz para a modelação descritiva e a procura de padrões, e cita o agrupamento por K-means entre os algoritmos correntes.

Em segurança, o NIST[2] menciona modelos não supervisionados utilizados para o agrupamento de software malicioso e para a deteção de anomalias no tráfego de rede. Salienta que o envenenamento desses modelos foi demonstrado nestas duas utilizações[2].

Aprendizagem por reforço: aprender por tentativas

A Google[1] descreve-a como uma aprendizagem «learn by doing», por tentativa e erro. Um agente aprende uma tarefa através de um ciclo de retorno, até o seu desempenho atingir um nível desejável. Recebe um reforço positivo quando tem êxito e negativo quando falha[1]. No exemplo da Google[1], investigadores ensinaram um algoritmo a jogar go: sem conhecer as regras, moveu peças ao acaso e acabou por vencer um jogador humano.

O NCSC (Reino Unido)[3] esclarece que os seus princípios de segurança não cobrem especificamente a aprendizagem por reforço, porque esta técnica se desenvolve de forma diferente. Podem servir de base, mas são provavelmente necessárias precauções de segurança adicionais[3].

As armadilhas

Dados de má qualidade

Segundo a Google[1], se se supuserem dados de treino de boa qualidade, quantos mais exemplos o algoritmo recebe, mais preciso se torna o modelo. Inversamente, um algoritmo alimentado com um conjunto de dados enviesado produz resultados enviesados[1]. Obter e limpar dados estruturados é uma primeira etapa importante para a aprendizagem supervisionada, e pode ser difícil quando os dados estão dispersos por vários locais da organização[1].

Dados envenenados

O NIST[2] escreve que o envenenamento pode ser organizado em grande escala: um adversário com meios financeiros limitados poderia controlar uma fração dos conjuntos de dados públicos utilizados para o treino. Pode degradar o modelo em todos os exemplos, ou provocar erros num pequeno número de exemplos visados[2]. Um método simples, a inversão de etiquetas, consiste em fornecer exemplos de treino cuja etiqueta é falsa ou foi modificada[2].

As defesas são desiguais. Os ataques que degradam o modelo em todos os exemplos são em geral detetáveis vigiando as medidas de desempenho habituais, como a precisão ou o recall[2]. Os ataques dirigidos são, pelo contrário, «notoriously challenging to defend against», segundo o NIST[2], que cita como medidas o controlo de acesso aos dados de treino, a limpeza e a validação dos dados, e a atestação da sua proveniência e integridade.

O NCSC (Reino Unido)[3] lembra que os sistemas de IA e de aprendizagem automática estão sujeitos a vulnerabilidades novas, a considerar além das ameaças clássicas, e que a segurança deve ser uma exigência ao longo de todo o ciclo de vida do sistema.

Um modelo pode ser enganado sem tocar no seu treino

Um ataque de evasão modifica os exemplos apresentados a um modelo já treinado para mudar a sua previsão[2]. O NIST[2] cita o estudo de um detetor comercial de páginas de phishing: em 4 600 amostras que o sistema considerava incertas, os autores identificaram 100 exemplos adversariais. Os atacantes não utilizavam aí métodos de otimização, mas técnicas simples como o recorte, a ocultação ou o desfoque da imagem[2].

O NIST[2] acrescenta que conceber modelos que resistam à evasão mantendo a sua precisão continua a ser um problema em aberto. Algumas evasões contra detetores de software malicioso e contra um sistema de proteção do correio foram demonstradas por investigadores, mas não deram origem a ataques em ambiente real[2].

Necessidades de dados variáveis

A Microsoft[5] indica que a aprendizagem automática pode funcionar com pequenas quantidades de dados, ao passo que a aprendizagem profunda precisa de grandes quantidades de dados de treino.

Fontes

  1. Google, «What is Machine Learning? Types and uses». https://cloud.google.com/learn/what-is-machine-learning (consultado em 14 de novembro de 2026)
  2. NIST, «Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations». https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-2e2025.pdf (consultado em 14 de novembro de 2026)
  3. NCSC (Royaume-Uni), «Principles for security of Machine learning ML», 22 de maio de 2024. https://www.ncsc.gov.uk/collection/machine-learning-principles (consultado em 14 de novembro de 2026)
  4. ENISA, «Securing Machine Learning Algorithms | ENISA», 14 de dezembro de 2021. https://www.enisa.europa.eu/publications/securing-machine-learning-algorithms (consultado em 14 de novembro de 2026)
  5. Microsoft, «Deep Learning vs. Machine Learning - Azure Machine Learning». https://learn.microsoft.com/en-us/azure/machine-learning/concept-deep-learning-vs-machine-learning?view=azureml-api-2 (consultado em 14 de novembro de 2026)