Recuperar os dados de treino de uma IA
Um atacante que interroga uma IA pode adivinhar se um documento serviu para a treinar, ou até fazer surgir excertos memorizados.
Nesta página
Em 30 segundos
- Onde acontece
- Em modelos de IA públicos ou fornecidos por um prestador, que se interrogam através de uma interface de conversação ou de um serviço em linha.
- O que quer o atacante
- Saber se um dado concreto serviu para o treino, ou recuperar informações que o modelo guardou em memória, como informações pessoais públicas[1].
- O reflexo
- Não introduzir dados sensíveis numa ferramenta de IA pública e perguntar aos fornecedores o que fazem com os dados introduzidos e como treinam os seus modelos.
- Se já o fez
- Avisar a equipa de segurança da empresa e verificar junto do editor da ferramenta se é possível recusar a utilização dos seus dados para o treino[4].
Do que se trata
Um modelo de IA, como o que alimenta um assistente de conversação, aprende a partir de um número muito elevado de textos, imagens ou fichas. Um atacante pode interrogá-lo para saber se uma pessoa ou um documento constava desses dados, ou para fazer reaparecer fragmentos que o modelo memorizou. O primeiro caso chama-se inferência de pertença, o segundo inversão ou extração.
Para um colaborador, o que conta é aquilo que a empresa e o próprio introduzem numa ferramenta de IA, uma vez que esses dados podem entrar no modelo de treino[4]. Esta ficha explica o princípio, dois casos reais datados e os reflexos que limitam a exposição.
Perguntas diretas
Qual é a diferença entre inferência de pertença e extração?
A inferência de pertença responde a uma pergunta de sim ou não. Com um registo na mão e acesso ao modelo em «caixa negra», o atacante procura determinar se esse registo fazia parte dos dados de treino[3]. A extração vai mais longe: o atacante recupera exemplos de treino individuais ao interrogar o modelo[1]. A inversão consiste em reconstituir informações sensíveis ou dados de entrada a partir do que o modelo revela[4].
Porque é que um modelo pode «cuspir» dados?
As fontes falam de memorização. Os investigadores definem a «extractable memorization» como dados de treino que um adversário consegue extrair de forma eficaz ao interrogar um modelo, sem conhecer previamente o conjunto de dados[2]. O ataque ao GPT-2 funciona mesmo que cada sequência extraída figure num único documento dos dados de treino[1].
Os modelos grandes são mais seguros?
Não, segundo o estudo sobre o GPT-2: os autores constatam que os modelos maiores são mais vulneráveis do que os pequenos[1]. O estudo de 2023 acrescenta que as técnicas de alinhamento atuais não eliminam a memorização[2].
Um documento confidencial que colei num assistente pode surgir noutro utilizador?
A OWASP descreve este risco: um utilizador recebe uma resposta com os dados pessoais de outro, devido a uma limpeza insuficiente dos dados[4]. A organização recomenda que as aplicações impeçam os dados dos utilizadores de entrar no modelo de treino e que os utilizadores possam recusar que os seus dados sejam incluídos[4]. As fontes aqui citadas não quantificam a probabilidade de um caso destes.
Na pele do atacante
O atacante não precisa de entrar no sistema da empresa. Basta-lhe o acesso ao modelo, muitas vezes público. Para a inferência de pertença, os investigadores Shokri e os seus coautores treinam o seu próprio modelo de inferência, que aprende a reconhecer as diferenças entre as respostas do alvo sobre dados vistos no treino e sobre dados que nunca viu[3].
Na extração, o adversário interroga o modelo sem saber nada do conjunto de dados de treino[2]. Procura sequências que saem palavra por palavra: no estudo sobre o GPT-2, foram extraídas centenas de sequências de texto[1].
O objetivo depende do alvo. No caso de um modelo treinado com processos sensíveis, saber que uma pessoa consta deles pode já ser uma informação. Os autores de 2016 ilustram-no com um conjunto de dados de altas hospitalares, cuja pertença é sensível do ponto de vista da privacidade[3].
O que vê no ecrã
As fontes aqui citadas não descrevem nenhum sinal visível para um colaborador. O ataque consiste em fazer perguntas a um modelo acessível, e os seus pedidos podem parecer banais. O vestígio vê-se antes numa resposta do modelo que contém um excerto memorizado.
O texto abaixo é uma ilustração neutralizada, não um comando a reproduzir. Mostra o aspeto de um pedido que procura fazer sair da memória de um modelo dados pessoais.
Ilustração: troca fictícia com um assistente, endereço em .invalid.
Pergunta: [um pedido repetitivo ou banal, parafraseado]
Resposta do modelo: [um excerto memorizado: nome, número, e-mail fictício
[email protected]]Por baixo do capôEquipas de TI
O mecanismo assenta nas diferenças de comportamento de um modelo entre aquilo que aprendeu e aquilo que nunca viu[3]. O atacante explora essas diferenças, quer medindo-as (inferência de pertença), quer provocando a saída de sequências memorizadas (extração).
laranja: o ataque ou o acesso estrangeiro
Os modelos visados são de naturezas diversas. Os investigadores de 2016 testaram serviços de aprendizagem automática «a pedido» de fornecedores comerciais como a Google e a Amazon, e mostram que esses modelos podem ser vulneráveis[3]. Os de 2023 extraem gigabytes de dados de modelos abertos como o Pythia, de modelos semiabertos como o LLaMA e de modelos fechados como o ChatGPT[2].
O NIST publica uma taxonomia da aprendizagem automática adversarial, cujas palavras-chave incluem «privacy breach»[5]. A OWASP cita também o ataque «Proof Pudding» (CVE-2019-20634): nele, dados de treino divulgados facilitaram a extração e a inversão do modelo, o que permitiu contornar filtros de correio eletrónico[4]. Liga estas técnicas a três entradas da base MITRE ATLAS: inferir a pertença aos dados de treino, inverter um modelo, extrair um modelo[4].
Do lado da defesa, a OWASP recomenda limpar os dados antes do treino, limitar os acessos segundo o princípio do menor privilégio, recorrer à aprendizagem federada e à privacidade diferencial, que acrescenta ruído aos dados ou às saídas[4]. Precisa que uma instrução dada ao modelo sobre os tipos de dados que não deve devolver pode ser contornada por injeção de instruções[4]. O NCSC britânico lembra que os sistemas de IA estão sujeitos a vulnerabilidades novas, que se somam às ameaças habituais[6].
AutópsiasCasos reais
Dezembro de 2020: a extração de dados do GPT-2
A 14 de dezembro de 2020, Nicholas Carlini e onze coautores depositam no arXiv um estudo que mostra que um adversário pode recuperar exemplos de treino individuais ao interrogar um modelo de linguagem[1]. Atacam o GPT-2, treinado com dados recolhidos na internet pública, e extraem dele centenas de sequências de texto palavra por palavra[1]. Entre elas figuram informações pessoais públicas (nomes, números de telefone, endereços de correio eletrónico), conversas IRC, código e identificadores UUID de 128 bits[1]. Uma versão revista data de 15 de junho de 2021[1].
Novembro de 2023: a extração de dados do ChatGPT
A 28 de novembro de 2023, Milad Nasr, Nicholas Carlini e oito coautores publicam um estudo sobre a extração de dados de treino de modelos de produção[2]. Para atacar o ChatGPT, um modelo alinhado, desenvolvem um ataque dito «por divergência»: faz o modelo sair do seu estilo de conversação e levá-lo a emitir dados de treino a um ritmo 150 vezes superior ao de um funcionamento normal[2]. Concluem que ataques práticos podem recuperar muito mais dados do que se pensava[2]. A página da OWASP remete para um artigo de imprensa sobre este caso, intitulado «ChatGPT Spit Out Sensitive Data When Told to Repeat ‘Poem’ Forever»[4].
Para o colaborador, o reflexo decorre destes casos. A OWASP inclui nos dados sensíveis os dados pessoais, as informações financeiras, os registos de saúde, os dados confidenciais da empresa, as credenciais de segurança e os documentos jurídicos: não se introduzem numa ferramenta de IA pública[4]. Para as ferramentas adquiridas pela empresa, pedem-se aos fornecedores garantias por escrito, pois a OWASP recomenda políticas claras sobre a conservação, a utilização e a eliminação dos dados[4].
Fontes
- arXiv, «Extracting Training Data from Large Language Models», 14 de dezembro de 2020. https://arxiv.org/abs/2012.07805 (consultado em 3 de novembro de 2026)
- arXiv, «Scalable Extraction of Training Data from (Production) Language Models», 28 de novembro de 2023. https://arxiv.org/abs/2311.17035 (consultado em 3 de novembro de 2026)
- arXiv, «Membership Inference Attacks against Machine Learning Models», 18 de outubro de 2016. https://arxiv.org/abs/1610.05820 (consultado em 3 de novembro de 2026)
- OWASP, «LLM02:2025 Sensitive Information Disclosure». https://genai.owasp.org/llmrisk/llm022025-sensitive-information-disclosure/ (consultado em 3 de novembro de 2026)
- NIST, «AI 100-2 E2023, Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations». https://csrc.nist.gov/pubs/ai/100/2/e2023/final (consultado em 3 de novembro de 2026)
- NCSC (Royaume-Uni), «Principles for security of Machine learning ML», 22 de maio de 2024. https://www.ncsc.gov.uk/collection/machine-learning-principles (consultado em 3 de novembro de 2026)
Citar este artigo
Brain, «Recuperar os dados de treino de uma IA», Cyberpedia, 2026. https:/
BibTeX
@misc{brain_cp291_pt_2026,
author = {Brain},
title = {Recuperar os dados de treino de uma IA},
year = {2026},
howpublished = {Cyberpedia},
url = {https://startbrain.io/cyberpedia/pt/articles/inversao-modelo-inferencia-pertenca/},
note = {CC BY 4.0}
}