Cyberpediapor Brain

Recuperar os dados de treino de uma IA

Um atacante que interroga uma IA pode adivinhar se um documento serviu para a treinar, ou até fazer surgir excertos memorizados.

Nesta página
  1. 1Em 30 segundos
  2. 2Do que se trata
  3. 3Perguntas diretas
  4. 4Na pele do atacante
  5. 5O que vê no ecrã
  6. 6Por baixo do capô
  7. 7Autópsias
  8. 8Fontes
  9. 9Citar este artigo

Em 30 segundos

Onde acontece
Em modelos de IA públicos ou fornecidos por um prestador, que se interrogam através de uma interface de conversação ou de um serviço em linha.
O que quer o atacante
Saber se um dado concreto serviu para o treino, ou recuperar informações que o modelo guardou em memória, como informações pessoais públicas[1].
O reflexo
Não introduzir dados sensíveis numa ferramenta de IA pública e perguntar aos fornecedores o que fazem com os dados introduzidos e como treinam os seus modelos.
Se já o fez
Avisar a equipa de segurança da empresa e verificar junto do editor da ferramenta se é possível recusar a utilização dos seus dados para o treino[4].
Mapa do artigo

Do que se trata

Um modelo de IA, como o que alimenta um assistente de conversação, aprende a partir de um número muito elevado de textos, imagens ou fichas. Um atacante pode interrogá-lo para saber se uma pessoa ou um documento constava desses dados, ou para fazer reaparecer fragmentos que o modelo memorizou. O primeiro caso chama-se inferência de pertença, o segundo inversão ou extração.

Para um colaborador, o que conta é aquilo que a empresa e o próprio introduzem numa ferramenta de IA, uma vez que esses dados podem entrar no modelo de treino[4]. Esta ficha explica o princípio, dois casos reais datados e os reflexos que limitam a exposição.

Perguntas diretas

Qual é a diferença entre inferência de pertença e extração?

A inferência de pertença responde a uma pergunta de sim ou não. Com um registo na mão e acesso ao modelo em «caixa negra», o atacante procura determinar se esse registo fazia parte dos dados de treino[3]. A extração vai mais longe: o atacante recupera exemplos de treino individuais ao interrogar o modelo[1]. A inversão consiste em reconstituir informações sensíveis ou dados de entrada a partir do que o modelo revela[4].

Porque é que um modelo pode «cuspir» dados?

As fontes falam de memorização. Os investigadores definem a «extractable memorization» como dados de treino que um adversário consegue extrair de forma eficaz ao interrogar um modelo, sem conhecer previamente o conjunto de dados[2]. O ataque ao GPT-2 funciona mesmo que cada sequência extraída figure num único documento dos dados de treino[1].

Os modelos grandes são mais seguros?

Não, segundo o estudo sobre o GPT-2: os autores constatam que os modelos maiores são mais vulneráveis do que os pequenos[1]. O estudo de 2023 acrescenta que as técnicas de alinhamento atuais não eliminam a memorização[2].

Um documento confidencial que colei num assistente pode surgir noutro utilizador?

A OWASP descreve este risco: um utilizador recebe uma resposta com os dados pessoais de outro, devido a uma limpeza insuficiente dos dados[4]. A organização recomenda que as aplicações impeçam os dados dos utilizadores de entrar no modelo de treino e que os utilizadores possam recusar que os seus dados sejam incluídos[4]. As fontes aqui citadas não quantificam a probabilidade de um caso destes.

Na pele do atacante

O atacante não precisa de entrar no sistema da empresa. Basta-lhe o acesso ao modelo, muitas vezes público. Para a inferência de pertença, os investigadores Shokri e os seus coautores treinam o seu próprio modelo de inferência, que aprende a reconhecer as diferenças entre as respostas do alvo sobre dados vistos no treino e sobre dados que nunca viu[3].

Na extração, o adversário interroga o modelo sem saber nada do conjunto de dados de treino[2]. Procura sequências que saem palavra por palavra: no estudo sobre o GPT-2, foram extraídas centenas de sequências de texto[1].

O objetivo depende do alvo. No caso de um modelo treinado com processos sensíveis, saber que uma pessoa consta deles pode já ser uma informação. Os autores de 2016 ilustram-no com um conjunto de dados de altas hospitalares, cuja pertença é sensível do ponto de vista da privacidade[3].

O que vê no ecrã

As fontes aqui citadas não descrevem nenhum sinal visível para um colaborador. O ataque consiste em fazer perguntas a um modelo acessível, e os seus pedidos podem parecer banais. O vestígio vê-se antes numa resposta do modelo que contém um excerto memorizado.

O texto abaixo é uma ilustração neutralizada, não um comando a reproduzir. Mostra o aspeto de um pedido que procura fazer sair da memória de um modelo dados pessoais.

Excerto
Ilustração: troca fictícia com um assistente, endereço em .invalid.
Pergunta: [um pedido repetitivo ou banal, parafraseado]
Resposta do modelo: [um excerto memorizado: nome, número, e-mail fictício
  [email protected]]

Por baixo do capôEquipas de TI

O mecanismo assenta nas diferenças de comportamento de um modelo entre aquilo que aprendeu e aquilo que nunca viu[3]. O atacante explora essas diferenças, quer medindo-as (inferência de pertença), quer provocando a saída de sequências memorizadas (extração).

Inferência de pertença e extração: o que muda Um quadro comparativo dos dois ataques a um modelo de IA. Nas colunas, a inferência de pertença e a extração. Nas linhas, o ponto de partida do atacante, o que faz e o que obtém. Na inferência de pertença, parte de um registo na mão e de um acesso em caixa negra, mede as diferenças de comportamento do modelo e obtém um sim ou não. Na extração, interroga o modelo sem saber nada do conjunto de dados, provoca a saída de sequências memorizadas e recupera exemplos de treino individuais. Dois objetivos do atacante Inferência de pertença Extração O que as distingue À partida Um registo na mão, acesso ao modelo em «caixa negra» Sem saber nada do conjunto de dados de treino O que faz o atacante Mede as diferenças de comportamento do modelo Provoca a saída de sequências memorizadas O que obtém Uma resposta de sim ou não a uma pergunta Exemplos de treino individuais, recuperados ao interrogar o modelo
Inferência de pertença e extração: o que muda Um quadro comparativo dos dois ataques a um modelo de IA. Nas colunas, a inferência de pertença e a extração. Nas linhas, o ponto de partida do atacante, o que faz e o que obtém. Na inferência de pertença, parte de um registo na mão e de um acesso em caixa negra, mede as diferenças de comportamento do modelo e obtém um sim ou não. Na extração, interroga o modelo sem saber nada do conjunto de dados, provoca a saída de sequências memorizadas e recupera exemplos de treino individuais. O que as distingue À partida Dois objetivos do atacante Inferência de pertença Um registo na mão, acesso ao modelo em «caixa negra» Extração Sem saber nada do conjunto de dados de treino O que as distingue O que faz o atacante Dois objetivos do atacante Inferência de pertença Mede as diferenças de comportamento do modelo Extração Provoca a saída de sequências memorizadas O que as distingue O que obtém Dois objetivos do atacante Inferência de pertença Uma resposta de sim ou não a uma pergunta Extração Exemplos de treino individuais, recuperados ao interrogar o modelo

laranja: o ataque ou o acesso estrangeiro

Esquema 1. A inferência de pertença responde com sim ou não à pergunta de saber se um registo fazia parte dos dados de treino; a extração recupera exemplos de treino individuais ao interrogar o modelo.

Os modelos visados são de naturezas diversas. Os investigadores de 2016 testaram serviços de aprendizagem automática «a pedido» de fornecedores comerciais como a Google e a Amazon, e mostram que esses modelos podem ser vulneráveis[3]. Os de 2023 extraem gigabytes de dados de modelos abertos como o Pythia, de modelos semiabertos como o LLaMA e de modelos fechados como o ChatGPT[2].

O NIST publica uma taxonomia da aprendizagem automática adversarial, cujas palavras-chave incluem «privacy breach»[5]. A OWASP cita também o ataque «Proof Pudding» (CVE-2019-20634): nele, dados de treino divulgados facilitaram a extração e a inversão do modelo, o que permitiu contornar filtros de correio eletrónico[4]. Liga estas técnicas a três entradas da base MITRE ATLAS: inferir a pertença aos dados de treino, inverter um modelo, extrair um modelo[4].

Do lado da defesa, a OWASP recomenda limpar os dados antes do treino, limitar os acessos segundo o princípio do menor privilégio, recorrer à aprendizagem federada e à privacidade diferencial, que acrescenta ruído aos dados ou às saídas[4]. Precisa que uma instrução dada ao modelo sobre os tipos de dados que não deve devolver pode ser contornada por injeção de instruções[4]. O NCSC britânico lembra que os sistemas de IA estão sujeitos a vulnerabilidades novas, que se somam às ameaças habituais[6].

AutópsiasCasos reais

Dezembro de 2020: a extração de dados do GPT-2

A 14 de dezembro de 2020, Nicholas Carlini e onze coautores depositam no arXiv um estudo que mostra que um adversário pode recuperar exemplos de treino individuais ao interrogar um modelo de linguagem[1]. Atacam o GPT-2, treinado com dados recolhidos na internet pública, e extraem dele centenas de sequências de texto palavra por palavra[1]. Entre elas figuram informações pessoais públicas (nomes, números de telefone, endereços de correio eletrónico), conversas IRC, código e identificadores UUID de 128 bits[1]. Uma versão revista data de 15 de junho de 2021[1].

Novembro de 2023: a extração de dados do ChatGPT

A 28 de novembro de 2023, Milad Nasr, Nicholas Carlini e oito coautores publicam um estudo sobre a extração de dados de treino de modelos de produção[2]. Para atacar o ChatGPT, um modelo alinhado, desenvolvem um ataque dito «por divergência»: faz o modelo sair do seu estilo de conversação e levá-lo a emitir dados de treino a um ritmo 150 vezes superior ao de um funcionamento normal[2]. Concluem que ataques práticos podem recuperar muito mais dados do que se pensava[2]. A página da OWASP remete para um artigo de imprensa sobre este caso, intitulado «ChatGPT Spit Out Sensitive Data When Told to Repeat ‘Poem’ Forever»[4].

Para o colaborador, o reflexo decorre destes casos. A OWASP inclui nos dados sensíveis os dados pessoais, as informações financeiras, os registos de saúde, os dados confidenciais da empresa, as credenciais de segurança e os documentos jurídicos: não se introduzem numa ferramenta de IA pública[4]. Para as ferramentas adquiridas pela empresa, pedem-se aos fornecedores garantias por escrito, pois a OWASP recomenda políticas claras sobre a conservação, a utilização e a eliminação dos dados[4].

Fontes

  1. arXiv, «Extracting Training Data from Large Language Models», 14 de dezembro de 2020. https://arxiv.org/abs/2012.07805 (consultado em 3 de novembro de 2026)
  2. arXiv, «Scalable Extraction of Training Data from (Production) Language Models», 28 de novembro de 2023. https://arxiv.org/abs/2311.17035 (consultado em 3 de novembro de 2026)
  3. arXiv, «Membership Inference Attacks against Machine Learning Models», 18 de outubro de 2016. https://arxiv.org/abs/1610.05820 (consultado em 3 de novembro de 2026)
  4. OWASP, «LLM02:2025 Sensitive Information Disclosure». https://genai.owasp.org/llmrisk/llm022025-sensitive-information-disclosure/ (consultado em 3 de novembro de 2026)
  5. NIST, «AI 100-2 E2023, Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations». https://csrc.nist.gov/pubs/ai/100/2/e2023/final (consultado em 3 de novembro de 2026)
  6. NCSC (Royaume-Uni), «Principles for security of Machine learning ML», 22 de maio de 2024. https://www.ncsc.gov.uk/collection/machine-learning-principles (consultado em 3 de novembro de 2026)