--- id: CP-291 slug: inversao-modelo-inferencia-pertenca lang: pt title: Recuperar os dados de treino de uma IA description: Um atacante que interroga uma IA pode adivinhar se um documento serviu para a treinar, ou até fazer surgir excertos memorizados. canonical_url: https://startbrain.io/cyberpedia/pt/articles/inversao-modelo-inferencia-pertenca/ markdown_url: https://startbrain.io/cyberpedia/pt/articles/inversao-modelo-inferencia-pertenca.md publisher: Brain (https://startbrain.io) license: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) cite_as: Brain, «Recuperar os dados de treino de uma IA», Cyberpedia, 2026. https://startbrain.io/cyberpedia/pt/articles/inversao-modelo-inferencia-pertenca/ (CC BY 4.0) wing: 4 theme: protect_data reflex: air-008 schema: G1 updated: "2026-11-03" translations: pt: https://startbrain.io/cyberpedia/pt/articles/inversao-modelo-inferencia-pertenca/ fr: https://startbrain.io/cyberpedia/fr/articles/inversion-modele-inference-appartenance/ en: https://startbrain.io/cyberpedia/en/articles/model-inversion-membership-inference/ de: https://startbrain.io/cyberpedia/de/articles/trainingsdaten-ki-modellinversion-mitgliedschaftsinferenz/ es: https://startbrain.io/cyberpedia/es/articles/inversion-modelo-inferencia-pertenencia/ it: https://startbrain.io/cyberpedia/it/articles/inversione-modello-inferenza-appartenenza/ nl: https://startbrain.io/cyberpedia/nl/articles/trainingsdata-ai-modelinversie-lidmaatschapsinferentie/ sources: - "n": 1 title: Extracting Training Data from Large Language Models publisher: arXiv url: https://arxiv.org/abs/2012.07805 published: "2020-12-14" accessed: "2026-11-03" - "n": 2 title: Scalable Extraction of Training Data from (Production) Language Models publisher: arXiv url: https://arxiv.org/abs/2311.17035 published: "2023-11-28" accessed: "2026-11-03" - "n": 3 title: Membership Inference Attacks against Machine Learning Models publisher: arXiv url: https://arxiv.org/abs/1610.05820 published: "2016-10-18" accessed: "2026-11-03" - "n": 4 title: LLM02:2025 Sensitive Information Disclosure publisher: OWASP url: https://genai.owasp.org/llmrisk/llm022025-sensitive-information-disclosure/ accessed: "2026-11-03" - "n": 5 title: "AI 100-2 E2023, Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations" publisher: NIST url: https://csrc.nist.gov/pubs/ai/100/2/e2023/final accessed: "2026-11-03" - "n": 6 title: Principles for security of Machine learning ML publisher: NCSC (Royaume-Uni) url: https://www.ncsc.gov.uk/collection/machine-learning-principles published: "2024-05-22" accessed: "2026-11-03" --- # Recuperar os dados de treino de uma IA Um modelo de IA, como o que alimenta um assistente de conversação, aprende a partir de um número muito elevado de textos, imagens ou fichas. Um atacante pode interrogá-lo para saber se uma pessoa ou um documento constava desses dados, ou para fazer reaparecer fragmentos que o modelo memorizou. O primeiro caso chama-se inferência de pertença, o segundo inversão ou extração. Para um colaborador, o que conta é aquilo que a empresa e o próprio introduzem numa ferramenta de IA, uma vez que esses dados podem entrar no modelo de treino [4]. Esta ficha explica o princípio, dois casos reais datados e os reflexos que limitam a exposição. ## Em 30 segundos - Onde acontece: em modelos de IA públicos ou fornecidos por um prestador, que se interrogam através de uma interface de conversação ou de um serviço em linha. - O que quer o atacante: saber se um dado concreto serviu para o treino, ou recuperar informações que o modelo guardou em memória, como informações pessoais públicas [1]. - O reflexo: não introduzir dados sensíveis numa ferramenta de IA pública e perguntar aos fornecedores o que fazem com os dados introduzidos e como treinam os seus modelos. - Se já o fez: avisar a equipa de segurança da empresa e verificar junto do editor da ferramenta se é possível recusar a utilização dos seus dados para o treino [4]. ## Perguntas diretas ### Qual é a diferença entre inferência de pertença e extração? A inferência de pertença responde a uma pergunta de sim ou não. Com um registo na mão e acesso ao modelo em «caixa negra», o atacante procura determinar se esse registo fazia parte dos dados de treino [3]. A extração vai mais longe: o atacante recupera exemplos de treino individuais ao interrogar o modelo [1]. A inversão consiste em reconstituir informações sensíveis ou dados de entrada a partir do que o modelo revela [4]. ### Porque é que um modelo pode «cuspir» dados? As fontes falam de memorização. Os investigadores definem a «extractable memorization» como dados de treino que um adversário consegue extrair de forma eficaz ao interrogar um modelo, sem conhecer previamente o conjunto de dados [2]. O ataque ao GPT-2 funciona mesmo que cada sequência extraída figure num único documento dos dados de treino [1]. ### Os modelos grandes são mais seguros? Não, segundo o estudo sobre o GPT-2: os autores constatam que os modelos maiores são mais vulneráveis do que os pequenos [1]. O estudo de 2023 acrescenta que as técnicas de alinhamento atuais não eliminam a memorização [2]. ### Um documento confidencial que colei num assistente pode surgir noutro utilizador? A OWASP descreve este risco: um utilizador recebe uma resposta com os dados pessoais de outro, devido a uma limpeza insuficiente dos dados [4]. A organização recomenda que as aplicações impeçam os dados dos utilizadores de entrar no modelo de treino e que os utilizadores possam recusar que os seus dados sejam incluídos [4]. As fontes aqui citadas não quantificam a probabilidade de um caso destes. ## Na pele do atacante O atacante não precisa de entrar no sistema da empresa. Basta-lhe o acesso ao modelo, muitas vezes público. Para a inferência de pertença, os investigadores Shokri e os seus coautores treinam o seu próprio modelo de inferência, que aprende a reconhecer as diferenças entre as respostas do alvo sobre dados vistos no treino e sobre dados que nunca viu [3]. Na extração, o adversário interroga o modelo sem saber nada do conjunto de dados de treino [2]. Procura sequências que saem palavra por palavra: no estudo sobre o GPT-2, foram extraídas centenas de sequências de texto [1]. O objetivo depende do alvo. No caso de um modelo treinado com processos sensíveis, saber que uma pessoa consta deles pode já ser uma informação. Os autores de 2016 ilustram-no com um conjunto de dados de altas hospitalares, cuja pertença é sensível do ponto de vista da privacidade [3]. ## O que vê no ecrã As fontes aqui citadas não descrevem nenhum sinal visível para um colaborador. O ataque consiste em fazer perguntas a um modelo acessível, e os seus pedidos podem parecer banais. O vestígio vê-se antes numa resposta do modelo que contém um excerto memorizado. O texto abaixo é uma ilustração neutralizada, não um comando a reproduzir. Mostra o aspeto de um pedido que procura fazer sair da memória de um modelo dados pessoais. ```text Ilustração: troca fictícia com um assistente, endereço em .invalid. Pergunta: [um pedido repetitivo ou banal, parafraseado] Resposta do modelo: [um excerto memorizado: nome, número, e-mail fictício nome.apelido@exemplo.invalid] ``` ## Por baixo do capô O mecanismo assenta nas diferenças de comportamento de um modelo entre aquilo que aprendeu e aquilo que nunca viu [3]. O atacante explora essas diferenças, quer medindo-as (inferência de pertença), quer provocando a saída de sequências memorizadas (extração). Os modelos visados são de naturezas diversas. Os investigadores de 2016 testaram serviços de aprendizagem automática «a pedido» de fornecedores comerciais como a Google e a Amazon, e mostram que esses modelos podem ser vulneráveis [3]. Os de 2023 extraem gigabytes de dados de modelos abertos como o Pythia, de modelos semiabertos como o LLaMA e de modelos fechados como o ChatGPT [2]. O NIST publica uma taxonomia da aprendizagem automática adversarial, cujas palavras-chave incluem «privacy breach» [5]. A OWASP cita também o ataque «Proof Pudding» (CVE-2019-20634): nele, dados de treino divulgados facilitaram a extração e a inversão do modelo, o que permitiu contornar filtros de correio eletrónico [4]. Liga estas técnicas a três entradas da base MITRE ATLAS: inferir a pertença aos dados de treino, inverter um modelo, extrair um modelo [4]. Do lado da defesa, a OWASP recomenda limpar os dados antes do treino, limitar os acessos segundo o princípio do menor privilégio, recorrer à aprendizagem federada e à privacidade diferencial, que acrescenta ruído aos dados ou às saídas [4]. Precisa que uma instrução dada ao modelo sobre os tipos de dados que não deve devolver pode ser contornada por injeção de instruções [4]. O NCSC britânico lembra que os sistemas de IA estão sujeitos a vulnerabilidades novas, que se somam às ameaças habituais [6]. ## Autópsias ### Dezembro de 2020: a extração de dados do GPT-2 A 14 de dezembro de 2020, Nicholas Carlini e onze coautores depositam no arXiv um estudo que mostra que um adversário pode recuperar exemplos de treino individuais ao interrogar um modelo de linguagem [1]. Atacam o GPT-2, treinado com dados recolhidos na internet pública, e extraem dele centenas de sequências de texto palavra por palavra [1]. Entre elas figuram informações pessoais públicas (nomes, números de telefone, endereços de correio eletrónico), conversas IRC, código e identificadores UUID de 128 bits [1]. Uma versão revista data de 15 de junho de 2021 [1]. ### Novembro de 2023: a extração de dados do ChatGPT A 28 de novembro de 2023, Milad Nasr, Nicholas Carlini e oito coautores publicam um estudo sobre a extração de dados de treino de modelos de produção [2]. Para atacar o ChatGPT, um modelo alinhado, desenvolvem um ataque dito «por divergência»: faz o modelo sair do seu estilo de conversação e levá-lo a emitir dados de treino a um ritmo 150 vezes superior ao de um funcionamento normal [2]. Concluem que ataques práticos podem recuperar muito mais dados do que se pensava [2]. A página da OWASP remete para um artigo de imprensa sobre este caso, intitulado «ChatGPT Spit Out Sensitive Data When Told to Repeat ‘Poem’ Forever» [4]. Para o colaborador, o reflexo decorre destes casos. A OWASP inclui nos dados sensíveis os dados pessoais, as informações financeiras, os registos de saúde, os dados confidenciais da empresa, as credenciais de segurança e os documentos jurídicos: não se introduzem numa ferramenta de IA pública [4]. Para as ferramentas adquiridas pela empresa, pedem-se aos fornecedores garantias por escrito, pois a OWASP recomenda políticas claras sobre a conservação, a utilização e a eliminação dos dados [4]. ## Fontes 1. arXiv, «Extracting Training Data from Large Language Models», 14 de dezembro de 2020. https://arxiv.org/abs/2012.07805 (consultado em 3 de novembro de 2026) 2. arXiv, «Scalable Extraction of Training Data from (Production) Language Models», 28 de novembro de 2023. https://arxiv.org/abs/2311.17035 (consultado em 3 de novembro de 2026) 3. arXiv, «Membership Inference Attacks against Machine Learning Models», 18 de outubro de 2016. https://arxiv.org/abs/1610.05820 (consultado em 3 de novembro de 2026) 4. OWASP, «LLM02:2025 Sensitive Information Disclosure». https://genai.owasp.org/llmrisk/llm022025-sensitive-information-disclosure/ (consultado em 3 de novembro de 2026) 5. NIST, «AI 100-2 E2023, Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations». https://csrc.nist.gov/pubs/ai/100/2/e2023/final (consultado em 3 de novembro de 2026) 6. NCSC (Royaume-Uni), «Principles for security of Machine learning ML», 22 de maio de 2024. https://www.ncsc.gov.uk/collection/machine-learning-principles (consultado em 3 de novembro de 2026) --- Fonte original: Cyberpedia, a enciclopédia pública de cibersegurança e IA publicada pela Brain. Versão canónica: https://startbrain.io/cyberpedia/pt/articles/inversao-modelo-inferencia-pertenca/ Pode reutilizar livremente este texto sob a licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/), desde que cite «Brain, Cyberpedia» com uma ligação para o endereço acima.