Recuperar os dados de treino de uma IA

O atacante não precisa de entrar no sistema da empresa. Basta-lhe o acesso ao modelo, muitas vezes público. Para a inferência de pertença, os investigadores Shokri e os seus coautores treinam o seu próprio modelo de inferência, que aprende a reconhecer as diferenças entre as respostas do alvo sobre dados vistos no treino e sobre dados que nunca viu³.

Na extração, o adversário interroga o modelo sem saber nada do conjunto de dados de treino². Procura sequências que saem palavra por palavra: no estudo sobre o GPT-2, foram extraídas centenas de sequências de texto¹.

O objetivo depende do alvo. No caso de um modelo treinado com processos sensíveis, saber que uma pessoa consta deles pode já ser uma informação. Os autores de 2016 ilustram-no com um conjunto de dados de altas hospitalares, cuja pertença é sensível do ponto de vista da privacidade³.

As fontes aqui citadas não descrevem nenhum sinal visível para um colaborador. O ataque consiste em fazer perguntas a um modelo acessível, e os seus pedidos podem parecer banais. O vestígio vê-se antes numa resposta do modelo que contém um excerto memorizado.

O texto abaixo é uma ilustração neutralizada, não um comando a reproduzir. Mostra o aspeto de um pedido que procura fazer sair da memória de um modelo dados pessoais.

Ilustração: troca fictícia com um assistente, endereço em .invalid.
Pergunta: [um pedido repetitivo ou banal, parafraseado]
Resposta do modelo: [um excerto memorizado: nome, número, e-mail fictício
  [email protected]]

O mecanismo assenta nas diferenças de comportamento de um modelo entre aquilo que aprendeu e aquilo que nunca viu³. O atacante explora essas diferenças, quer medindo-as (inferência de pertença), quer provocando a saída de sequências memorizadas (extração).

Os modelos visados são de naturezas diversas. Os investigadores de 2016 testaram serviços de aprendizagem automática «a pedido» de fornecedores comerciais como a Google e a Amazon, e mostram que esses modelos podem ser vulneráveis³. Os de 2023 extraem gigabytes de dados de modelos abertos como o Pythia, de modelos semiabertos como o LLaMA e de modelos fechados como o ChatGPT².

O NIST publica uma taxonomia da aprendizagem automática adversarial, cujas palavras-chave incluem «privacy breach»⁵. A OWASP cita também o ataque «Proof Pudding» (CVE-2019-20634): nele, dados de treino divulgados facilitaram a extração e a inversão do modelo, o que permitiu contornar filtros de correio eletrónico⁴. Liga estas técnicas a três entradas da base MITRE ATLAS: inferir a pertença aos dados de treino, inverter um modelo, extrair um modelo⁴.

Do lado da defesa, a OWASP recomenda limpar os dados antes do treino, limitar os acessos segundo o princípio do menor privilégio, recorrer à aprendizagem federada e à privacidade diferencial, que acrescenta ruído aos dados ou às saídas⁴. Precisa que uma instrução dada ao modelo sobre os tipos de dados que não deve devolver pode ser contornada por injeção de instruções⁴. O NCSC britânico lembra que os sistemas de IA estão sujeitos a vulnerabilidades novas, que se somam às ameaças habituais⁶.

Dezembro de 2020: a extração de dados do GPT-2

A 14 de dezembro de 2020, Nicholas Carlini e onze coautores depositam no arXiv um estudo que mostra que um adversário pode recuperar exemplos de treino individuais ao interrogar um modelo de linguagem¹. Atacam o GPT-2, treinado com dados recolhidos na internet pública, e extraem dele centenas de sequências de texto palavra por palavra¹. Entre elas figuram informações pessoais públicas (nomes, números de telefone, endereços de correio eletrónico), conversas IRC, código e identificadores UUID de 128 bits¹. Uma versão revista data de 15 de junho de 2021¹.

Novembro de 2023: a extração de dados do ChatGPT

A 28 de novembro de 2023, Milad Nasr, Nicholas Carlini e oito coautores publicam um estudo sobre a extração de dados de treino de modelos de produção². Para atacar o ChatGPT, um modelo alinhado, desenvolvem um ataque dito «por divergência»: faz o modelo sair do seu estilo de conversação e levá-lo a emitir dados de treino a um ritmo 150 vezes superior ao de um funcionamento normal². Concluem que ataques práticos podem recuperar muito mais dados do que se pensava². A página da OWASP remete para um artigo de imprensa sobre este caso, intitulado «ChatGPT Spit Out Sensitive Data When Told to Repeat ‘Poem’ Forever»⁴.

Para o colaborador, o reflexo decorre destes casos. A OWASP inclui nos dados sensíveis os dados pessoais, as informações financeiras, os registos de saúde, os dados confidenciais da empresa, as credenciais de segurança e os documentos jurídicos: não se introduzem numa ferramenta de IA pública⁴. Para as ferramentas adquiridas pela empresa, pedem-se aos fornecedores garantias por escrito, pois a OWASP recomenda políticas claras sobre a conservação, a utilização e a eliminação dos dados⁴.