Recuperar los datos de entrenamiento de una IA

El atacante no necesita entrar en el sistema de la empresa. Le basta con tener acceso al modelo, que a menudo es público. Para la inferencia de pertenencia, los investigadores Shokri y sus coautores entrenan su propio modelo de inferencia, que aprende a reconocer las diferencias entre las respuestas del objetivo ante datos vistos durante el entrenamiento y ante datos que nunca ha visto³.

Para la extracción, el adversario consulta el modelo sin saber nada del conjunto de datos de entrenamiento². Busca secuencias que salen palabra por palabra: en el estudio sobre GPT-2 se extrajeron cientos de secuencias de texto¹.

El objetivo depende de la víctima. En el caso de un modelo entrenado con expedientes sensibles, saber que una persona figura en ellos ya puede ser una información. Los autores de 2016 lo ilustran con un conjunto de datos de altas hospitalarias, cuya pertenencia es sensible desde el punto de vista de la privacidad³.

Las fuentes citadas aquí no describen ninguna señal visible para un empleado. El ataque consiste en hacer preguntas a un modelo accesible, y sus consultas pueden parecer normales. El rastro se ve más bien en una respuesta del modelo que contiene un fragmento memorizado.

El texto siguiente es una ilustración neutralizada, no una orden que haya que reproducir. Muestra el aspecto de una petición que intenta sacar datos personales de la memoria de un modelo.

Ilustración: intercambio ficticio con un asistente, dirección en .invalid.
Pregunta: [una petición repetitiva o banal, parafraseada]
Respuesta del modelo: [un fragmento memorizado: nombre, número, correo ficticio
  [email protected]]

El mecanismo se basa en las diferencias de comportamiento de un modelo entre lo que ha aprendido y lo que nunca ha visto³. El atacante aprovecha esas diferencias, ya sea midiéndolas (inferencia de pertenencia), ya sea provocando la salida de secuencias memorizadas (extracción).

Los modelos atacados son de naturaleza diversa. Los investigadores de 2016 probaron servicios de aprendizaje automático «a la carta» de proveedores comerciales como Google y Amazon, y muestran que esos modelos pueden ser vulnerables³. Los de 2023 extraen gigabytes de datos de modelos abiertos como Pythia, de modelos semiabiertos como LLaMA y de modelos cerrados como ChatGPT².

El NIST publica una taxonomía del aprendizaje automático adversario, entre cuyas palabras clave figura «privacy breach»⁵. OWASP cita además el ataque «Proof Pudding» (CVE-2019-20634): unos datos de entrenamiento divulgados facilitaron la extracción y la inversión del modelo, lo que permitió eludir filtros de correo electrónico⁴. Vincula estas técnicas con tres entradas de la base MITRE ATLAS: inferir la pertenencia a los datos de entrenamiento, invertir un modelo, extraer un modelo⁴.

En cuanto a la defensa, OWASP recomienda depurar los datos antes del entrenamiento, limitar los accesos según el principio del mínimo privilegio y emplear el aprendizaje federado y la privacidad diferencial, que añade ruido a los datos o a las salidas⁴. Precisa que una instrucción dada al modelo sobre los tipos de datos que no debe devolver puede eludirse mediante inyección de instrucciones⁴. El NCSC británico recuerda que los sistemas de IA están sujetos a vulnerabilidades nuevas, que se suman a las amenazas habituales⁶.

Diciembre de 2020: la extracción de datos de GPT-2

El 14 de diciembre de 2020, Nicholas Carlini y once coautores depositan en arXiv un estudio que muestra que un adversario puede recuperar ejemplos de entrenamiento individuales consultando un modelo de lenguaje¹. Atacan GPT-2, entrenado con datos recopilados de internet público, y extraen de él cientos de secuencias de texto palabra por palabra¹. Entre ellas figuran información personal pública (nombres, números de teléfono, direcciones de correo electrónico), conversaciones de IRC, código e identificadores UUID de 128 bits¹. Una versión revisada tiene fecha del 15 de junio de 2021¹.

Noviembre de 2023: la extracción de datos de ChatGPT

El 28 de noviembre de 2023, Milad Nasr, Nicholas Carlini y ocho coautores publican un estudio sobre la extracción de datos de entrenamiento de modelos de producción². Para atacar ChatGPT, un modelo alineado, desarrollan un ataque llamado «por divergencia»: hace que el modelo abandone su estilo de conversación y emita datos de entrenamiento a un ritmo 150 veces superior al de un funcionamiento normal². Concluyen que los ataques prácticos pueden recuperar muchos más datos de lo que se creía². La página de OWASP remite a un artículo de prensa sobre este caso, titulado «ChatGPT Spit Out Sensitive Data When Told to Repeat ‘Poem’ Forever»⁴.

Para el empleado, el reflejo se deduce de estos casos. OWASP incluye entre los datos sensibles los datos personales, la información financiera, los historiales de salud, los datos confidenciales de empresa, las credenciales de seguridad y los documentos jurídicos: no se introducen en una herramienta de IA pública⁴. Para las herramientas que compra la empresa, se piden garantías por escrito a los proveedores, ya que OWASP recomienda políticas claras sobre la conservación, el uso y la eliminación de los datos⁴.