--- id: CP-291 slug: inversion-modelo-inferencia-pertenencia lang: es title: Recuperar los datos de entrenamiento de una IA description: Un atacante que consulta una IA puede deducir si un documento sirvió para entrenarla, e incluso hacer salir fragmentos memorizados. canonical_url: https://startbrain.io/cyberpedia/es/articles/inversion-modelo-inferencia-pertenencia/ markdown_url: https://startbrain.io/cyberpedia/es/articles/inversion-modelo-inferencia-pertenencia.md publisher: Brain (https://startbrain.io) license: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) cite_as: Brain, «Recuperar los datos de entrenamiento de una IA», Cyberpedia, 2026. https://startbrain.io/cyberpedia/es/articles/inversion-modelo-inferencia-pertenencia/ (CC BY 4.0) wing: 4 theme: protect_data reflex: air-008 schema: G1 updated: "2026-11-03" translations: es: https://startbrain.io/cyberpedia/es/articles/inversion-modelo-inferencia-pertenencia/ fr: https://startbrain.io/cyberpedia/fr/articles/inversion-modele-inference-appartenance/ en: https://startbrain.io/cyberpedia/en/articles/model-inversion-membership-inference/ de: https://startbrain.io/cyberpedia/de/articles/trainingsdaten-ki-modellinversion-mitgliedschaftsinferenz/ it: https://startbrain.io/cyberpedia/it/articles/inversione-modello-inferenza-appartenenza/ sources: - "n": 1 title: Extracting Training Data from Large Language Models publisher: arXiv url: https://arxiv.org/abs/2012.07805 published: "2020-12-14" accessed: "2026-11-03" - "n": 2 title: Scalable Extraction of Training Data from (Production) Language Models publisher: arXiv url: https://arxiv.org/abs/2311.17035 published: "2023-11-28" accessed: "2026-11-03" - "n": 3 title: Membership Inference Attacks against Machine Learning Models publisher: arXiv url: https://arxiv.org/abs/1610.05820 published: "2016-10-18" accessed: "2026-11-03" - "n": 4 title: LLM02:2025 Sensitive Information Disclosure publisher: OWASP url: https://genai.owasp.org/llmrisk/llm022025-sensitive-information-disclosure/ accessed: "2026-11-03" - "n": 5 title: "AI 100-2 E2023, Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations" publisher: NIST url: https://csrc.nist.gov/pubs/ai/100/2/e2023/final accessed: "2026-11-03" - "n": 6 title: Principles for security of Machine learning ML publisher: NCSC (Royaume-Uni) url: https://www.ncsc.gov.uk/collection/machine-learning-principles published: "2024-05-22" accessed: "2026-11-03" --- # Recuperar los datos de entrenamiento de una IA Un modelo de IA, como el que hace funcionar un asistente de conversación, aprende a partir de un gran número de textos, imágenes o fichas. Un atacante puede consultarlo para saber si una persona o un documento figuraba en esos datos, o para hacer reaparecer fragmentos que el modelo ha memorizado. El primer caso se llama inferencia de pertenencia; el segundo, inversión o extracción. Para un empleado, lo que importa es lo que la empresa y él mismo introducen en una herramienta de IA, ya que esos datos pueden pasar al modelo de entrenamiento [4]. Esta ficha explica el principio, dos casos reales fechados y los reflejos que limitan la exposición. ## En 30 segundos - Dónde ocurre: en los modelos de IA públicos o suministrados por un proveedor, que se consultan mediante una interfaz de conversación o un servicio en línea. - Lo que busca el atacante: saber si un dato concreto se usó en el entrenamiento, o recuperar información que el modelo ha conservado en memoria, como información personal pública [1]. - El reflejo: no introducir datos sensibles en una herramienta de IA pública y preguntar a los proveedores qué hacen con los datos introducidos y cómo entrenan sus modelos. - Si ya lo ha hecho: avisar al servicio de seguridad de la empresa y comprobar con el editor de la herramienta si es posible negarse a que se usen sus datos para el entrenamiento [4]. ## Preguntas directas ### ¿Cuál es la diferencia entre inferencia de pertenencia y extracción? La inferencia de pertenencia responde a una pregunta de sí o no. Con un registro en la mano y acceso al modelo como «caja negra», el atacante intenta determinar si ese registro formaba parte de los datos de entrenamiento [3]. La extracción va más allá: el atacante recupera ejemplos de entrenamiento individuales consultando el modelo [1]. La inversión consiste en reconstruir información sensible o datos de entrada a partir de lo que el modelo revela [4]. ### ¿Por qué un modelo puede «escupir» datos? Las fuentes hablan de memorización. Unos investigadores definen la «extractable memorization» como los datos de entrenamiento que un adversario puede extraer con eficacia consultando un modelo, sin conocer de antemano el conjunto de datos [2]. El ataque contra GPT-2 funciona incluso si cada secuencia extraída aparece en un solo documento de los datos de entrenamiento [1]. ### ¿Son más seguros los modelos grandes? No, según el estudio sobre GPT-2: los autores constatan que los modelos más grandes son más vulnerables que los pequeños [1]. El estudio de 2023 añade que las técnicas de alineamiento actuales no eliminan la memorización [2]. ### ¿Puede un documento confidencial que he pegado en un asistente aparecer ante otro usuario? OWASP describe este riesgo: un usuario recibe una respuesta que contiene los datos personales de otro, por una depuración insuficiente de los datos [4]. La organización recomienda que las aplicaciones impidan que los datos de los usuarios entren en el modelo de entrenamiento y que los usuarios puedan negarse a que sus datos se incluyan en él [4]. Las fuentes citadas aquí no cuantifican la probabilidad de un caso así. ## En la piel del atacante El atacante no necesita entrar en el sistema de la empresa. Le basta con tener acceso al modelo, que a menudo es público. Para la inferencia de pertenencia, los investigadores Shokri y sus coautores entrenan su propio modelo de inferencia, que aprende a reconocer las diferencias entre las respuestas del objetivo ante datos vistos durante el entrenamiento y ante datos que nunca ha visto [3]. Para la extracción, el adversario consulta el modelo sin saber nada del conjunto de datos de entrenamiento [2]. Busca secuencias que salen palabra por palabra: en el estudio sobre GPT-2 se extrajeron cientos de secuencias de texto [1]. El objetivo depende de la víctima. En el caso de un modelo entrenado con expedientes sensibles, saber que una persona figura en ellos ya puede ser una información. Los autores de 2016 lo ilustran con un conjunto de datos de altas hospitalarias, cuya pertenencia es sensible desde el punto de vista de la privacidad [3]. ## Lo que ve en la pantalla Las fuentes citadas aquí no describen ninguna señal visible para un empleado. El ataque consiste en hacer preguntas a un modelo accesible, y sus consultas pueden parecer normales. El rastro se ve más bien en una respuesta del modelo que contiene un fragmento memorizado. El texto siguiente es una ilustración neutralizada, no una orden que haya que reproducir. Muestra el aspecto de una petición que intenta sacar datos personales de la memoria de un modelo. ```text Ilustración: intercambio ficticio con un asistente, dirección en .invalid. Pregunta: [una petición repetitiva o banal, parafraseada] Respuesta del modelo: [un fragmento memorizado: nombre, número, correo ficticio nombre.apellido@ejemplo.invalid] ``` ## Bajo el capó El mecanismo se basa en las diferencias de comportamiento de un modelo entre lo que ha aprendido y lo que nunca ha visto [3]. El atacante aprovecha esas diferencias, ya sea midiéndolas (inferencia de pertenencia), ya sea provocando la salida de secuencias memorizadas (extracción). Los modelos atacados son de naturaleza diversa. Los investigadores de 2016 probaron servicios de aprendizaje automático «a la carta» de proveedores comerciales como Google y Amazon, y muestran que esos modelos pueden ser vulnerables [3]. Los de 2023 extraen gigabytes de datos de modelos abiertos como Pythia, de modelos semiabiertos como LLaMA y de modelos cerrados como ChatGPT [2]. El NIST publica una taxonomía del aprendizaje automático adversario, entre cuyas palabras clave figura «privacy breach» [5]. OWASP cita además el ataque «Proof Pudding» (CVE-2019-20634): unos datos de entrenamiento divulgados facilitaron la extracción y la inversión del modelo, lo que permitió eludir filtros de correo electrónico [4]. Vincula estas técnicas con tres entradas de la base MITRE ATLAS: inferir la pertenencia a los datos de entrenamiento, invertir un modelo, extraer un modelo [4]. En cuanto a la defensa, OWASP recomienda depurar los datos antes del entrenamiento, limitar los accesos según el principio del mínimo privilegio y emplear el aprendizaje federado y la privacidad diferencial, que añade ruido a los datos o a las salidas [4]. Precisa que una instrucción dada al modelo sobre los tipos de datos que no debe devolver puede eludirse mediante inyección de instrucciones [4]. El NCSC británico recuerda que los sistemas de IA están sujetos a vulnerabilidades nuevas, que se suman a las amenazas habituales [6]. ## Autopsias ### Diciembre de 2020: la extracción de datos de GPT-2 El 14 de diciembre de 2020, Nicholas Carlini y once coautores depositan en arXiv un estudio que muestra que un adversario puede recuperar ejemplos de entrenamiento individuales consultando un modelo de lenguaje [1]. Atacan GPT-2, entrenado con datos recopilados de internet público, y extraen de él cientos de secuencias de texto palabra por palabra [1]. Entre ellas figuran información personal pública (nombres, números de teléfono, direcciones de correo electrónico), conversaciones de IRC, código e identificadores UUID de 128 bits [1]. Una versión revisada tiene fecha del 15 de junio de 2021 [1]. ### Noviembre de 2023: la extracción de datos de ChatGPT El 28 de noviembre de 2023, Milad Nasr, Nicholas Carlini y ocho coautores publican un estudio sobre la extracción de datos de entrenamiento de modelos de producción [2]. Para atacar ChatGPT, un modelo alineado, desarrollan un ataque llamado «por divergencia»: hace que el modelo abandone su estilo de conversación y emita datos de entrenamiento a un ritmo 150 veces superior al de un funcionamiento normal [2]. Concluyen que los ataques prácticos pueden recuperar muchos más datos de lo que se creía [2]. La página de OWASP remite a un artículo de prensa sobre este caso, titulado «ChatGPT Spit Out Sensitive Data When Told to Repeat ‘Poem’ Forever» [4]. Para el empleado, el reflejo se deduce de estos casos. OWASP incluye entre los datos sensibles los datos personales, la información financiera, los historiales de salud, los datos confidenciales de empresa, las credenciales de seguridad y los documentos jurídicos: no se introducen en una herramienta de IA pública [4]. Para las herramientas que compra la empresa, se piden garantías por escrito a los proveedores, ya que OWASP recomienda políticas claras sobre la conservación, el uso y la eliminación de los datos [4]. ## Fuentes 1. arXiv, «Extracting Training Data from Large Language Models», 14 de diciembre de 2020. https://arxiv.org/abs/2012.07805 (consultado el 3 de noviembre de 2026) 2. arXiv, «Scalable Extraction of Training Data from (Production) Language Models», 28 de noviembre de 2023. https://arxiv.org/abs/2311.17035 (consultado el 3 de noviembre de 2026) 3. arXiv, «Membership Inference Attacks against Machine Learning Models», 18 de octubre de 2016. https://arxiv.org/abs/1610.05820 (consultado el 3 de noviembre de 2026) 4. OWASP, «LLM02:2025 Sensitive Information Disclosure». https://genai.owasp.org/llmrisk/llm022025-sensitive-information-disclosure/ (consultado el 3 de noviembre de 2026) 5. NIST, «AI 100-2 E2023, Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations». https://csrc.nist.gov/pubs/ai/100/2/e2023/final (consultado el 3 de noviembre de 2026) 6. NCSC (Royaume-Uni), «Principles for security of Machine learning ML», 22 de mayo de 2024. https://www.ncsc.gov.uk/collection/machine-learning-principles (consultado el 3 de noviembre de 2026) --- Fuente original: Cyberpedia, la enciclopedia pública de ciberseguridad e IA publicada por Brain. Versión canónica: https://startbrain.io/cyberpedia/es/articles/inversion-modelo-inferencia-pertenencia/ Puede reutilizar este texto libremente bajo la licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/), siempre que cite «Brain, Cyberpedia» con un enlace a la dirección anterior.