Cyberpediapor Brain

Modelos de IA con trampa: el riesgo de los archivos Pickle

Descargar un modelo de IA de un sitio de intercambio no es inocuo: el formato pickle expone a modelos maliciosos. Claves y medidas.

En esta página
  1. 1En 30 segundos
  2. 2De qué se trata
  3. 3Preguntas directas
  4. 4En la piel del atacante
  5. 5Lo que ve en la pantalla
  6. 6Bajo el capó
  7. 7Autopsias
  8. 8Fuentes
  9. 9Citar este artículo

En 30 segundos

Dónde ocurre
En las plataformas de intercambio de modelos como Hugging Face, donde actores maliciosos pueden entregar software malicioso mediante modelos comprometidos[4].
Qué quiere el atacante
Actuar sobre la máquina que carga el modelo. Los 91 modelos maliciosos y los 9 scripts maliciosos de carga de conjuntos de datos detectados en 2024 revelan amenazas como el reverse shell, el robo de credenciales del navegador y el reconocimiento del sistema[2].
El reflejo
No cargue un modelo cuya fuente no pueda verificar. OWASP recomienda utilizar únicamente modelos procedentes de fuentes verificables[1].
Plano del artículo

De qué se trata

Un modelo de IA preentrenado se descarga de una plataforma de intercambio como cualquier otro archivo. Según OWASP, los modelos preentrenados de terceros forman parte de la cadena de suministro de las aplicaciones de IA, y esos elementos externos pueden ser manipulados mediante alteración o envenenamiento[1].

Para algunos formatos de archivo, el riesgo es más concreto. En 2024, unos investigadores notificaron 91 modelos maliciosos en un espejo de Hugging Face[2]. En 2025, otros demostraron que los escáneres de modelos en formato pickle podían eludirse[3]. Para un modelo pickle malicioso, la amenaza que describen unos investigadores es la llamada a funciones arbitrarias en el momento de la carga[4].

Preguntas directas

¿Por qué un archivo de modelo puede ser peligroso?

El formato pickle guarda y restaura objetos complejos en forma de flujo de bytes. Muchos frameworks de IA siguen adoptándolo para los modelos a pesar de sus riesgos propios, según los autores de un estudio de 2025[3]. Los fallos de deserialización de pickle se conocen desde hace tiempo en Python sin estar resueltos[3]. Los autores de PickleBall observan que el 44,9 % de los modelos populares de Hugging Face siguen usando este formato, que consideran no seguro[4].

¿Qué encontraron los investigadores en 2024?

Un equipo desplegó su herramienta MalHug en un espejo de Hugging Face alojado en Ant Group. Supervisó allí más de 705 000 modelos y 176 000 conjuntos de datos, y detectó 91 modelos maliciosos y 9 scripts maliciosos de carga de conjuntos de datos[2].

¿Bastan las herramientas de análisis?

Herramientas existentes como Fickling y ModelScan ofrecen cierta protección, pero tienen límites en el análisis semántico y en la detección completa de amenazas, según los autores de MalHug[2]. En 2025, unos investigadores identificaron 22 rutas de carga de modelos pickle en cinco frameworks de IA, de las cuales 19 eluden por completo los escáneres existentes[3]. Otros autores observan que los escáneres de modelos producen falsos positivos y falsos negativos[4].

¿El formato es el único problema?

Un estudio de enero de 2026 trata la ejecución de código no fiable durante la carga de un modelo, cuando este va acompañado de código personalizado. Sus autores constatan un recurso generalizado a ajustes predeterminados no seguros, una aplicación desigual de la seguridad según las plataformas y una confusión persistente entre los desarrolladores sobre las consecuencias de la ejecución de código remoto[5].

¿Qué medidas ayudan a limitar el riesgo?

Para los modelos suministrados por terceros, OWASP recomienda las medidas siguientes[1]:

  • examinar con cuidado las fuentes de datos y los proveedores, incluidos sus condiciones de uso y sus políticas de privacidad, y emplear solo proveedores de confianza;
  • utilizar únicamente modelos procedentes de fuentes verificables, y recurrir a controles de integridad por un tercero con firma y huellas de archivos (hashes), para compensar la falta de garantías sólidas sobre la procedencia;
  • aplicar red teaming y evaluaciones completos al elegir un modelo de terceros;
  • utilizar la detección de anomalías y pruebas de robustez, que pueden ayudar a detectar una alteración, aunque estas técnicas todavía son incipientes.

En la piel del atacante

Según OWASP, hoy no existen garantías sólidas sobre la procedencia de los modelos publicados. Un atacante puede comprometer la cuenta de un proveedor en un repositorio de modelos, o crear una que se le parezca, y añadir luego ingeniería social para llegar a una aplicación de IA[1].

OWASP da dos escenarios. En el primero, tras la retirada del modelo WizardLM, un atacante aprovecha el interés que suscitaba y publica una versión falsa con el mismo nombre, con software malicioso y puertas traseras[1]. En el segundo, un atacante se dirige a un servicio de fusión o de conversión de modelos para inyectar software malicioso en un modelo accesible al público. OWASP precisa que se trata de un ataque real publicado por el proveedor HiddenLayer[1].

Por parte de los investigadores, los autores del estudio de 2025 escriben que el envenenamiento de modelos pickle puede mantenerse discreto[3].

Lo que ve en la pantalla

OWASP señala que las fichas de modelo y la documentación asociada informan sobre el modelo, pero no ofrecen ninguna garantía sobre su origen[1]. La versión falsa de WizardLM llevaba el mismo nombre que el original[1].

Las puntuaciones públicas tampoco garantizan nada. OWASP indica que los modelos pueden afinarse para eludir los benchmarks publicados, y describe un escenario en el que un atacante deposita en Hugging Face un modelo ajustado para obtener buenas puntuaciones de seguridad, aprovechando la confianza de las víctimas en esas garantías[1].

De ello se desprenden tres indicios: una fuente que no se puede verificar, una procedencia no establecida[1], y un formato de archivo para el que unos investigadores describen la amenaza de llamadas a funciones arbitrarias en el momento de la carga[4].

Bajo el capóEquipos de TI

Según los autores de un estudio de 2025, pickle permite guardar y restaurar objetos complejos en bytes, lo que explica su adopción por muchos frameworks de IA[3]. Esos mismos autores describen también la superficie de envenenamiento que resulta de ello, tanto en la carga de los modelos como en las funciones de riesgo[3].

En cuanto a las defensas, el equipo de MalHug combina la extracción de los scripts de carga de conjuntos de datos, la deserialización del modelo, un análisis de propagación (taint analysis) y una búsqueda de patrones heurísticos para detectar y clasificar los ataques[2]. El equipo de PickleBall analiza el código fuente de una biblioteca de IA para calcular una política de carga segura y la aplica después durante la carga como sustituto directo del módulo pickle[4]. En su conjunto de datos, esta política carga correctamente el 79,8 % de los modelos pickle benignos y rechaza el 100 % de los ejemplos maliciosos[4]. Los mismos autores precisan que el 15 % de los modelos pickle populares no se pueden cargar con políticas de carga restrictivas[4].

Por su parte, NIST propone el marco AI RMF, de uso voluntario, para integrar mejor la fiabilidad en el diseño, el desarrollo, el uso y la evaluación de los productos de IA[6]. Su perfil para la IA generativa, publicado el 26 de julio de 2024, puede ayudar a las organizaciones a identificar los riesgos propios de la IA generativa[6].

AutopsiasCasos reales

2024: 91 modelos maliciosos en un espejo de Hugging Face

En un artículo enviado el 14 de septiembre de 2024, unos investigadores informan de haber desplegado MalHug, en colaboración con Ant Group, en un espejo de Hugging Face dentro de la infraestructura de la empresa. La herramienta permaneció operativa más de tres meses, supervisó más de 705 000 modelos y 176 000 conjuntos de datos, y detectó 91 modelos maliciosos y 9 scripts maliciosos de carga de conjuntos de datos[2]. Las amenazas detectadas incluyen el reverse shell, el robo de credenciales del navegador y el reconocimiento del sistema[2].

2025: escáneres de modelos eludidos

En un artículo enviado el 27 de agosto de 2025, unos investigadores muestran que los escáneres diseñados para detectar modelos pickle envenenados tienen una lógica de detección frágil, porque su comprensión de la superficie de envenenamiento es incompleta[3]. De 22 rutas de carga identificadas, 19 eluden por completo los escáneres existentes[3]. Los investigadores descubrieron también 9 instancias de una técnica de elusión que llaman Exception-Oriented Programming, de las cuales 7 eluden todos los escáneres[3]. Encontraron 133 gadgets explotables, con una tasa de elusión cercana al 100 %, y del 89 % frente al mejor escáner[3]. Se trata de un fallo demostrado por investigadores. Divulgaron sus resultados de forma responsable a los proveedores afectados y recibieron agradecimientos, así como una recompensa de 6 000 dólares[3].

2026: la ejecución de código en la carga, estudio a gran escala

En un artículo enviado el 20 de enero de 2026, unos investigadores estudian las prácticas de carga de modelos con código personalizado en cinco plataformas de intercambio, entre ellas Hugging Face, ModelScope y OpenCSG[5]. Analizan también más de 600 debates de desarrolladores en GitHub, los foros de Hugging Face y de PyTorch Hub, y Stack Overflow[5].

Fuentes

  1. OWASP, «LLM03:2025 Supply Chain», 10 de abril de 2024. https://genai.owasp.org/llmrisk/llm032025-supply-chain/ (consultado el 14 de noviembre de 2026)
  2. arXiv, «Models Are Codes: Towards Measuring Malicious Code Poisoning Attacks on Pre-trained Model Hubs», 14 de septiembre de 2024. https://arxiv.org/abs/2409.09368 (consultado el 14 de noviembre de 2026)
  3. arXiv, «The Art of Hide and Seek: Making Pickle-Based Model Supply Chain Poisoning Stealthy Again», 27 de agosto de 2025. https://arxiv.org/abs/2508.19774 (consultado el 14 de noviembre de 2026)
  4. arXiv, «PickleBall: Secure Deserialization of Pickle-based Machine Learning Models (Extended Report)», 21 de agosto de 2025. https://arxiv.org/abs/2508.15987 (consultado el 14 de noviembre de 2026)
  5. arXiv, «An Empirical Study on Remote Code Execution in Machine Learning Model Hosting Ecosystems», 20 de enero de 2026. https://arxiv.org/abs/2601.14163 (consultado el 14 de noviembre de 2026)
  6. NIST, «AI Risk Management Framework», 12 de julio de 2021. https://www.nist.gov/itl/ai-risk-management-framework (consultado el 14 de noviembre de 2026)