Cyberpediapor Brain

Modelos de IA armadilhados: o risco dos ficheiros Pickle

Descarregar um modelo de IA num site de partilha não é inócuo: o formato pickle expõe a modelos maliciosos. Referências e gestos.

Nesta página
  1. 1Em 30 segundos
  2. 2Do que se trata
  3. 3Perguntas diretas
  4. 4Na pele do atacante
  5. 5O que vê no ecrã
  6. 6Por baixo do capô
  7. 7Autópsias
  8. 8Fontes
  9. 9Citar este artigo

Em 30 segundos

Onde acontece
Nas plataformas de partilha de modelos como o Hugging Face, onde atores maliciosos podem distribuir software malicioso através de modelos comprometidos[4].
O que pretende o atacante
Agir sobre a máquina que carrega o modelo. Os 91 modelos maliciosos e os 9 scripts maliciosos de carregamento de conjuntos de dados detetados em 2024 revelam ameaças como o reverse shell, o roubo de credenciais de navegador e o reconhecimento do sistema[2].
O reflexo
Não carregue um modelo cuja fonte não possa verificar. A OWASP recomenda que só se usem modelos provenientes de fontes verificáveis[1].
Mapa do artigo

Do que se trata

Um modelo de IA pré-treinado descarrega-se numa plataforma de partilha como qualquer outro ficheiro. Segundo a OWASP, os modelos pré-treinados de terceiros fazem parte da cadeia de abastecimento das aplicações de IA, e estes elementos externos podem ser manipulados por adulteração ou por envenenamento[1].

Para certos formatos de ficheiro, o risco é mais concreto. Em 2024, investigadores comunicaram 91 modelos maliciosos num espelho do Hugging Face[2]. Em 2025, outros mostraram que os scanners de modelos no formato pickle podiam ser contornados[3]. Para um modelo pickle malicioso, a ameaça descrita por investigadores é a chamada de funções arbitrárias no carregamento[4].

Perguntas diretas

Porque pode um ficheiro de modelo ser perigoso?

O formato pickle guarda e restaura objetos complexos sob a forma de fluxo de bytes. Muitos frameworks de IA continuam a adotá-lo para os modelos apesar dos seus riscos próprios, segundo os autores de um estudo de 2025[3]. As falhas de desserialização do pickle são conhecidas há muito tempo em Python sem estarem resolvidas[3]. Os autores do PickleBall assinalam que 44,9 % dos modelos populares do Hugging Face usam ainda este formato, que consideram inseguro[4].

O que encontraram os investigadores em 2024?

Uma equipa implementou a sua ferramenta MalHug num espelho do Hugging Face alojado na Ant Group. Vigiou aí mais de 705 000 modelos e 176 000 conjuntos de dados, e detetou 91 modelos maliciosos e 9 scripts maliciosos de carregamento de conjuntos de dados[2].

As ferramentas de análise bastam?

Ferramentas existentes como o Fickling e o ModelScan oferecem alguma proteção, mas têm limites na análise semântica e na deteção completa das ameaças, segundo os autores do MalHug[2]. Em 2025, investigadores identificaram 22 caminhos de carregamento de modelos pickle em cinco frameworks de IA, dos quais 19 escapam por completo aos scanners existentes[3]. Outros autores observam que os scanners de modelos produzem falsos positivos e falsos negativos[4].

O formato é o único problema?

Um estudo de janeiro de 2026 incide sobre a execução de código não fiável durante o carregamento de um modelo, quando este vem acompanhado de código personalizado. Os autores constatam um recurso generalizado a definições predefinidas inseguras, uma aplicação desigual da segurança consoante as plataformas e uma confusão persistente entre os programadores quanto às consequências da execução de código remoto[5].

Que gestos permitem limitar o risco?

Para os modelos fornecidos por terceiros, a OWASP recomenda as seguintes medidas[1]:

  • examinar com cuidado as fontes de dados e os fornecedores, incluindo as suas condições de utilização e políticas de privacidade, e recorrer apenas a fornecedores de confiança;
  • usar apenas modelos provenientes de fontes verificáveis, e recorrer a controlos de integridade por um terceiro, com assinatura e impressões digitais de ficheiros (hashes), para compensar a ausência de garantias sólidas sobre a proveniência;
  • aplicar red teaming e avaliações completas no momento de escolher um modelo de terceiros;
  • utilizar a deteção de anomalias e testes de robustez, que podem ajudar a detetar uma adulteração, mesmo que estas técnicas sejam ainda emergentes.

Na pele do atacante

Segundo a OWASP, não existem hoje garantias sólidas sobre a proveniência dos modelos publicados. Um atacante pode comprometer a conta de um fornecedor num repositório de modelos, ou criar uma que se lhe assemelhe, e juntar-lhe depois engenharia social para atingir uma aplicação de IA[1].

A OWASP dá dois cenários. No primeiro, depois da retirada do modelo WizardLM, um atacante aproveita o interesse que ele suscitava e publica uma falsa versão com o mesmo nome, com software malicioso e portas dos fundos[1]. No segundo, um atacante visa um serviço de fusão ou de conversão de modelos para injetar software malicioso num modelo acessível ao público. A OWASP especifica que se trata de um ataque real publicado pelo fornecedor HiddenLayer[1].

Do lado dos investigadores, os autores do estudo de 2025 escrevem que o envenenamento de modelos pickle pode permanecer discreto[3].

O que vê no ecrã

A OWASP observa que as fichas de modelo e a documentação associada informam sobre o modelo, mas não oferecem nenhuma garantia quanto à sua origem[1]. A falsa versão do WizardLM tinha o mesmo nome que o original[1].

As classificações públicas também não garantem nada. A OWASP indica que os modelos podem ser ajustados para contornar os benchmarks publicados, e descreve um cenário em que um atacante deposita no Hugging Face um modelo configurado para obter boas pontuações de segurança, explorando a confiança das vítimas nestas garantias[1].

Daqui resultam três pontos de referência: uma fonte que não se consegue verificar, uma proveniência não estabelecida[1], e um formato de ficheiro para o qual investigadores descrevem a ameaça de chamadas de funções arbitrárias no carregamento[4].

Por baixo do capôEquipas de TI

Segundo os autores de um estudo de 2025, o pickle permite guardar e restaurar objetos complexos em bytes, o que explica a sua adoção por muitos frameworks de IA[3]. Estes mesmos autores descrevem também a superfície de envenenamento que daí resulta, tanto do lado do carregamento dos modelos como do lado das funções de risco[3].

Do lado das defesas, a equipa do MalHug combina a extração dos scripts de carregamento de conjuntos de dados, a desserialização do modelo, uma análise de propagação (taint analysis) e uma pesquisa de padrões heurísticos para detetar e classificar os ataques[2]. A equipa do PickleBall analisa o código-fonte de uma biblioteca de IA para calcular uma política de carregamento seguro, e aplica-a depois durante o carregamento, como substituto direto do módulo pickle[4]. No seu conjunto de dados, esta política carrega corretamente 79,8 % dos modelos pickle benignos e rejeita 100 % dos exemplos maliciosos[4]. Os mesmos autores especificam que 15 % dos modelos pickle populares não podem ser carregados com políticas de carregamento restritivas[4].

O NIST, por seu lado, propõe o quadro AI RMF, destinado a uso voluntário, para integrar melhor a fiabilidade na conceção, no desenvolvimento, na utilização e na avaliação dos produtos de IA[6]. O seu perfil para a IA generativa, publicado a 26 de julho de 2024, pode ajudar as organizações a identificar os riscos próprios da IA generativa[6].

AutópsiasCasos reais

2024: 91 modelos maliciosos num espelho do Hugging Face

Num artigo submetido a 14 de setembro de 2024, investigadores relatam ter implementado o MalHug, em colaboração com a Ant Group, num espelho do Hugging Face dentro da infraestrutura da empresa. A ferramenta permaneceu operacional durante mais de três meses, vigiou mais de 705 000 modelos e 176 000 conjuntos de dados, e detetou 91 modelos maliciosos e 9 scripts maliciosos de carregamento de conjuntos de dados[2]. As ameaças identificadas incluem o reverse shell, o roubo de credenciais de navegador e o reconhecimento do sistema[2].

2025: scanners de modelos contornados

Num artigo submetido a 27 de agosto de 2025, investigadores mostram que os scanners concebidos para detetar modelos pickle envenenados têm uma lógica de deteção frágil, porque a sua compreensão da superfície de envenenamento é incompleta[3]. Entre 22 caminhos de carregamento identificados, 19 escapam por completo aos scanners existentes[3]. Os investigadores descobriram também 9 instâncias de uma técnica de contorno a que chamam Exception-Oriented Programming, das quais 7 contornam todos os scanners[3]. Encontraram 133 gadgets exploráveis, com uma taxa de contorno próxima de 100 %, e de 89 % face ao melhor scanner[3]. Trata-se de uma falha demonstrada por investigadores. Divulgaram os seus resultados de forma responsável aos fornecedores em causa e receberam agradecimentos, bem como uma recompensa de 6 000 dólares[3].

2026: a execução de código no carregamento, estudo em grande escala

Num artigo submetido a 20 de janeiro de 2026, investigadores estudam as práticas de carregamento de modelos com código personalizado em cinco plataformas de partilha, entre as quais o Hugging Face, o ModelScope e o OpenCSG[5]. Analisam também mais de 600 discussões de programadores no GitHub, nos fóruns do Hugging Face e do PyTorch Hub, e no Stack Overflow[5].

Fontes

  1. OWASP, «LLM03:2025 Supply Chain», 10 de abril de 2024. https://genai.owasp.org/llmrisk/llm032025-supply-chain/ (consultado em 14 de novembro de 2026)
  2. arXiv, «Models Are Codes: Towards Measuring Malicious Code Poisoning Attacks on Pre-trained Model Hubs», 14 de setembro de 2024. https://arxiv.org/abs/2409.09368 (consultado em 14 de novembro de 2026)
  3. arXiv, «The Art of Hide and Seek: Making Pickle-Based Model Supply Chain Poisoning Stealthy Again», 27 de agosto de 2025. https://arxiv.org/abs/2508.19774 (consultado em 14 de novembro de 2026)
  4. arXiv, «PickleBall: Secure Deserialization of Pickle-based Machine Learning Models (Extended Report)», 21 de agosto de 2025. https://arxiv.org/abs/2508.15987 (consultado em 14 de novembro de 2026)
  5. arXiv, «An Empirical Study on Remote Code Execution in Machine Learning Model Hosting Ecosystems», 20 de janeiro de 2026. https://arxiv.org/abs/2601.14163 (consultado em 14 de novembro de 2026)
  6. NIST, «AI Risk Management Framework», 12 de julho de 2021. https://www.nist.gov/itl/ai-risk-management-framework (consultado em 14 de novembro de 2026)