Cyberpediavon Brain

Präparierte KI-Modelle: das Risiko von Pickle-Dateien

Ein KI-Modell von einer Austauschplattform zu laden ist nicht harmlos: Das Pickle-Format setzt schädlichen Modellen aus. Hinweise und Maßnahmen.

Auf dieser Seite
  1. 1In 30 Sekunden
  2. 2Worum es geht
  3. 3Direkte Fragen
  4. 4In der Haut des Angreifers
  5. 5Was Sie auf dem Bildschirm sehen
  6. 6Unter der Haube
  7. 7Fallanalysen
  8. 8Quellen
  9. 9Diesen Artikel zitieren

In 30 Sekunden

Wo es vorkommt
Auf Plattformen zum Austausch von Modellen wie Hugging Face, wo böswillige Akteure mit kompromittierten Modellen Schadsoftware ausliefern können[4].
Was der Angreifer will
Auf den Rechner einwirken, der das Modell lädt. Die 91 schädlichen Modelle und die 9 schädlichen Skripte zum Laden von Datensätzen, die 2024 entdeckt wurden, zeigen Bedrohungen wie Reverse Shell, den Diebstahl von Browser-Zugangsdaten und die Erkundung des Systems[2].
Der Reflex
Laden Sie kein Modell, dessen Quelle Sie nicht überprüfen können. OWASP empfiehlt, nur Modelle aus überprüfbaren Quellen zu verwenden[1].
Artikelübersicht

Worum es geht

Ein vortrainiertes KI-Modell lässt sich wie jede andere Datei von einer Austauschplattform herunterladen. Laut OWASP gehören vortrainierte Modelle von Dritten zur Lieferkette von KI-Anwendungen, und diese externen Bestandteile können manipuliert oder vergiftet werden[1].

Bei manchen Dateiformaten ist das Risiko konkreter. 2024 haben Forscher 91 schädliche Modelle auf einem Spiegelserver von Hugging Face gemeldet[2]. 2025 haben andere gezeigt, dass Scanner für Modelle im Pickle-Format umgangen werden konnten[3]. Bei einem schädlichen Pickle-Modell besteht die von Forschern beschriebene Bedrohung im Aufruf beliebiger Funktionen beim Laden[4].

Direkte Fragen

Warum kann eine Modelldatei gefährlich sein?

Das Pickle-Format speichert und rekonstruiert komplexe Objekte in Form eines Bytestroms. Viele KI-Frameworks setzen es für Modelle weiterhin ein, trotz seiner eigenen Risiken, so die Autoren einer Studie von 2025[3]. Die Deserialisierungslücken von Pickle sind in Python seit Langem bekannt, ohne behoben zu sein[3]. Die Autoren von PickleBall stellen fest, dass 44,9 % der populären Modelle auf Hugging Face noch dieses Format nutzen, das sie für unsicher halten[4].

Was haben Forscher 2024 gefunden?

Ein Team hat sein Werkzeug MalHug auf einem bei Ant Group gehosteten Spiegelserver von Hugging Face eingesetzt. Das Werkzeug hat dort mehr als 705.000 Modelle und 176.000 Datensätze überwacht und 91 schädliche Modelle sowie 9 schädliche Skripte zum Laden von Datensätzen entdeckt[2].

Reichen Analysewerkzeuge aus?

Bestehende Werkzeuge wie Fickling und ModelScan bieten einen gewissen Schutz, haben aber Grenzen bei der semantischen Analyse und der vollständigen Erkennung von Bedrohungen, so die Autoren von MalHug[2]. 2025 haben Forscher in fünf KI-Frameworks 22 Ladepfade für Pickle-Modelle identifiziert, von denen 19 den bestehenden Scannern vollständig entgehen[3]. Andere Autoren halten fest, dass Scanner für Modelle falsch positive und falsch negative Ergebnisse liefern[4].

Ist das Format das einzige Problem?

Eine Studie vom Januar 2026 befasst sich mit der Ausführung nicht vertrauenswürdigen Codes beim Laden eines Modells, wenn dieses mit angepasstem Code geliefert wird. Ihre Autoren stellen eine weit verbreitete Nutzung unsicherer Standardeinstellungen fest, eine uneinheitliche Durchsetzung der Sicherheit je nach Plattform und eine anhaltende Verwirrung unter Entwicklern über die Folgen der Ausführung von Code aus der Ferne[5].

Mit welchen Maßnahmen lässt sich das Risiko begrenzen?

Für Modelle von Dritten empfiehlt OWASP die folgenden Maßnahmen[1]:

  • Datenquellen und Anbieter sorgfältig prüfen, einschließlich ihrer Nutzungsbedingungen und Datenschutzrichtlinien, und nur vertrauenswürdige Anbieter einsetzen;
  • nur Modelle aus überprüfbaren Quellen verwenden und Integritätsprüfungen durch Dritte mit Signatur und Datei-Fingerabdrücken (Hashes) nutzen, um das Fehlen belastbarer Garantien zur Herkunft auszugleichen;
  • umfassendes Red Teaming und umfassende Bewertungen anwenden, wenn ein Modell eines Dritten ausgewählt wird;
  • Anomalieerkennung und Robustheitstests einsetzen, die helfen können, eine Manipulation zu erkennen, auch wenn diese Techniken noch im Entstehen sind.

In der Haut des Angreifers

Laut OWASP gibt es heute keine belastbaren Garantien zur Herkunft veröffentlichter Modelle. Ein Angreifer kann das Konto eines Anbieters in einem Modell-Repository kompromittieren oder ein ähnlich aussehendes anlegen und dann Social Engineering hinzufügen, um eine KI-Anwendung zu erreichen[1].

OWASP nennt zwei Szenarien. Im ersten nutzt ein Angreifer nach der Rücknahme des Modells WizardLM das Interesse aus, das es geweckt hatte, und veröffentlicht unter demselben Namen eine gefälschte Version mit Schadsoftware und Hintertüren[1]. Im zweiten greift ein Angreifer einen Dienst zum Zusammenführen oder Konvertieren von Modellen an, um Schadsoftware in ein öffentlich zugängliches Modell einzuschleusen. OWASP stellt klar, dass es sich um einen realen Angriff handelt, den der Hersteller HiddenLayer veröffentlicht hat[1].

Auf der Seite der Forscher schreiben die Autoren der Studie von 2025, dass die Vergiftung von Pickle-Modellen unauffällig bleiben kann[3].

Was Sie auf dem Bildschirm sehen

OWASP merkt an, dass Modellkarten und die zugehörige Dokumentation Auskunft über das Modell geben, aber keine Garantie für seine Herkunft bieten[1]. Die gefälschte Version von WizardLM trug denselben Namen wie das Original[1].

Auch die öffentlichen Bewertungen garantieren nichts. OWASP gibt an, dass Modelle feinabgestimmt werden können, um veröffentlichte Benchmarks zu umgehen, und beschreibt ein Szenario, in dem ein Angreifer auf Hugging Face ein Modell ablegt, das so eingestellt ist, dass es gute Sicherheitswerte erzielt, und dabei das Vertrauen der Opfer in diese Garantien ausnutzt[1].

Daraus ergeben sich drei Anhaltspunkte: eine Quelle, die sich nicht überprüfen lässt, eine nicht belegte Herkunft[1] und ein Dateiformat, für das Forscher die Bedrohung durch den Aufruf beliebiger Funktionen beim Laden beschreiben[4].

Unter der HaubeIT-Teams

Laut den Autoren einer Studie von 2025 erlaubt Pickle, komplexe Objekte als Bytes zu speichern und zu rekonstruieren, was seine Verbreitung in vielen KI-Frameworks erklärt[3]. Dieselben Autoren beschreiben auch die daraus entstehende Angriffsfläche für Vergiftungen, sowohl beim Laden der Modelle als auch bei riskanten Funktionen[3].

Auf der Seite der Abwehr kombiniert das Team von MalHug die Extraktion der Skripte zum Laden von Datensätzen, die Deserialisierung des Modells, eine Propagationsanalyse (Taint Analysis) und eine Suche nach heuristischen Mustern, um Angriffe zu erkennen und zu klassifizieren[2]. Das Team von PickleBall analysiert den Quellcode einer KI-Bibliothek, um eine Richtlinie für sicheres Laden zu berechnen, und wendet sie dann beim Laden als direkten Ersatz für das Pickle-Modul an[4]. In ihrem Datensatz lädt diese Richtlinie 79,8 % der harmlosen Pickle-Modelle korrekt und weist 100 % der schädlichen Beispiele ab[4]. Dieselben Autoren stellen klar, dass sich 15 % der populären Pickle-Modelle mit restriktiven Ladevorgaben nicht laden lassen[4].

Das NIST schlägt seinerseits den Rahmen AI RMF vor, der zur freiwilligen Anwendung gedacht ist, um Vertrauenswürdigkeit besser in Entwurf, Entwicklung, Nutzung und Bewertung von KI-Produkten zu integrieren[6]. Sein Profil für generative KI, veröffentlicht am 26. Juli 2024, kann Organisationen helfen, die für generative KI spezifischen Risiken zu erkennen[6].

FallanalysenReale Fälle

2024: 91 schädliche Modelle auf einem Spiegelserver von Hugging Face

In einem am 14. September 2024 eingereichten Beitrag berichten Forscher, MalHug in Zusammenarbeit mit Ant Group auf einem Spiegelserver von Hugging Face innerhalb der Infrastruktur des Unternehmens eingesetzt zu haben. Das Werkzeug blieb dort mehr als drei Monate in Betrieb, hat mehr als 705.000 Modelle und 176.000 Datensätze überwacht und 91 schädliche Modelle sowie 9 schädliche Skripte zum Laden von Datensätzen entdeckt[2]. Zu den festgestellten Bedrohungen gehören Reverse Shell, der Diebstahl von Browser-Zugangsdaten und die Erkundung des Systems[2].

2025: umgangene Scanner für Modelle

In einem am 27. August 2025 eingereichten Beitrag zeigen Forscher, dass Scanner, die vergiftete Pickle-Modelle erkennen sollen, eine fragile Erkennungslogik haben, weil ihr Verständnis der Angriffsfläche für Vergiftungen unvollständig ist[3]. Von 22 identifizierten Ladepfaden entgehen 19 den bestehenden Scannern vollständig[3]. Die Forscher haben außerdem 9 Instanzen einer Umgehungstechnik entdeckt, die sie Exception-Oriented Programming nennen, von denen 7 alle Scanner umgehen[3]. Sie fanden 133 ausnutzbare Gadgets, mit einer Umgehungsrate nahe 100 % und von 89 % gegenüber dem besten Scanner[3]. Es handelt sich um eine von Forschern demonstrierte Schwachstelle. Sie haben ihre Ergebnisse verantwortungsvoll an die betroffenen Hersteller gemeldet und erhielten Dank sowie eine Prämie von 6.000 Dollar[3].

2026: Codeausführung beim Laden, eine Studie in großem Maßstab

In einem am 20. Januar 2026 eingereichten Beitrag untersuchen Forscher die Praxis, Modelle mit angepasstem Code zu laden, auf fünf Austauschplattformen, darunter Hugging Face, ModelScope und OpenCSG[5]. Sie analysieren außerdem mehr als 600 Diskussionen von Entwicklern auf GitHub, in den Foren von Hugging Face und PyTorch Hub sowie auf Stack Overflow[5].

Quellen

  1. OWASP, „LLM03:2025 Supply Chain“, 10. April 2024. https://genai.owasp.org/llmrisk/llm032025-supply-chain/ (abgerufen am 14. November 2026)
  2. arXiv, „Models Are Codes: Towards Measuring Malicious Code Poisoning Attacks on Pre-trained Model Hubs“, 14. September 2024. https://arxiv.org/abs/2409.09368 (abgerufen am 14. November 2026)
  3. arXiv, „The Art of Hide and Seek: Making Pickle-Based Model Supply Chain Poisoning Stealthy Again“, 27. August 2025. https://arxiv.org/abs/2508.19774 (abgerufen am 14. November 2026)
  4. arXiv, „PickleBall: Secure Deserialization of Pickle-based Machine Learning Models (Extended Report)“, 21. August 2025. https://arxiv.org/abs/2508.15987 (abgerufen am 14. November 2026)
  5. arXiv, „An Empirical Study on Remote Code Execution in Machine Learning Model Hosting Ecosystems“, 20. Januar 2026. https://arxiv.org/abs/2601.14163 (abgerufen am 14. November 2026)
  6. NIST, „AI Risk Management Framework“, 12. Juli 2021. https://www.nist.gov/itl/ai-risk-management-framework (abgerufen am 14. November 2026)