Cyberpediaod Brain

Modele AI z pułapką: ryzyko plików Pickle

Pobranie modelu AI z serwisu do udostępniania nie jest obojętne: format pickle naraża na złośliwe modele. Wskazówki i zalecane kroki.

Na tej stronie
  1. 1W 30 sekund
  2. 2O co chodzi
  3. 3Pytania wprost
  4. 4W skórze atakującego
  5. 5Co widać na ekranie
  6. 6Pod maską
  7. 7Analizy incydentów
  8. 8Źródła
  9. 9Zacytuj ten artykuł

W 30 sekund

Gdzie to się zdarza
Na platformach udostępniania modeli, takich jak Hugging Face, gdzie podmioty o złych zamiarach mogą dostarczać oprogramowanie złośliwe za pomocą skompromitowanych modeli[4].
Czego chce atakujący
Wpłynąć na maszynę, która ładuje model. 91 złośliwych modeli i 9 złośliwych skryptów ładowania zbiorów danych wykrytych w 2024 roku ujawniają zagrożenia takie jak reverse shell, kradzież danych logowania z przeglądarki i rozpoznanie systemu[2].
Odruch
Nie ładować modelu, którego źródła nie można zweryfikować. OWASP zaleca korzystanie wyłącznie z modeli pochodzących z weryfikowalnych źródeł[1].
Plan artykułu

O co chodzi

Wstępnie wytrenowany model AI pobiera się z platformy udostępniania jak każdy inny plik. Według OWASP wstępnie wytrenowane modele stron trzecich są częścią łańcucha dostaw aplikacji AI, a te zewnętrzne elementy mogą zostać zmanipulowane przez modyfikację lub zatrucie[1].

W przypadku niektórych formatów plików ryzyko jest bardziej konkretne. W 2024 roku badacze zgłosili 91 złośliwych modeli na serwerze lustrzanym Hugging Face[2]. W 2025 roku inni wykazali, że skanery modeli w formacie pickle można obejść[3]. W przypadku złośliwego modelu pickle zagrożeniem opisanym przez badaczy jest wywołanie dowolnych funkcji podczas ładowania[4].

Pytania wprost

Dlaczego plik modelu może być niebezpieczny?

Format pickle zapisuje i odtwarza złożone obiekty w postaci strumienia bajtów. Zdaniem autorów badania z 2025 roku wiele frameworków AI nadal go przyjmuje dla modeli mimo związanych z nim ryzyk[3]. Luki deserializacji pickle są w Pythonie znane od dawna i pozostają nierozwiązane[3]. Autorzy PickleBall zauważają, że 44,9 % popularnych modeli Hugging Face nadal używa tego formatu, który uznają za niebezpieczny[4].

Co znaleźli badacze w 2024 roku?

Zespół wdrożył swoje narzędzie MalHug na serwerze lustrzanym Hugging Face hostowanym u Ant Group. Monitorował tam ponad 705 000 modeli i 176 000 zbiorów danych i wykrył 91 złośliwych modeli oraz 9 złośliwych skryptów ładowania zbiorów danych[2].

Czy narzędzia do analizy wystarczają?

Istniejące narzędzia, takie jak Fickling i ModelScan, zapewniają pewną ochronę, ale mają ograniczenia w analizie semantycznej i pełnym wykrywaniu zagrożeń, zdaniem autorów MalHug[2]. W 2025 roku badacze zidentyfikowali 22 ścieżki ładowania modeli pickle w pięciu frameworkach AI, z których 19 całkowicie wymyka się istniejącym skanerom[3]. Inni autorzy zauważają, że skanery modeli dają wyniki fałszywie dodatnie i fałszywie ujemne[4].

Czy format jest jedynym problemem?

Badanie ze stycznia 2026 roku dotyczy wykonania niezaufanego kodu podczas ładowania modelu, gdy towarzyszy mu kod niestandardowy. Jego autorzy stwierdzają powszechne stosowanie niebezpiecznych ustawień domyślnych, nierówne egzekwowanie bezpieczeństwa na różnych platformach oraz utrzymujące się wśród programistów zamieszanie co do skutków zdalnego wykonania kodu[5].

Jakie kroki ograniczają ryzyko?

W przypadku modeli dostarczanych przez strony trzecie OWASP zaleca następujące środki[1]:

  • dokładnie sprawdzać źródła danych i dostawców, w tym ich warunki korzystania i polityki prywatności, oraz korzystać wyłącznie z zaufanych dostawców;
  • korzystać wyłącznie z modeli pochodzących z weryfikowalnych źródeł i stosować kontrole integralności przeprowadzane przez stronę trzecią, z podpisem i skrótami plików (hashes), aby zrekompensować brak solidnych gwarancji co do pochodzenia;
  • stosować pełny red teaming i oceny przy wyborze modelu zewnętrznego;
  • stosować wykrywanie anomalii i testy odporności, które mogą pomóc wykryć modyfikację, choć techniki te dopiero się rozwijają.

W skórze atakującego

Według OWASP nie istnieją dziś solidne gwarancje co do pochodzenia publikowanych modeli. Atakujący może skompromitować konto dostawcy w repozytorium modeli albo utworzyć konto do niego podobne, a następnie dodać inżynierię społeczną, by dotrzeć do aplikacji AI[1].

OWASP podaje dwa scenariusze. W pierwszym, po wycofaniu modelu WizardLM, atakujący korzysta z zainteresowania nim i publikuje fałszywą wersję pod tą samą nazwą, z oprogramowaniem złośliwym i tylnymi drzwiami[1]. W drugim atakujący uderza w usługę łączenia lub konwersji modeli, by wstrzyknąć oprogramowanie złośliwe do publicznie dostępnego modelu. OWASP precyzuje, że jest to rzeczywisty atak opublikowany przez producenta HiddenLayer[1].

Po stronie badaczy autorzy badania z 2025 roku piszą, że zatrucie modeli pickle może przebiegać dyskretnie[3].

Co widać na ekranie

OWASP zauważa, że karty modeli i powiązana dokumentacja informują o modelu, ale nie dają żadnej gwarancji co do jego pochodzenia[1]. Fałszywa wersja WizardLM nosiła tę samą nazwę co oryginał[1].

Publiczne oceny też niczego nie gwarantują. OWASP wskazuje, że modele mogą być dostrajane tak, by obejść opublikowane benchmarki, i opisuje scenariusz, w którym atakujący umieszcza na Hugging Face model ustawiony tak, by uzyskiwał dobre wyniki bezpieczeństwa, wykorzystując zaufanie ofiar do tych gwarancji[1].

Wynikają z tego trzy punkty odniesienia: źródło, którego nie można zweryfikować, nieustalone pochodzenie[1] oraz format pliku, dla którego badacze opisują zagrożenie wywołania dowolnych funkcji podczas ładowania[4].

Pod maskąZespoły IT

Zdaniem autorów badania z 2025 roku pickle pozwala zapisywać i odtwarzać złożone obiekty w postaci bajtów, co tłumaczy jego przyjęcie przez wiele frameworków AI[3]. Ci sami autorzy opisują też wynikającą stąd powierzchnię zatrucia, zarówno po stronie ładowania modeli, jak i ryzykownych funkcji[3].

Po stronie obrony zespół MalHug łączy wyodrębnianie skryptów ładowania zbiorów danych, deserializację modelu, analizę propagacji (taint analysis) i wyszukiwanie heurystycznych wzorców, by wykrywać i klasyfikować ataki[2]. Zespół PickleBall analizuje kod źródłowy biblioteki AI, by obliczyć politykę bezpiecznego ładowania, a następnie stosuje ją podczas ładowania jako bezpośredni zamiennik modułu pickle[4]. W ich zbiorze danych polityka ta poprawnie ładuje 79,8 % niegroźnych modeli pickle i odrzuca 100 % złośliwych przykładów[4]. Ci sami autorzy precyzują, że 15 % popularnych modeli pickle nie może zostać załadowanych przy restrykcyjnych politykach ładowania[4].

NIST ze swej strony proponuje ramy AI RMF, przeznaczone do dobrowolnego stosowania, by lepiej uwzględniać wiarygodność w projektowaniu, rozwoju, użytkowaniu i ocenie produktów AI[6]. Jego profil dla generatywnej AI, opublikowany 26 lipca 2024 roku, może pomagać organizacjom w identyfikowaniu ryzyk właściwych dla generatywnej AI[6].

Analizy incydentówPrawdziwe przypadki

2024: 91 złośliwych modeli na serwerze lustrzanym Hugging Face

W artykule przesłanym 14 września 2024 roku badacze informują, że wdrożyli MalHug, we współpracy z Ant Group, na serwerze lustrzanym Hugging Face w infrastrukturze firmy. Narzędzie działało tam ponad trzy miesiące, monitorowało ponad 705 000 modeli i 176 000 zbiorów danych oraz wykryło 91 złośliwych modeli i 9 złośliwych skryptów ładowania zbiorów danych[2]. Wykryte zagrożenia obejmują reverse shell, kradzież danych logowania z przeglądarki i rozpoznanie systemu[2].

2025: obejście skanerów modeli

W artykule przesłanym 27 sierpnia 2025 roku badacze pokazują, że skanery przeznaczone do wykrywania zatrutych modeli pickle mają kruchą logikę wykrywania, ponieważ ich rozumienie powierzchni zatrucia jest niepełne[3]. Z 22 zidentyfikowanych ścieżek ładowania 19 całkowicie wymyka się istniejącym skanerom[3]. Badacze odkryli też 9 przypadków techniki obejścia, którą nazywają Exception-Oriented Programming, z których 7 omija wszystkie skanery[3]. Znaleźli 133 gadżety nadające się do wykorzystania, ze wskaźnikiem obejścia bliskim 100 % i 89 % wobec najlepszego skanera[3]. Jest to luka wykazana przez badaczy. Odpowiedzialnie ujawnili oni swoje wyniki zainteresowanym producentom i otrzymali podziękowania oraz nagrodę w wysokości 6 000 dolarów[3].

2026: wykonanie kodu przy ładowaniu, badanie na dużą skalę

W artykule przesłanym 20 stycznia 2026 roku badacze analizują praktyki ładowania modeli z kodem niestandardowym na pięciu platformach udostępniania, w tym Hugging Face, ModelScope i OpenCSG[5]. Analizują też ponad 600 dyskusji programistów na GitHubie, na forach Hugging Face i PyTorch Hub oraz na Stack Overflow[5].

Źródła

  1. OWASP, „LLM03:2025 Supply Chain”, 10 kwietnia 2024. https://genai.owasp.org/llmrisk/llm032025-supply-chain/ (dostęp 14 listopada 2026)
  2. arXiv, „Models Are Codes: Towards Measuring Malicious Code Poisoning Attacks on Pre-trained Model Hubs”, 14 września 2024. https://arxiv.org/abs/2409.09368 (dostęp 14 listopada 2026)
  3. arXiv, „The Art of Hide and Seek: Making Pickle-Based Model Supply Chain Poisoning Stealthy Again”, 27 sierpnia 2025. https://arxiv.org/abs/2508.19774 (dostęp 14 listopada 2026)
  4. arXiv, „PickleBall: Secure Deserialization of Pickle-based Machine Learning Models (Extended Report)”, 21 sierpnia 2025. https://arxiv.org/abs/2508.15987 (dostęp 14 listopada 2026)
  5. arXiv, „An Empirical Study on Remote Code Execution in Machine Learning Model Hosting Ecosystems”, 20 stycznia 2026. https://arxiv.org/abs/2601.14163 (dostęp 14 listopada 2026)
  6. NIST, „AI Risk Management Framework”, 12 lipca 2021. https://www.nist.gov/itl/ai-risk-management-framework (dostęp 14 listopada 2026)