Cyberpediaod Brain
PLDEENESFRITNLPT

Odtwarzanie danych treningowych sztucznej inteligencji

Atakujący, który odpytuje model AI, może odgadnąć, czy dany dokument posłużył do jego trenowania, a nawet wydobyć zapamiętane fragmenty.

W 30 sekund

Gdzie to się zdarza
W publicznych modelach AI lub modelach dostarczanych przez usługodawcę, które odpytuje się przez interfejs czatu albo usługę internetową.
Czego chce atakujący
Dowiedzieć się, czy konkretna dana posłużyła do trenowania, albo odzyskać informacje, które model zachował w pamięci, na przykład publiczne dane osobowe1.
Odruch
Nie wprowadzać danych wrażliwych do publicznego narzędzia AI oraz pytać dostawców, co robią z wprowadzonymi danymi i jak trenują swoje modele.
Jeśli to już się stało
Powiadomić dział bezpieczeństwa firmy i sprawdzić u wydawcy narzędzia, czy można odmówić wykorzystania swoich danych do trenowania4.

O co chodzi

Model AI, taki jak ten, który napędza asystenta czatu, uczy się na bardzo dużej liczbie tekstów, obrazów lub rekordów. Atakujący może go odpytywać, aby sprawdzić, czy dana osoba lub dokument znajdowały się w tych danych, albo aby sprawić, że zapamiętane przez model fragmenty pojawią się ponownie. Pierwszy przypadek nazywa się wnioskowaniem o przynależności, drugi inwersją lub ekstrakcją.

Dla pracownika liczy się to, co firma i on sam wprowadzają do narzędzia AI, ponieważ takie dane mogą trafić do modelu treningowego4. Ta strona wyjaśnia zasadę działania, dwa rzeczywiste przypadki z datami oraz odruchy, które ograniczają ekspozycję.

Pytania wprost

Czym różni się wnioskowanie o przynależności od ekstrakcji?

Wnioskowanie o przynależności odpowiada na pytanie typu tak lub nie. Mając w ręku rekord i dostęp do modelu typu „czarna skrzynka”, atakujący próbuje ustalić, czy ten rekord należał do danych treningowych3. Ekstrakcja idzie dalej: atakujący odzyskuje pojedyncze przykłady treningowe, odpytując model1. Inwersja polega na odtworzeniu informacji wrażliwych lub danych wejściowych na podstawie tego, co model ujawnia4.

Dlaczego model może „wypluć” dane?

Źródła mówią o zapamiętywaniu. Badacze definiują „extractable memorization” jako dane treningowe, które przeciwnik może skutecznie wydobyć, odpytując model, bez wcześniejszej znajomości zbioru danych2. Atak na GPT-2 działa nawet wtedy, gdy każda wydobyta sekwencja występuje tylko w jednym dokumencie danych treningowych1.

Czy duże modele są bezpieczniejsze?

Nie, według badania o GPT-2: autorzy stwierdzają, że większe modele są bardziej podatne na atak niż małe1. Badanie z 2023 roku dodaje, że obecne techniki dopasowania (alignment) nie eliminują zapamiętywania2.

Czy poufny dokument wklejony do asystenta może pojawić się u innego użytkownika?

OWASP opisuje takie ryzyko: użytkownik otrzymuje odpowiedź zawierającą dane osobowe innego użytkownika z powodu niewystarczającego oczyszczenia danych4. Organizacja zaleca, aby aplikacje nie dopuszczały danych użytkowników do modelu treningowego, a użytkownicy mogli odmówić włączenia swoich danych do tego modelu4. Źródła przywołane tutaj nie podają liczbowo prawdopodobieństwa takiego przypadku.

1W skórze atakującego1 min

Atakujący nie musi włamywać się do systemu firmy. Wystarczy mu dostęp do modelu, często publiczny. W przypadku wnioskowania o przynależności badacze Shokri i współautorzy trenują własny model wnioskujący, który uczy się rozpoznawać różnice między odpowiedziami celu na dane widziane podczas trenowania a na dane, których nigdy nie widział3.

W przypadku ekstrakcji przeciwnik odpytuje model, nie wiedząc nic o zbiorze danych treningowych2. Szuka sekwencji, które wychodzą słowo w słowo: w badaniu o GPT-2 wydobyto setki sekwencji tekstu1.

Cel zależy od ofiary ataku. W przypadku modelu wytrenowanego na wrażliwych dokumentacjach samo ustalenie, że dana osoba w nich figuruje, może już być informacją. Autorzy z 2016 roku ilustrują to zbiorem danych o wypisach ze szpitali, w którym przynależność jest wrażliwa z punktu widzenia prywatności3.

2Co widać na ekranie1 min

Źródła przywołane tutaj nie opisują żadnego widocznego dla pracownika sygnału. Atak polega na zadawaniu pytań dostępnemu modelowi, a jego zapytania mogą wyglądać zwyczajnie. Ślad widać raczej w odpowiedzi modelu, która zawiera zapamiętany fragment.

Poniższy tekst jest zneutralizowaną ilustracją, a nie poleceniem do powtórzenia. Pokazuje, jak wygląda prośba, która próbuje wydobyć z pamięci modelu dane osobowe.

Fragment
Ilustracja: fikcyjna wymiana z asystentem, adres w domenie .invalid.
Pytanie: [powtarzalna lub banalna prośba, sparafrazowana]
Odpowiedź modelu: [zapamiętany fragment: nazwisko, numer, fikcyjny e-mail
  [email protected]]
3Pod maskąZespoły IT1 min

Mechanizm opiera się na różnicach w zachowaniu modelu między tym, czego się nauczył, a tym, czego nigdy nie widział3. Atakujący wykorzystuje te różnice, mierząc je (wnioskowanie o przynależności) albo wywołując wyjście zapamiętanych sekwencji (ekstrakcja).

Atakowane modele są różnego rodzaju. Badacze z 2016 roku przetestowali usługi uczenia maszynowego „na żądanie” komercyjnych dostawców, takich jak Google i Amazon, i wykazują, że te modele mogą być podatne3. Badacze z 2023 roku wydobywają gigabajty danych z modeli otwartych, takich jak Pythia, półotwartych, takich jak LLaMA, i zamkniętych, takich jak ChatGPT2.

NIST publikuje taksonomię kontradyktoryjnego uczenia maszynowego, której słowa kluczowe obejmują „privacy breach”5. OWASP przywołuje też atak „Proof Pudding” (CVE-2019-20634): ujawnione dane treningowe ułatwiły tam ekstrakcję i inwersję modelu, co pozwoliło ominąć filtry poczty elektronicznej4. Łączy te techniki z trzema wpisami w bazie MITRE ATLAS: wnioskowanie o przynależności do danych treningowych, inwersja modelu, ekstrakcja modelu4.

Po stronie obrony OWASP zaleca oczyszczanie danych przed trenowaniem, ograniczanie dostępu zgodnie z zasadą najmniejszych uprawnień oraz stosowanie uczenia federacyjnego i prywatności różnicowej, która dodaje szum do danych lub do wyników4. Zaznacza, że polecenie dane modelowi, jakich typów danych nie zwracać, można obejść przez wstrzyknięcie polecenia4. Brytyjskie NCSC przypomina, że systemy AI podlegają nowym podatnościom, które dodają się do zwykłych zagrożeń6.

4Analizy incydentówPrawdziwe przypadki1 min

Grudzień 2020: ekstrakcja danych z GPT-2

14 grudnia 2020 roku Nicholas Carlini i jedenastu współautorów złożyli w arXiv badanie pokazujące, że przeciwnik może odzyskać pojedyncze przykłady treningowe, odpytując model językowy1. Atakują GPT-2, wytrenowany na danych zebranych z publicznego internetu, i wydobywają z niego setki sekwencji tekstu słowo w słowo1. Wśród nich są publiczne dane osobowe (nazwiska, numery telefonów, adresy e-mail), rozmowy IRC, kod i 128-bitowe identyfikatory UUID1. Poprawiona wersja nosi datę 15 czerwca 2021 roku1.

Listopad 2023: ekstrakcja danych z ChatGPT

28 listopada 2023 roku Milad Nasr, Nicholas Carlini i ośmiu współautorów opublikowali badanie o wydobywaniu danych treningowych z modeli produkcyjnych2. Aby zaatakować ChatGPT, model dopasowany, opracowali atak zwany „dywergencyjnym”: sprawia on, że model porzuca styl rozmowy i emituje dane treningowe w tempie 150 razy wyższym niż przy normalnym działaniu2. Wnioskują, że praktyczne ataki mogą odzyskać znacznie więcej danych, niż sądzono2. Strona OWASP odsyła do artykułu prasowego o tym przypadku, zatytułowanego „ChatGPT Spit Out Sensitive Data When Told to Repeat ‘Poem’ Forever”4.

Dla pracownika odruch wynika z tych przypadków. OWASP zalicza do danych wrażliwych dane osobowe, informacje finansowe, dokumentację zdrowotną, poufne dane przedsiębiorstwa, poświadczenia bezpieczeństwa i dokumenty prawne: nie wprowadza się ich do publicznego narzędzia AI4. W przypadku narzędzi kupionych przez firmę od dostawców żąda się pisemnych gwarancji, ponieważ OWASP zaleca jasne zasady dotyczące przechowywania, wykorzystania i usuwania danych4.

Karta

Identyfikator
CP-291
Skrzydło
4. Sztuczna inteligencja
Kompetencja Brain
Chronić dane (AI) (protect_data)
Odruch Brain
air-008
Schemat
G1 · Łańcuch ataku (Kill Chain)
Języki
de, en, es, fr, it, nl, pl, pt
Źródła
Źródła sprawdzone 3 listopada 2026: 6
ŹródłaŹródła: 6
  1. arXiv, „Extracting Training Data from Large Language Models”, 14 grudnia 2020. https://arxiv.org/abs/2012.07805 (dostęp 3 listopada 2026)
  2. arXiv, „Scalable Extraction of Training Data from (Production) Language Models”, 28 listopada 2023. https://arxiv.org/abs/2311.17035 (dostęp 3 listopada 2026)
  3. arXiv, „Membership Inference Attacks against Machine Learning Models”, 18 października 2016. https://arxiv.org/abs/1610.05820 (dostęp 3 listopada 2026)
  4. OWASP, „LLM02:2025 Sensitive Information Disclosure”. https://genai.owasp.org/llmrisk/llm022025-sensitive-information-disclosure/ (dostęp 3 listopada 2026)
  5. NIST, „AI 100-2 E2023, Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations”. https://csrc.nist.gov/pubs/ai/100/2/e2023/final (dostęp 3 listopada 2026)
  6. NCSC (Royaume-Uni), „Principles for security of Machine learning ML”, 22 maja 2024. https://www.ncsc.gov.uk/collection/machine-learning-principles (dostęp 3 listopada 2026)

Zacytuj ten artykuł

Brain, „Odtwarzanie danych treningowych sztucznej inteligencji”, Cyberpedia, 2026. https://startbrain.io/cyberpedia/pl/articles/odtwarzanie-danych-treningowych-ai-inwersja-modelu/

BibTeX 
@misc{brain_cp291_pl_2026,
  author = {Brain},
  title = {Odtwarzanie danych treningowych sztucznej inteligencji},
  year = {2026},
  howpublished = {Cyberpedia},
  url = {https://startbrain.io/cyberpedia/pl/articles/odtwarzanie-danych-treningowych-ai-inwersja-modelu/},
  note = {CC BY 4.0}
}
Licencja CC BY 4.0