Cyberpediaod Brain
PLDEENESFRITNLPT

Tokenizacja w modelach LLM

Model językowy czyta fragmenty tekstu, a nie zdania. Co to oznacza dla pracownika i jakie pułapki bezpieczeństwa się z tym wiążą.

W 30 sekund

Gdzie to się zdarza
Za każdym razem, gdy wklejają Państwo tekst, nazwisko lub dokument do asystenta AI albo proszą go o streszczenie strony.
Czego chce atakujący
Sprawić, by model przeczytał instrukcje, których Państwo nie widzą, ponieważ wstrzyknięcie polecenia może być niezauważalne dla człowieka2.
Odruch
Formułować precyzyjne polecenia, sprawdzać liczby i cytaty w źródle i nigdy nie wklejać danych wrażliwych do narzędzia, które nie zostało zatwierdzone.
Jeśli już się stało
Proszę powiadomić zespół ds. bezpieczeństwa, podając użyte narzędzie i rodzaj wklejonych danych.

O co chodzi

Gdy piszemy do asystenta AI, mamy wrażenie, że czyta zdania tak jak współpracownik. Badania, na których opiera się ta fiszka, opisują inny mechanizm: rzadkie słowa są kodowane jako ciągi jednostek mniejszych niż słowo, nazywanych tu fragmentami (albo tokenami)1.

Fiszka wyjaśnia tę ideę prostymi słowami, a następnie pokazuje, co pracownik może z niej wyciągnąć, by formułować polecenia, sprawdzać odpowiedzi i unikać kilku pułapek bezpieczeństwa. Źródła zebrane w dokumentacji opisują dzielenie tekstu oraz ataki z użyciem tekstu wprowadzającego w błąd. Nie mierzą ani kosztu pojedynczej wymiany, ani wielkości okna kontekstu konkretnego produktu, dlatego te kwestie nie są tu omawiane.

Pytania wprost

Czy model językowy czyta słowa tak, jak je zapisujemy?

Nie dosłownie. W 2015 roku badacze opisali, w kontekście tłumaczenia maszynowego, modele pracujące ze stałym słownikiem, choć tłumaczenie jest problemem otwartego słownika1. Ich rozwiązanie polega na kodowaniu słów rzadkich lub nieznanych jako ciągów jednostek mniejszych niż słowo1.

Jak tekst jest dzielony?

Autorzy z 2015 roku porównują kilka technik segmentacji, w tym proste modele ciągów znaków oraz segmentację opartą na algorytmie kompresji „byte pair encoding”1. Mierzą zysk 1,1 punktu BLEU dla tłumaczenia z angielskiego na niemiecki i 1,3 dla tłumaczenia z angielskiego na rosyjski w porównaniu z metodą zapasową opartą na słowniku1.

Czy zależy to od języka?

Narzędzie SentencePiece, przedstawione w 2018 roku przez Taku Kudo i Johna Richardsona, opisuje się jako niezależny od języka podział na podjednostki3. Uczy się swoich jednostek bezpośrednio na surowych zdaniach, podczas gdy istniejące narzędzia zakładały tekst już podzielony na słowa3. Jest udostępnione jako open source na licencji Apache 23. Cytowane tu źródła nie mierzą, w jakim stopniu jeden język jest obsługiwany gorzej niż inny: to pytanie pozostaje tu otwarte.

Dlaczego rzadkie nazwisko lub wymyślone słowo sprawia kłopot?

Intuicja artykułu z 2015 roku jest taka, że nazwy własne, wyrazy złożone i zapożyczenia lepiej tłumaczy się po kawałku niż jako całe słowa1. Słowa rzadkie są kodowane jako podjednostki1. Związek z błędami przy rzadkich nazwiskach to interpretacja autorów tej fiszki, a nie wynik zmierzony w źródłach.

Czy modele mają znane ograniczenia?

Model GPT-3, przedstawiony w 2020 roku z 175 miliardami parametrów, otrzymuje zadania i przykłady wyłącznie w formie tekstu4. Jego autorzy zauważają, że radzi sobie z zadaniami takimi jak układanie słów w poprawnej kolejności czy trzycyfrowe dodawanie, ale też że nadal ma trudności z niektórymi zbiorami danych4. Poprawny wynik uzyskany raz nie gwarantuje więc poprawnego wyniku następnym razem.

1Jak to działa1 min

Źródła podają następującą zasadę. Model pracuje ze słownikiem o stałej wielkości1. Słowa rzadkie są odtwarzane z kilku jednostek1. Narzędzie dzielące tekst można wytrenować na surowym tekście, bez wstępnego podziału na słowa3.

Polecenia docierają tym samym kanałem co dane. W badaniu nad GPT-3 zadania i przykłady są „specified purely via text interaction with the model”4. Według OWASP wstrzyknięcie polecenia oznacza dane wejściowe, które zmieniają zachowanie modelu w sposób niezamierzony, nawet jeśli są niezauważalne dla człowieka, o ile model je odczyta2. Połączenie tych dwóch punktów to interpretacja autorów tej fiszki, a nie twierdzenie OWASP.

2Co Państwo robią1 min

Formułować jasne polecenia. Proszę wskazać oczekiwaną rolę, zadanie i format odpowiedzi. OWASP zaleca projektantom systemów, by określali rolę, możliwości i ograniczenia modelu oraz definiowali jasny format wyniku2. Pracownik może przenieść ten sposób myślenia do własnych próśb.

Prosić o źródła, a potem je sprawdzać. OWASP radzi prosić o szczegółowe uzasadnienie i cytaty ze źródeł, a wynik weryfikować deterministycznym kodem2. Dla pracownika oznacza to kontrolę ręczną: otworzyć cytowane źródło, ponownie przeczytać liczbę, sprawdzić, czy cytat istnieje słowo w słowo. Sami autorzy GPT-3 wskazują zbiory danych, na których model nadal ma trudności4.

Zachować kontrolę nad ważnymi działaniami. OWASP zaleca zatwierdzenie przez człowieka w przypadku operacji uprzywilejowanych, aby zapobiec działaniom bez autoryzacji2. Nie należy pozwalać asystentowi wysyłać wiadomości ani zmieniać pliku bez sprawdzenia.

Nie wklejać danych wrażliwych. OWASP zalicza ujawnienie informacji wrażliwych do możliwych skutków wstrzyknięcia polecenia2. Brytyjskie NCSC dąży do systemów AI, które działają bez ujawniania danych wrażliwych nieupoważnionym osobom trzecim5. W firmie obowiązuje reguła Państwa organizacji dotycząca dozwolonych narzędzi.

Oddzielać treści zewnętrzne od własnych poleceń. Gdy asystent streszcza stronę internetową lub otrzymany plik, ta treść może zawierać ukryte instrukcje2. OWASP radzi oddzielać treści niezaufane i wyraźnie je oznaczać2.

3Pułapki1 min

Tekst niewidoczny lub wprowadzający w błąd. Według OWASP wstrzyknięcie polecenia nie musi być czytelne dla człowieka, byle treść została odczytana przez model2. W opisanym przez OWASP scenariuszu użytkownik prosi o streszczenie strony zawierającej ukryte instrukcje: model wstawia obraz powiązany z adresem, a prywatna rozmowa zostaje wykradziona2.

Ciągi znaków bez sensu. OWASP opisuje atakującego, który dopisuje do prośby pozornie bezsensowny ciąg znaków. Ten ciąg wpływa na odpowiedź i omija zabezpieczenia2. Badania podają wersję zautomatyzowaną: sufiks adwersarialny znaleziony technikami wyszukiwania zachłannego i opartego na gradiencie6.

Mieszanie języków i kodowanie. OWASP wymienia też atakującego, który używa kilku języków lub koduje instrukcje, na przykład w Base64 albo za pomocą emoji, aby ominąć filtry2.

Podstawione pliki. W innym scenariuszu OWASP w CV znajdują się rozdrobnione polecenia. Gdy model ocenia kandydaturę, fragmenty łączą się i dają pozytywną rekomendację mimo rzeczywistej treści CV2. W trzecim zmodyfikowany dokument w repozytorium używanym przez aplikację do generowania wspomaganego wyszukiwaniem fałszuje wyniki2.

Niedoskonałe zabezpieczenia. OWASP zaznacza, że generowanie wspomagane wyszukiwaniem i dostrajanie nie eliminują całkowicie wstrzyknięć poleceń2. Uważa też za niepewne, czy istnieje niezawodna metoda zapobiegania2. NCSC przypomina, że systemy AI mają nowe podatności, które trzeba uwzględnić obok klasycznych zagrożeń5. NIST opublikował w styczniu 2024 roku taksonomię ataków na uczenie maszynowe wraz ze słowniczkiem przeznaczonym dla czytelników niebędących ekspertami7.

4Rzeczywiste przypadki1 min

Lipiec 2023: sufiks działający na kilku asystentach

27 lipca 2023 roku Andy Zou i współautorzy, wśród nich Nicholas Carlini, zgłaszają metodę, która automatycznie tworzy sufiks dopisywany do prośby6. Sufiks ma zmaksymalizować prawdopodobieństwo, że model odpowie twierdząco zamiast odmówić6. Wytrenowany na kilku zapytaniach i na dwóch modelach (Vicuna-7B i 13B) wywołuje też niepożądane treści w publicznych interfejsach ChatGPT, Bard i Claude oraz w modelach otwartych, takich jak LLaMA-2-Chat, Pythia i Falcon6.

Karta

Identyfikator
CP-258
Skrzydło
4. Sztuczna inteligencja
Kompetencja Brain
Zrozumieć AI (understand_ai)
Odruch Brain
air-005
Schemat
G3 · Przekrój anatomiczny
Języki
de, en, es, fr, it, nl, pl, pt
Źródła
Źródła sprawdzone 3 listopada 2026: 7
ŹródłaŹródła: 7
  1. arXiv, „Neural Machine Translation of Rare Words with Subword Units”, 31 sierpnia 2015. https://arxiv.org/abs/1508.07909 (dostęp 3 listopada 2026)
  2. OWASP, „LLM01:2025 Prompt Injection”, 10 kwietnia 2024. https://genai.owasp.org/llmrisk/llm01-prompt-injection/ (dostęp 3 listopada 2026)
  3. arXiv, „SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing”, 19 sierpnia 2018. https://arxiv.org/abs/1808.06226 (dostęp 3 listopada 2026)
  4. arXiv, „Language Models are Few-Shot Learners”, 28 maja 2020. https://arxiv.org/abs/2005.14165 (dostęp 3 listopada 2026)
  5. NCSC (Royaume-Uni), „Guidelines for secure AI system development”, 27 listopada 2023. https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development (dostęp 3 listopada 2026)
  6. arXiv, „Universal and Transferable Adversarial Attacks on Aligned Language Models”, 27 lipca 2023. https://arxiv.org/abs/2307.15043 (dostęp 3 listopada 2026)
  7. NIST, „Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations”. https://csrc.nist.gov/pubs/ai/100/2/e2023/final (dostęp 3 listopada 2026)

Zacytuj ten artykuł

Brain, „Tokenizacja w modelach LLM”, Cyberpedia, 2026. https://startbrain.io/cyberpedia/pl/articles/tokenizacja-llm-fragmenty/

BibTeX 
@misc{brain_cp258_pl_2026,
  author = {Brain},
  title = {Tokenizacja w modelach LLM},
  year = {2026},
  howpublished = {Cyberpedia},
  url = {https://startbrain.io/cyberpedia/pl/articles/tokenizacja-llm-fragmenty/},
  note = {CC BY 4.0}
}
Licencja CC BY 4.0