Cyberpediaod Brain
PLDEENESFRITNLPT

Transformer i mechanizm uwagi

Transformer, opisany w czerwcu 2017 r.: co architektura oparta na uwadze zmienia dla pracownika, jakie ma ograniczenia i czym jest prompt injection.

W 30 sekund

Gdzie to się zdarza
Przy każdym pytaniu zadanym asystentowi AI, niezależnie od tego, czy chodzi o streszczenie dokumentu, napisanie e-maila, czy tłumaczenie.
Co warto wiedzieć
Model przewiduje najbardziej prawdopodobne następne słowo2. Wynika z tego rada: sprawdzać to, co model pisze.
Ograniczenia
W długim tekście model nie wykorzystuje wszystkich fragmentów z taką samą niezawodnością3.
Odruch
Przeczytać i sprawdzić każdą odpowiedź przed jej użyciem oraz nigdy nie wklejać poufnych danych do narzędzia, którego firma nie zatwierdziła.
Jeśli już się stało
Poinformować przełożonego lub zespół bezpieczeństwa, nie czekając na skutki.

O co chodzi

Transformer, czyli architektura modelu, został po raz pierwszy opisany w artykule naukowym złożonym 12 czerwca 2017 r. pod tytułem „Attention Is All You Need”1.

Znajomość ogólnych założeń tej architektury pomaga rozsądnie korzystać z takich narzędzi: wiedzieć, co narzędzie faktycznie robi z tekstem, dlaczego dobrze napisana odpowiedź może być błędna i czego lepiej mu nie powierzać.

Pytania wprost

Skąd wziął się Transformer?

Artykuł założycielski został złożony 12 czerwca 2017 r.1. Jego autorzy proponują architekturę sieci, którą opisują jako „new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely”1. Wcześniej dominujące modele do przetwarzania ciągów słów opierały się na tak zwanych sieciach rekurencyjnych lub konwolucyjnych1.

Zgłoszone wyniki dotyczyły tłumaczenia maszynowego. Model osiągnął 28,4 BLEU w zadaniu angielsko-niemieckim WMT 2014 oraz 41,8 BLEU w zadaniu angielsko-francuskim po 3,5 dnia treningu na ośmiu GPU1. Autorzy podają również, że model łatwiej zrównoleglić i że wymaga on wyraźnie mniej czasu na trening1.

Czym jest uwaga?

Uwaga to mechanizm, który autorzy umieszczają w centrum architektury: najlepsze ówczesne modele łączyły już koder i dekoder za pomocą mechanizmu uwagi, a Transformer opiera się wyłącznie na tej zasadzie1. Dla czytelnika niebędącego specjalistą pomocny obraz to czytanie, w którym każde słowo jest zestawiane z pozostałymi słowami tekstu, a nie czytanie ściśle słowo po słowie. Ten obraz jest uproszczeniem: w tym haśle nie ma obliczeń, a zebrane źródła ich nie opisują.

Czy model rozumie to, co do niego piszemy?

Brytyjskie Narodowe Centrum Cyberbezpieczeństwa (NCSC) odpowiada na to we wpisie z 8 grudnia 2025 r. Wobec polecenia model językowy „doesn't understand the text it in the way a person does”: „is simply predicting the most likely next token from the text so far”2. Płynna odpowiedź jest więc prawdopodobnym ciągiem słów, a nie dowodem, że coś sprawdzono.

Dlaczego asystenci stali się lepsi?

Artykuł z 2020 r. o GPT-3 przedstawia model językowy o 175 miliardach parametrów, dziesięć razy większy niż jakikolwiek wcześniejszy model typu non-sparse (gęsty)4. Jego autorzy pokazują, że zwiększanie rozmiaru modeli wyraźnie poprawia wyniki w nowych zadaniach podanych z zaledwie kilkoma przykładami4. Wskazują też zbiory danych, na których model nadal sobie nie radzi4.

Czy model pamięta całą rozmowę?

Nie w sposób niezawodny. Badanie z 2023 r., przeprowadzone na pytaniach dotyczących kilku dokumentów, stwierdza, że wyniki mogą wyraźnie się pogarszać, gdy przydatna informacja zmienia miejsce w podanym tekście3. Wyniki są często lepsze, gdy informacja znajduje się na początku lub na końcu, a gorsze, gdy leży w środku długiego kontekstu, także w przypadku modeli zaprojektowanych do długich tekstów3.

Czy można mu powierzać dane wrażliwe?

Nie, chyba że w narzędziu zatwierdzonym przez firmę. NCSC wymienia wśród możliwych skutków prompt injection „reveal confidential information”5. Zasady poszczególnych narzędzi nie są tu opisane: zależą od polityki firmy, której zebrane źródła nie przedstawiają.

1Jak to działa1 min

Transformer otrzymuje tekst i tworzy ciąg tekstu. NCSC streszcza tę zasadę rzeczowo: model przewiduje „next token”, czyli najbardziej prawdopodobny kolejny element na podstawie tekstu, który już się pojawił2. Nic w tym działaniu nie oddziela tego, co byłoby poleceniem, od tego, co byłoby zwykłymi danymi2.

Wynikają z tego dwie praktyczne konsekwencje.

  • Wytworzony tekst jest prawdopodobny, a nie sprawdzony. Model może napisać przekonujący akapit, choć nikt nie zweryfikował ani jednego faktu.
  • W obrębie promptu nie istnieje granica bezpieczeństwa między instrukcjami a danymi2.

Artykuł z 2020 r. o GPT-3 zauważa zresztą, że oceniający ludzie mieli trudność z odróżnieniem artykułów prasowych wygenerowanych przez model od artykułów napisanych przez ludzi4. Jakość formy nie mówi więc nic o trafności treści.

2Co robić1 min
  • Czytajcie Państwo każdą odpowiedź jak szkic napisany przez kogoś, kto niczego nie sprawdził: liczby, nazwiska, odniesienia i cytaty weryfikuje się w źródle.
  • Wyniki są często najlepsze, gdy przydatna informacja znajduje się na początku lub na końcu podanego tekstu3. Wynika z tego, że najważniejsze części prośby warto umieszczać w tych miejscach, a nie w środku długiego dokumentu.
  • Przy długiej rozmowie lub długim dokumencie radą jest zacząć od nowa, ze streszczeniem i precyzyjną prośbą, zamiast zakładać, że wszystko zostało zapamiętane.
  • Nie wklejajcie Państwo danych osobowych, tajemnic handlowych, haseł ani kluczy dostępu. NCSC opisuje przypadek, w którym badacz bezpieczeństwa wydobył wrażliwy klucz API z systemu narażonego na atak typu prompt injection5.
  • Jeśli asystent czyta dokumenty z zewnątrz (e-maile, CV, strony internetowe), należy zakładać, że ich treść może zawierać ukryte polecenia2.
3Pułapki2 min

Wiara, że model rozumuje

Odpowiedź przedstawiająca kolejne kroki przypomina rozumowanie. Zebrane źródła opisują jednak mechanizm przewidywania następnego słowa2, a NCSC zaznacza, że model nie rozumie tekstu tak jak człowiek2.

Branie płynnej odpowiedzi za trafną

Starannie napisany tekst może być fałszywy. Oceniający ludzie mieli trudność z odróżnieniem artykułów prasowych wygenerowanych przez GPT-3 od artykułów napisanych przez ludzi4.

Prompt injection

Prompt injection oznacza podrzucenie w tekście polecenia, które model wykona. NCSC definiuje ją z kolei jako dane wejściowe zaprojektowane tak, by model zachował się w nieoczekiwany sposób: wygenerował szokującą treść, ujawnił informacje poufne lub wywołał niezamierzone skutki w systemie, który bez kontroli przyjmuje dane wyjściowe modelu5.

Wpis NCSC z grudnia 2025 r. podaje przykład z rekrutacji. Narzędzie prosi model o ocenę, czy CV spełnia kryteria. Kandydat ukrywa w nim tekst z prośbą o zignorowanie wcześniejszych poleceń i zatwierdzenie jego CV do rozmowy kwalifikacyjnej: jego „dane” są wtedy wykonywane jak polecenie2. Mówi się o wstrzyknięciu pośrednim, gdy atakujący nie ma bezpośredniego dostępu do systemu AI2.

Zneutralizowana ilustracja tego rodzaju ukrytego tekstu:

Fragment
[Niewidoczny tekst dodany do CV, w parafrazie: prosi model, aby pominął
swoje pierwotne zadanie i polecił tego kandydata.]

Obecne modele nie narzucają granicy bezpieczeństwa między poleceniami a danymi w zapytaniu2. NCSC uważa za możliwe, że prompt injection nigdy nie zostanie całkowicie rozwiązana, tak jak rozwiązano wstrzyknięcie SQL2. Odradza poleganie na liście zakazanych zwrotów, ponieważ atak można przeformułować na nieskończenie wiele sposobów2. Przytacza podejście wywodzące się z dyskusji Simona Willisona i Baibhava Bisty: gdy model przetwarza informacje od osoby trzeciej, jego uprawnienia spadają do poziomu tej osoby2.

4Przypadki z praktyki1 min

MathGPT: wydobycie klucza API (wpis NCSC, sierpień 2023)

NCSC opisuje we wpisie z 30 sierpnia 2023 r. atak na MathGPT, model zaprojektowany do zamiany pytań w języku naturalnym na kod obliczeniowy. Badacz bezpieczeństwa zauważył, że model traktuje tekst wpisany przez użytkownika jako kod do wykonania. Wykorzystał to, aby uzyskać dostęp do systemu hostującego model i wydobyć z niego wrażliwy klucz API, po czym ujawnił atak5. Wpis nie podaje daty samego ataku.

Ramy oceny ryzyka warte poznania

NIST opublikował 26 lipca 2024 r. profil poświęcony generatywnej AI, uzupełnienie swoich ram zarządzania ryzykiem AI (AI RMF 1.0), udostępnionych w styczniu 2023 r. i przeznaczonych do dobrowolnego stosowania6. Jest on skierowany do organizacji, które projektują lub wykorzystują takie systemy6.

Karta

Identyfikator
CP-257
Skrzydło
4. Sztuczna inteligencja
Kompetencja Brain
Zrozumieć AI (understand_ai)
Odruch Brain
air-038
Schemat
G3 · Przekrój anatomiczny
Języki
de, en, es, fr, it, nl, pl, pt
Źródła
Źródła sprawdzone 3 listopada 2026: 6
ŹródłaŹródła: 6
  1. arXiv, „Attention Is All You Need”, 12 czerwca 2017. https://arxiv.org/abs/1706.03762 (dostęp 3 listopada 2026)
  2. NCSC (Royaume-Uni), „Prompt injection is not SQL injection (it may be worse)”, 8 grudnia 2025. https://www.ncsc.gov.uk/blog-post/prompt-injection-is-not-sql-injection (dostęp 3 listopada 2026)
  3. arXiv, „Lost in the Middle: How Language Models Use Long Contexts”, 6 lipca 2023. https://arxiv.org/abs/2307.03172 (dostęp 3 listopada 2026)
  4. arXiv, „Language Models are Few-Shot Learners”, 28 maja 2020. https://arxiv.org/abs/2005.14165 (dostęp 3 listopada 2026)
  5. NCSC (Royaume-Uni), „Thinking about the security of AI systems”, 30 sierpnia 2023. https://www.ncsc.gov.uk/blog-post/thinking-about-security-ai-systems (dostęp 3 listopada 2026)
  6. NIST, „Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile”, 26 lipca 2024. https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence (dostęp 3 listopada 2026)

Zacytuj ten artykuł

Brain, „Transformer i mechanizm uwagi”, Cyberpedia, 2026. https://startbrain.io/cyberpedia/pl/articles/architektura-transformer-uwaga/

BibTeX 
@misc{brain_cp257_pl_2026,
  author = {Brain},
  title = {Transformer i mechanizm uwagi},
  year = {2026},
  howpublished = {Cyberpedia},
  url = {https://startbrain.io/cyberpedia/pl/articles/architektura-transformer-uwaga/},
  note = {CC BY 4.0}
}
Licencja CC BY 4.0