Cyberpediaod Brain
PLDEENESFRITNLPT

Jak trenuje się i dopasowuje model AI

Pretrening, fine-tuning, RLHF i DPO: etapy tworzenia asystenta AI i to, co zmieniają w korzystaniu z niego w pracy.

W 30 sekund

Gdzie to występuje
Za każdym razem, gdy pyta Pan/Pani asystenta AI, publicznego lub udostępnionego przez firmę.
Co zagraża tym systemom
Raport NIST wymienia m.in. zatruwanie danych, ataki typu evasion (wymijające) i nadużycia8.
Odruch
Odpowiedź przed użyciem trzeba przeczytać ponownie i sprawdzić, a wrażliwych danych nie należy wklejać do narzędzia bez zgody firmy.
Jeśli to już się stało
Należy powiadomić dział bezpieczeństwa lub osobę odpowiedzialną za AI, podając użyte narzędzie i rodzaj wpisanych danych.

O co chodzi

Asystent AI nie powstaje w jednym treningu. Przechodzi kilka kolejnych etapów: masową lekturę tekstów, naukę na przykładach poleceń, a potem strojenie według preferencji oceniających. Dla pracownika ma to znaczenie praktyczne. Wiedza o tym, jak powstaje odpowiedź, pomaga ocenić, na ile można jej ufać, i zdecydować, co można takiemu narzędziu powierzyć.

Pytania wprost

Jakie są etapy tworzenia asystenta AI?

Są trzy. Pretrening daje modelowi ogólną znajomość języka na podstawie bardzo dużych zbiorów tekstów. Nadzorowany fine-tuning (SFT) uczy go odpowiadać na polecenia, na przykładach dobrych odpowiedzi. Alignment, czyli dopasowanie, koryguje następnie jego zachowanie zgodnie z preferencjami ludzi, metodami takimi jak RLHF lub DPO.

Co robi pretrening?

Architektura Transformer, przedstawiona w 2017 roku, opiera się wyłącznie na mechanizmach uwagi1. Częste podejście polega na wstępnym wytrenowaniu modelu na dużym zbiorze tekstów, a potem dostrojeniu go do konkretnego zadania2. GPT-3 jest na przykład modelem językowym o 175 miliardach parametrów, dziesięciokrotnie większym niż jakikolwiek wcześniejszy model niebędący modelem rzadkim (non-sparse)2.

Co wnosi nadzorowany fine-tuning?

W przypadku InstructGPT badacze zebrali polecenia napisane przez oceniających oraz polecenia przesłane przez API OpenAI. Zgromadzili demonstracje pożądanego zachowania, a następnie użyli ich do dostrojenia GPT-3 metodą uczenia nadzorowanego3. Dla pracownika wniosek jest taki: w przypadku InstructGPT polecenia przesłane przez API OpenAI posłużyły za podstawę zbioru danych3.

Czym są RLHF i DPO?

RLHF (uczenie ze wzmocnieniem na podstawie informacji zwrotnej od ludzi) dodaje drugą fazę. Badacze zbierają rankingi odpowiedzi modelu, a potem używają ich do dalszego dostrajania modelu nadzorowanego3. Oceniający porównują odpowiedzi, a system uczy się tworzyć te, które wolą. Inni autorzy zastosowali tę metodę, by uzyskać asystentów pomocnych i nieszkodliwych, i podają, że taki trening poprawia wyniki w niemal wszystkich ocenach przetwarzania języka4.

DPO (Direct Preference Optimization) zmierza do tego samego celu prościej. Jego autorzy opisują RLHF jako procedurę złożoną i często niestabilną oraz proponują metodę, która zastępuje ją prostą funkcją straty klasyfikacji5. Według autorów DPO dopasowuje model do preferencji równie dobrze jak istniejące metody lub lepiej5.

Czy jedna AI może nadzorować drugą?

Tak, na tym polega Constitutional AI. Jedynym nadzorem ze strony ludzi jest lista reguł lub zasad, a model sam tworzy krytyki i poprawki własnych odpowiedzi6. Jeśli chodzi o nieszkodliwość, żadna etykieta nadana przez człowieka nie wskazuje szkodliwych odpowiedzi: model ocenia, która z dwóch odpowiedzi jest lepsza6.

Czy uprzejmy model jest modelem wiarygodnym?

Nie. Autorzy InstructGPT zauważają, że większe modele niekoniecznie lepiej spełniają intencje użytkownika i mogą dawać odpowiedzi fałszywe, toksyczne lub po prostu bezużyteczne3. Nawet po dopasowaniu InstructGPT „still makes simple mistakes”3. Uprzejmy i pewny siebie ton niczego więc nie dowodzi o poprawności treści.

1Jak to działa1 min

Pretrening sprawia, że model przyswaja duży zbiór tekstów2. Autorzy DPO podkreślają, że ten trening jest całkowicie nienadzorowany, co utrudnia precyzyjną kontrolę zachowania5.

Dwa kolejne etapy mają to skorygować. Fine-tuning uczy oczekiwanych odpowiedzi. Alignment dodaje ocenę człowieka, albo innego modelu, dotyczącą jakości kilku możliwych odpowiedzi36.

Pełne dostrajanie bardzo dużego modelu jest kosztowne. Metoda LoRA zamraża wagi wstępnie wytrenowanego modelu i dodaje małe macierze podlegające treningowi. W przypadku GPT-3 175B zmniejsza ona 10 000 razy liczbę parametrów do wytrenowania i 3 razy ilość potrzebnej pamięci GPU w porównaniu z pełnym dostrajaniem7.

2Co Pan/Pani robi1 min
  • Proszę sprawdzać odpowiedzi, które mają znaczenie: liczby, odwołania, nazwiska, fragmenty przepisów. Model może tworzyć treści fałszywe3.
  • Proszę nie wklejać wrażliwych danych (klientów, umów, wewnętrznego kodu, danych osobowych) do narzędzia, którego firma nie zatwierdziła. W przypadku InstructGPT polecenia przesłane przez API OpenAI posłużyły za podstawę zbioru danych3.
  • Proszę stosować politykę korzystania obowiązującą w firmie: wskazuje ona, jakie narzędzia są dozwolone i jakie dane można do nich wprowadzać.
  • Proszę zgłaszać dziwne zachowanie modelu albo odpowiedź, która zdaje się ujawniać informacje, które nie powinny wyjść na zewnątrz.
3Pułapki1 min

Raport NIST AI 100-2 E2025 ustanawia wspólne słownictwo dla ataków na systemy uczenia maszynowego. Wśród jego słów kluczowych są zatruwanie danych (data poisoning), ataki typu evasion (wymijające), nadużycia i naruszenie prywatności8. Dotyczy także chatbotów i dużych modeli językowych8.

Z tych etapów tworzenia wynikają pułapki:

  • Spreparowane dane treningowe lub dostrajające mogą zniekształcić model. Raport NIST zalicza zatruwanie danych do wymienionych ataków8.
  • NIST zalicza też nadużycia i ataki typu evasion do słów kluczowych swojego raportu o atakach8.
  • Poufne informacje mogą wyciec. Brytyjskie NCSC chce, by systemy AI działały „without revealing sensitive data to unauthorised parties”9. Projekt OWASP dotyczący aplikacji opartych na modelach językowych wymienia najpoważniejsze luki bezpieczeństwa tych aplikacji10.

NCSC przypomina też, że systemy AI mają nowe podatności, które trzeba uwzględniać obok zwykłych zagrożeń informatycznych9.

4Przypadki z praktyki1 min

Marzec 2022: mały model dopasowany, preferowany wobec dużego modelu surowego

W artykule opublikowanym 4 marca 2022 roku autorzy porównują modele w ocenach przeprowadzanych przez ludzi. Odpowiedzi modelu InstructGPT o 1,3 miliarda parametrów są preferowane wobec odpowiedzi GPT-3 (175 miliardów), przy stukrotnie mniejszej liczbie parametrów3. Te same prace odnotowują większą zgodność z prawdą i mniej treści toksycznych3. Dla pracownika wniosek jest ograniczony: alignment sprawia, że odpowiedzi lepiej odpowiadają temu, co ludzie wolą, ale nie usuwa błędów, które autorzy nadal przyznają3.

Karta

Identyfikator
CP-261
Skrzydło
4. Sztuczna inteligencja
Kompetencja Brain
Zrozumieć AI (understand_ai)
Odruch Brain
air-001
Schemat
G3 · Przekrój anatomiczny
Języki
de, en, es, fr, it, nl, pl, pt
Źródła
Źródła sprawdzone 3 listopada 2026: 10
ŹródłaŹródła: 10
  1. arXiv, „Attention Is All You Need”, 12 czerwca 2017. https://arxiv.org/abs/1706.03762 (dostęp 3 listopada 2026)
  2. arXiv, „Language Models are Few-Shot Learners”, 28 maja 2020. https://arxiv.org/abs/2005.14165 (dostęp 3 listopada 2026)
  3. arXiv, „Training language models to follow instructions with human feedback”, 4 marca 2022. https://arxiv.org/abs/2203.02155 (dostęp 3 listopada 2026)
  4. arXiv, „Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback”, 12 kwietnia 2022. https://arxiv.org/abs/2204.05862 (dostęp 3 listopada 2026)
  5. arXiv, „Direct Preference Optimization: Your Language Model is Secretly a Reward Model”, 29 maja 2023. https://arxiv.org/abs/2305.18290 (dostęp 3 listopada 2026)
  6. arXiv, „Constitutional AI: Harmlessness from AI Feedback”, 15 grudnia 2022. https://arxiv.org/abs/2212.08073 (dostęp 3 listopada 2026)
  7. arXiv, „LoRA: Low-Rank Adaptation of Large Language Models”, 17 czerwca 2021. https://arxiv.org/abs/2106.09685 (dostęp 3 listopada 2026)
  8. NIST, „Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations”, 24 marca 2025. https://csrc.nist.gov/pubs/ai/100/2/e2025/final (dostęp 3 listopada 2026)
  9. NCSC (Royaume-Uni), „Guidelines for secure AI system development”, 27 listopada 2023. https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development (dostęp 3 listopada 2026)
  10. OWASP, „OWASP Top 10 for Large Language Model Applications”. https://owasp.org/projects/top-10-for-large-language-model-applications (dostęp 3 listopada 2026)

Zacytuj ten artykuł

Brain, „Jak trenuje się i dopasowuje model AI”, Cyberpedia, 2026. https://startbrain.io/cyberpedia/pl/articles/pretrening-fine-tuning-alignment-rlhf-dpo/

BibTeX 
@misc{brain_cp261_pl_2026,
  author = {Brain},
  title = {Jak trenuje się i dopasowuje model AI},
  year = {2026},
  howpublished = {Cyberpedia},
  url = {https://startbrain.io/cyberpedia/pl/articles/pretrening-fine-tuning-alignment-rlhf-dpo/},
  note = {CC BY 4.0}
}
Licencja CC BY 4.0