--- id: CP-261 slug: pretrening-fine-tuning-alignment-rlhf-dpo lang: pl title: Jak trenuje się i dopasowuje model AI description: "Pretrening, fine-tuning, RLHF i DPO: etapy tworzenia asystenta AI i to, co zmieniają w korzystaniu z niego w pracy." canonical_url: https://startbrain.io/cyberpedia/pl/articles/pretrening-fine-tuning-alignment-rlhf-dpo/ markdown_url: https://startbrain.io/cyberpedia/pl/articles/pretrening-fine-tuning-alignment-rlhf-dpo.md publisher: Brain (https://startbrain.io) license: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) cite_as: Brain, „Jak trenuje się i dopasowuje model AI”, Cyberpedia, 2026. https://startbrain.io/cyberpedia/pl/articles/pretrening-fine-tuning-alignment-rlhf-dpo/ (CC BY 4.0) wing: 4 theme: understand_ai reflex: air-001 schema: G3 updated: "2026-11-03" translations: pl: https://startbrain.io/cyberpedia/pl/articles/pretrening-fine-tuning-alignment-rlhf-dpo/ fr: https://startbrain.io/cyberpedia/fr/articles/pre-entrainement-fine-tuning-alignement-rlhf-dpo/ en: https://startbrain.io/cyberpedia/en/articles/pretraining-fine-tuning-rlhf-dpo-alignment/ de: https://startbrain.io/cyberpedia/de/articles/training-und-alignment-von-ki-modellen-pretraining-fine-tuning-rlhf-dpo/ es: https://startbrain.io/cyberpedia/es/articles/preentrenamiento-fine-tuning-alineacion-rlhf-dpo/ it: https://startbrain.io/cyberpedia/it/articles/preaddestramento-fine-tuning-allineamento-rlhf-dpo/ nl: https://startbrain.io/cyberpedia/nl/articles/training-en-alignment-van-ai-modellen-pretraining-fine-tuning-rlhf-dpo/ pt: https://startbrain.io/cyberpedia/pt/articles/pre-treino-fine-tuning-alinhamento-rlhf-dpo/ sources: - "n": 1 title: Attention Is All You Need publisher: arXiv url: https://arxiv.org/abs/1706.03762 published: "2017-06-12" accessed: "2026-11-03" - "n": 2 title: Language Models are Few-Shot Learners publisher: arXiv url: https://arxiv.org/abs/2005.14165 published: "2020-05-28" accessed: "2026-11-03" - "n": 3 title: Training language models to follow instructions with human feedback publisher: arXiv url: https://arxiv.org/abs/2203.02155 published: "2022-03-04" accessed: "2026-11-03" - "n": 4 title: Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback publisher: arXiv url: https://arxiv.org/abs/2204.05862 published: "2022-04-12" accessed: "2026-11-03" - "n": 5 title: "Direct Preference Optimization: Your Language Model is Secretly a Reward Model" publisher: arXiv url: https://arxiv.org/abs/2305.18290 published: "2023-05-29" accessed: "2026-11-03" - "n": 6 title: "Constitutional AI: Harmlessness from AI Feedback" publisher: arXiv url: https://arxiv.org/abs/2212.08073 published: "2022-12-15" accessed: "2026-11-03" - "n": 7 title: "LoRA: Low-Rank Adaptation of Large Language Models" publisher: arXiv url: https://arxiv.org/abs/2106.09685 published: "2021-06-17" accessed: "2026-11-03" - "n": 8 title: "Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations" publisher: NIST url: https://csrc.nist.gov/pubs/ai/100/2/e2025/final published: "2025-03-24" accessed: "2026-11-03" - "n": 9 title: Guidelines for secure AI system development publisher: NCSC (Royaume-Uni) url: https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development published: "2023-11-27" accessed: "2026-11-03" - "n": 10 title: OWASP Top 10 for Large Language Model Applications publisher: OWASP url: https://owasp.org/projects/top-10-for-large-language-model-applications accessed: "2026-11-03" --- # Jak trenuje się i dopasowuje model AI Asystent AI nie powstaje w jednym treningu. Przechodzi kilka kolejnych etapów: masową lekturę tekstów, naukę na przykładach poleceń, a potem strojenie według preferencji oceniających. Dla pracownika ma to znaczenie praktyczne. Wiedza o tym, jak powstaje odpowiedź, pomaga ocenić, na ile można jej ufać, i zdecydować, co można takiemu narzędziu powierzyć. ## W 30 sekund - Gdzie to występuje: za każdym razem, gdy pyta Pan/Pani asystenta AI, publicznego lub udostępnionego przez firmę. - Co zagraża tym systemom: raport NIST wymienia m.in. zatruwanie danych, ataki typu evasion (wymijające) i nadużycia [8]. - Odruch: odpowiedź przed użyciem trzeba przeczytać ponownie i sprawdzić, a wrażliwych danych nie należy wklejać do narzędzia bez zgody firmy. - Jeśli to już się stało: należy powiadomić dział bezpieczeństwa lub osobę odpowiedzialną za AI, podając użyte narzędzie i rodzaj wpisanych danych. ## Pytania wprost ### Jakie są etapy tworzenia asystenta AI? Są trzy. Pretrening daje modelowi ogólną znajomość języka na podstawie bardzo dużych zbiorów tekstów. Nadzorowany fine-tuning (SFT) uczy go odpowiadać na polecenia, na przykładach dobrych odpowiedzi. Alignment, czyli dopasowanie, koryguje następnie jego zachowanie zgodnie z preferencjami ludzi, metodami takimi jak RLHF lub DPO. ### Co robi pretrening? Architektura Transformer, przedstawiona w 2017 roku, opiera się wyłącznie na mechanizmach uwagi [1]. Częste podejście polega na wstępnym wytrenowaniu modelu na dużym zbiorze tekstów, a potem dostrojeniu go do konkretnego zadania [2]. GPT-3 jest na przykład modelem językowym o 175 miliardach parametrów, dziesięciokrotnie większym niż jakikolwiek wcześniejszy model niebędący modelem rzadkim (non-sparse) [2]. ### Co wnosi nadzorowany fine-tuning? W przypadku InstructGPT badacze zebrali polecenia napisane przez oceniających oraz polecenia przesłane przez API OpenAI. Zgromadzili demonstracje pożądanego zachowania, a następnie użyli ich do dostrojenia GPT-3 metodą uczenia nadzorowanego [3]. Dla pracownika wniosek jest taki: w przypadku InstructGPT polecenia przesłane przez API OpenAI posłużyły za podstawę zbioru danych [3]. ### Czym są RLHF i DPO? RLHF (uczenie ze wzmocnieniem na podstawie informacji zwrotnej od ludzi) dodaje drugą fazę. Badacze zbierają rankingi odpowiedzi modelu, a potem używają ich do dalszego dostrajania modelu nadzorowanego [3]. Oceniający porównują odpowiedzi, a system uczy się tworzyć te, które wolą. Inni autorzy zastosowali tę metodę, by uzyskać asystentów pomocnych i nieszkodliwych, i podają, że taki trening poprawia wyniki w niemal wszystkich ocenach przetwarzania języka [4]. DPO (Direct Preference Optimization) zmierza do tego samego celu prościej. Jego autorzy opisują RLHF jako procedurę złożoną i często niestabilną oraz proponują metodę, która zastępuje ją prostą funkcją straty klasyfikacji [5]. Według autorów DPO dopasowuje model do preferencji równie dobrze jak istniejące metody lub lepiej [5]. ### Czy jedna AI może nadzorować drugą? Tak, na tym polega Constitutional AI. Jedynym nadzorem ze strony ludzi jest lista reguł lub zasad, a model sam tworzy krytyki i poprawki własnych odpowiedzi [6]. Jeśli chodzi o nieszkodliwość, żadna etykieta nadana przez człowieka nie wskazuje szkodliwych odpowiedzi: model ocenia, która z dwóch odpowiedzi jest lepsza [6]. ### Czy uprzejmy model jest modelem wiarygodnym? Nie. Autorzy InstructGPT zauważają, że większe modele niekoniecznie lepiej spełniają intencje użytkownika i mogą dawać odpowiedzi fałszywe, toksyczne lub po prostu bezużyteczne [3]. Nawet po dopasowaniu InstructGPT „still makes simple mistakes” [3]. Uprzejmy i pewny siebie ton niczego więc nie dowodzi o poprawności treści. ## Jak to działa Pretrening sprawia, że model przyswaja duży zbiór tekstów [2]. Autorzy DPO podkreślają, że ten trening jest całkowicie nienadzorowany, co utrudnia precyzyjną kontrolę zachowania [5]. Dwa kolejne etapy mają to skorygować. Fine-tuning uczy oczekiwanych odpowiedzi. Alignment dodaje ocenę człowieka, albo innego modelu, dotyczącą jakości kilku możliwych odpowiedzi [3][6]. Pełne dostrajanie bardzo dużego modelu jest kosztowne. Metoda LoRA zamraża wagi wstępnie wytrenowanego modelu i dodaje małe macierze podlegające treningowi. W przypadku GPT-3 175B zmniejsza ona 10 000 razy liczbę parametrów do wytrenowania i 3 razy ilość potrzebnej pamięci GPU w porównaniu z pełnym dostrajaniem [7]. ## Co Pan/Pani robi - Proszę sprawdzać odpowiedzi, które mają znaczenie: liczby, odwołania, nazwiska, fragmenty przepisów. Model może tworzyć treści fałszywe [3]. - Proszę nie wklejać wrażliwych danych (klientów, umów, wewnętrznego kodu, danych osobowych) do narzędzia, którego firma nie zatwierdziła. W przypadku InstructGPT polecenia przesłane przez API OpenAI posłużyły za podstawę zbioru danych [3]. - Proszę stosować politykę korzystania obowiązującą w firmie: wskazuje ona, jakie narzędzia są dozwolone i jakie dane można do nich wprowadzać. - Proszę zgłaszać dziwne zachowanie modelu albo odpowiedź, która zdaje się ujawniać informacje, które nie powinny wyjść na zewnątrz. ## Pułapki Raport NIST AI 100-2 E2025 ustanawia wspólne słownictwo dla ataków na systemy uczenia maszynowego. Wśród jego słów kluczowych są zatruwanie danych (data poisoning), ataki typu evasion (wymijające), nadużycia i naruszenie prywatności [8]. Dotyczy także chatbotów i dużych modeli językowych [8]. Z tych etapów tworzenia wynikają pułapki: - Spreparowane dane treningowe lub dostrajające mogą zniekształcić model. Raport NIST zalicza zatruwanie danych do wymienionych ataków [8]. - NIST zalicza też nadużycia i ataki typu evasion do słów kluczowych swojego raportu o atakach [8]. - Poufne informacje mogą wyciec. Brytyjskie NCSC chce, by systemy AI działały „without revealing sensitive data to unauthorised parties” [9]. Projekt OWASP dotyczący aplikacji opartych na modelach językowych wymienia najpoważniejsze luki bezpieczeństwa tych aplikacji [10]. NCSC przypomina też, że systemy AI mają nowe podatności, które trzeba uwzględniać obok zwykłych zagrożeń informatycznych [9]. ## Przypadki z praktyki ### Marzec 2022: mały model dopasowany, preferowany wobec dużego modelu surowego W artykule opublikowanym 4 marca 2022 roku autorzy porównują modele w ocenach przeprowadzanych przez ludzi. Odpowiedzi modelu InstructGPT o 1,3 miliarda parametrów są preferowane wobec odpowiedzi GPT-3 (175 miliardów), przy stukrotnie mniejszej liczbie parametrów [3]. Te same prace odnotowują większą zgodność z prawdą i mniej treści toksycznych [3]. Dla pracownika wniosek jest ograniczony: alignment sprawia, że odpowiedzi lepiej odpowiadają temu, co ludzie wolą, ale nie usuwa błędów, które autorzy nadal przyznają [3]. ## Źródła 1. arXiv, „Attention Is All You Need”, 12 czerwca 2017. https://arxiv.org/abs/1706.03762 (dostęp 3 listopada 2026) 2. arXiv, „Language Models are Few-Shot Learners”, 28 maja 2020. https://arxiv.org/abs/2005.14165 (dostęp 3 listopada 2026) 3. arXiv, „Training language models to follow instructions with human feedback”, 4 marca 2022. https://arxiv.org/abs/2203.02155 (dostęp 3 listopada 2026) 4. arXiv, „Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback”, 12 kwietnia 2022. https://arxiv.org/abs/2204.05862 (dostęp 3 listopada 2026) 5. arXiv, „Direct Preference Optimization: Your Language Model is Secretly a Reward Model”, 29 maja 2023. https://arxiv.org/abs/2305.18290 (dostęp 3 listopada 2026) 6. arXiv, „Constitutional AI: Harmlessness from AI Feedback”, 15 grudnia 2022. https://arxiv.org/abs/2212.08073 (dostęp 3 listopada 2026) 7. arXiv, „LoRA: Low-Rank Adaptation of Large Language Models”, 17 czerwca 2021. https://arxiv.org/abs/2106.09685 (dostęp 3 listopada 2026) 8. NIST, „Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations”, 24 marca 2025. https://csrc.nist.gov/pubs/ai/100/2/e2025/final (dostęp 3 listopada 2026) 9. NCSC (Royaume-Uni), „Guidelines for secure AI system development”, 27 listopada 2023. https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development (dostęp 3 listopada 2026) 10. OWASP, „OWASP Top 10 for Large Language Model Applications”. https://owasp.org/projects/top-10-for-large-language-model-applications (dostęp 3 listopada 2026) --- Źródło oryginalne: Cyberpedia, publiczna encyklopedia cyberbezpieczeństwa i AI wydawana przez Brain. Wersja kanoniczna: https://startbrain.io/cyberpedia/pl/articles/pretrening-fine-tuning-alignment-rlhf-dpo/ Możesz swobodnie wykorzystywać ten tekst na licencji CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/), pod warunkiem podania „Brain, Cyberpedia” wraz z odnośnikiem do powyższego adresu.