--- id: CP-261 slug: training-en-alignment-van-ai-modellen-pretraining-fine-tuning-rlhf-dpo lang: nl title: Hoe een AI-model wordt getraind en afgestemd description: "Pretraining, fine-tuning, RLHF en DPO: de fasen waarin een AI-assistent wordt gebouwd en wat ze betekenen voor uw gebruik op het werk." canonical_url: https://startbrain.io/cyberpedia/nl/articles/training-en-alignment-van-ai-modellen-pretraining-fine-tuning-rlhf-dpo/ markdown_url: https://startbrain.io/cyberpedia/nl/articles/training-en-alignment-van-ai-modellen-pretraining-fine-tuning-rlhf-dpo.md publisher: Brain (https://startbrain.io) license: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) cite_as: Brain, “Hoe een AI-model wordt getraind en afgestemd”, Cyberpedia, 2026. https://startbrain.io/cyberpedia/nl/articles/training-en-alignment-van-ai-modellen-pretraining-fine-tuning-rlhf-dpo/ (CC BY 4.0) wing: 4 theme: understand_ai reflex: air-001 schema: G3 updated: "2026-11-03" translations: nl: https://startbrain.io/cyberpedia/nl/articles/training-en-alignment-van-ai-modellen-pretraining-fine-tuning-rlhf-dpo/ fr: https://startbrain.io/cyberpedia/fr/articles/pre-entrainement-fine-tuning-alignement-rlhf-dpo/ en: https://startbrain.io/cyberpedia/en/articles/pretraining-fine-tuning-rlhf-dpo-alignment/ de: https://startbrain.io/cyberpedia/de/articles/training-und-alignment-von-ki-modellen-pretraining-fine-tuning-rlhf-dpo/ es: https://startbrain.io/cyberpedia/es/articles/preentrenamiento-fine-tuning-alineacion-rlhf-dpo/ it: https://startbrain.io/cyberpedia/it/articles/preaddestramento-fine-tuning-allineamento-rlhf-dpo/ sources: - "n": 1 title: Attention Is All You Need publisher: arXiv url: https://arxiv.org/abs/1706.03762 published: "2017-06-12" accessed: "2026-11-03" - "n": 2 title: Language Models are Few-Shot Learners publisher: arXiv url: https://arxiv.org/abs/2005.14165 published: "2020-05-28" accessed: "2026-11-03" - "n": 3 title: Training language models to follow instructions with human feedback publisher: arXiv url: https://arxiv.org/abs/2203.02155 published: "2022-03-04" accessed: "2026-11-03" - "n": 4 title: Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback publisher: arXiv url: https://arxiv.org/abs/2204.05862 published: "2022-04-12" accessed: "2026-11-03" - "n": 5 title: "Direct Preference Optimization: Your Language Model is Secretly a Reward Model" publisher: arXiv url: https://arxiv.org/abs/2305.18290 published: "2023-05-29" accessed: "2026-11-03" - "n": 6 title: "Constitutional AI: Harmlessness from AI Feedback" publisher: arXiv url: https://arxiv.org/abs/2212.08073 published: "2022-12-15" accessed: "2026-11-03" - "n": 7 title: "LoRA: Low-Rank Adaptation of Large Language Models" publisher: arXiv url: https://arxiv.org/abs/2106.09685 published: "2021-06-17" accessed: "2026-11-03" - "n": 8 title: "Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations" publisher: NIST url: https://csrc.nist.gov/pubs/ai/100/2/e2025/final published: "2025-03-24" accessed: "2026-11-03" - "n": 9 title: Guidelines for secure AI system development publisher: NCSC (Royaume-Uni) url: https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development published: "2023-11-27" accessed: "2026-11-03" - "n": 10 title: OWASP Top 10 for Large Language Model Applications publisher: OWASP url: https://owasp.org/projects/top-10-for-large-language-model-applications accessed: "2026-11-03" --- # Hoe een AI-model wordt getraind en afgestemd Een AI-assistent komt niet kant-en-klaar uit één trainingsronde. Hij doorloopt achtereenvolgens meerdere fasen: een enorme hoeveelheid teksten lezen, leren van voorbeelden van opdrachten en daarna bijsturen op basis van de voorkeuren van beoordelaars. Voor een medewerker is het nut praktisch. Wie weet hoe een antwoord tot stand komt, kan beter inschatten hoeveel vertrouwen het verdient en wat men eraan kan toevertrouwen. ## In 30 seconden - Waar het gebeurt: telkens wanneer iemand een AI-assistent raadpleegt, of die nu openbaar is of door het bedrijf wordt aangeboden. - Wat deze systemen bedreigt: het NIST-rapport noemt onder meer datavergiftiging, ontwijkingsaanvallen en misbruik [8]. - De reflex: lees elk antwoord na en controleer het voordat u het gebruikt, en plak geen gevoelige gegevens in een tool zonder toestemming van het bedrijf. - Als het al gebeurd is: breng de afdeling beveiliging of de AI-contactpersoon op de hoogte, met vermelding van de gebruikte tool en de aard van de ingevoerde gegevens. ## Directe vragen ### Wat zijn de fasen waarin een AI-assistent wordt gebouwd? Er zijn er drie. Pretraining geeft het model een algemene kennis van taal op basis van zeer grote tekstcorpora. Fine-tuning onder toezicht (SFT) leert het te antwoorden op opdrachten, aan de hand van voorbeelden van goede antwoorden. Alignment stuurt daarna het gedrag bij volgens menselijke voorkeuren, met methoden als RLHF of DPO. ### Wat doet pretraining? De Transformer-architectuur, in 2017 gepresenteerd, is uitsluitend gebaseerd op aandachtsmechanismen (attention) [1]. Een gangbare aanpak is een model te pretrainen op een groot tekstcorpus en het vervolgens te verfijnen voor een specifieke taak [2]. GPT-3 is bijvoorbeeld een taalmodel met 175 miljard parameters, tien keer meer dan elk eerder niet-sparse model [2]. ### Wat voegt fine-tuning onder toezicht toe? Bij InstructGPT verzamelden de onderzoekers opdrachten die door beoordelaars waren geschreven en opdrachten die via de API van OpenAI waren ingediend. Ze verzamelden demonstraties van het gewenste gedrag en gebruikten die om GPT-3 te verfijnen via leren onder toezicht [3]. Voor de medewerker is dit het punt om te onthouden: bij InstructGPT dienden opdrachten die via de API van OpenAI waren ingediend als basis van de dataset [3]. ### Wat zijn RLHF en DPO? RLHF (reinforcement learning from human feedback, oftewel versterkend leren met menselijke feedback) voegt een tweede fase toe. De onderzoekers verzamelen rangschikkingen van antwoorden van het model en gebruiken die om het model dat onder toezicht is getraind verder te verfijnen [3]. Beoordelaars vergelijken antwoorden en het systeem leert de antwoorden te geven die zij verkiezen. Andere auteurs pasten deze methode toe om behulpzame en onschadelijke assistenten te krijgen, en geven aan dat deze training de resultaten verbetert op bijna alle evaluaties van taalverwerking [4]. DPO (Direct Preference Optimization) streeft hetzelfde doel op een eenvoudiger manier na. De auteurs beschrijven RLHF als een complexe en vaak instabiele procedure en stellen een methode voor die ze vervangt door een eenvoudig classificatieverlies [5]. Volgens de auteurs stemt DPO het model even goed of beter af op voorkeuren dan bestaande methoden [5]. ### Kan een AI ook een andere AI controleren? Ja, dat is het principe van Constitutional AI. Het enige menselijke toezicht is een lijst met regels of principes, en het model schrijft zelf kritieken en herzieningen van zijn antwoorden [6]. Voor onschadelijkheid wijst geen enkel menselijk label de schadelijke antwoorden aan: een model beoordeelt welk van twee antwoorden het beste is [6]. ### Is een beleefd model een betrouwbaar model? Nee. De auteurs van InstructGPT merken op dat grotere modellen de bedoeling van de gebruiker niet per se beter volgen en dat ze onjuiste, giftige of eenvoudigweg nutteloze antwoorden kunnen geven [3]. Ook na alignment "still makes simple mistakes" [3]. Een hoffelijke en zelfverzekerde toon zegt dus niets over de juistheid van de inhoud. ## Hoe het werkt Bij pretraining neemt het model een groot tekstcorpus in zich op [2]. De auteurs van DPO benadrukken dat deze training volledig zonder toezicht verloopt, waardoor nauwkeurige controle over het gedrag moeilijk is [5]. De twee volgende fasen dienen om dat te corrigeren. Fine-tuning leert verwachte antwoorden aan. Alignment voegt het oordeel van mensen, of van een ander model, toe over de kwaliteit van meerdere mogelijke antwoorden [3][6]. Een heel groot model volledig verfijnen is duur. De LoRA-methode bevriest de gewichten van het gepretrainde model en voegt kleine trainbare matrices toe. Voor GPT-3 175B verlaagt dit het aantal te trainen parameters met een factor 10.000 en het benodigde GPU-geheugen met een factor 3, vergeleken met volledige verfijning [7]. ## Wat u doet - Controleer de antwoorden die ertoe doen: cijfers, verwijzingen, namen, fragmenten van regels. Het model kan onjuiste inhoud produceren [3]. - Plak geen gevoelige gegevens (klanten, contracten, interne code, persoonsgegevens) in een tool die het bedrijf niet heeft goedgekeurd. Bij InstructGPT dienden opdrachten die via de API van OpenAI waren ingediend als basis van de dataset [3]. - Volg het gebruiksbeleid van het bedrijf: daarin staat welke tools zijn toegestaan en welke gegevens erin mogen. - Meld vreemd gedrag van het model of een antwoord dat informatie lijkt prijs te geven die niet naar buiten hoort te komen. ## De valkuilen Het rapport NIST AI 100-2 E2025 legt een gemeenschappelijke woordenschat vast voor aanvallen op machinelearningsystemen. Tot de kernbegrippen behoren datavergiftiging (data poisoning), ontwijking, misbruik en aantasting van de privacy [8]. Het gaat ook over chatbots en grote taalmodellen [8]. Uit deze bouwfasen volgen valkuilen: - Gemanipuleerde trainings- of verfijningsdata kunnen het model scheeftrekken. Het NIST-rapport rekent datavergiftiging tot de beschreven aanvallen [8]. - Het NIST noemt ook misbruik en ontwijking onder de kernbegrippen van zijn rapport over aanvallen [8]. - Vertrouwelijke informatie kan weglekken. Het Britse NCSC wil dat AI-systemen functioneren "without revealing sensitive data to unauthorised parties" [9]. Het OWASP-project over toepassingen van taalmodellen inventariseert de meest kritieke beveiligingskwetsbaarheden van die toepassingen [10]. Het NCSC wijst er ook op dat AI-systemen nieuwe kwetsbaarheden hebben, waarmee rekening moet worden gehouden naast de gebruikelijke IT-dreigingen [9]. ## Praktijkgevallen ### Maart 2022: een klein afgestemd model verkozen boven een groot ruw model In het artikel dat op 4 maart 2022 verscheen, vergelijken de auteurs modellen in evaluaties door mensen. De antwoorden van het InstructGPT-model met 1,3 miljard parameters verdienen de voorkeur boven die van GPT-3 (175 miljard), met honderd keer minder parameters [3]. Hetzelfde onderzoek meldt een betere waarheidsgetrouwheid en minder giftige inhoud [3]. Voor een medewerker is de les beperkt: alignment maakt antwoorden beter passend bij wat mensen verkiezen, maar neemt de fouten niet weg, die de auteurs nog steeds erkennen [3]. ## Bronnen 1. arXiv, “Attention Is All You Need”, 12 juni 2017. https://arxiv.org/abs/1706.03762 (geraadpleegd op 3 november 2026) 2. arXiv, “Language Models are Few-Shot Learners”, 28 mei 2020. https://arxiv.org/abs/2005.14165 (geraadpleegd op 3 november 2026) 3. arXiv, “Training language models to follow instructions with human feedback”, 4 maart 2022. https://arxiv.org/abs/2203.02155 (geraadpleegd op 3 november 2026) 4. arXiv, “Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback”, 12 april 2022. https://arxiv.org/abs/2204.05862 (geraadpleegd op 3 november 2026) 5. arXiv, “Direct Preference Optimization: Your Language Model is Secretly a Reward Model”, 29 mei 2023. https://arxiv.org/abs/2305.18290 (geraadpleegd op 3 november 2026) 6. arXiv, “Constitutional AI: Harmlessness from AI Feedback”, 15 december 2022. https://arxiv.org/abs/2212.08073 (geraadpleegd op 3 november 2026) 7. arXiv, “LoRA: Low-Rank Adaptation of Large Language Models”, 17 juni 2021. https://arxiv.org/abs/2106.09685 (geraadpleegd op 3 november 2026) 8. NIST, “Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations”, 24 maart 2025. https://csrc.nist.gov/pubs/ai/100/2/e2025/final (geraadpleegd op 3 november 2026) 9. NCSC (Royaume-Uni), “Guidelines for secure AI system development”, 27 november 2023. https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development (geraadpleegd op 3 november 2026) 10. OWASP, “OWASP Top 10 for Large Language Model Applications”. https://owasp.org/projects/top-10-for-large-language-model-applications (geraadpleegd op 3 november 2026) --- Oorspronkelijke bron: Cyberpedia, de openbare encyclopedie over cyberveiligheid en AI van Brain. Canonieke versie: https://startbrain.io/cyberpedia/nl/articles/training-en-alignment-van-ai-modellen-pretraining-fine-tuning-rlhf-dpo/ U mag deze tekst vrij hergebruiken onder de licentie CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/), mits u “Brain, Cyberpedia” vermeldt met een link naar bovenstaand adres.