Cyberpediadoor Brain
NLDEENESFRIT

Hoe een AI-model wordt getraind en afgestemd

Pretraining, fine-tuning, RLHF en DPO: de fasen waarin een AI-assistent wordt gebouwd en wat ze betekenen voor uw gebruik op het werk.

In 30 seconden

Waar het gebeurt
Telkens wanneer iemand een AI-assistent raadpleegt, of die nu openbaar is of door het bedrijf wordt aangeboden.
Wat deze systemen bedreigt
Het NIST-rapport noemt onder meer datavergiftiging, ontwijkingsaanvallen en misbruik8.
De reflex
Lees elk antwoord na en controleer het voordat u het gebruikt, en plak geen gevoelige gegevens in een tool zonder toestemming van het bedrijf.
Als het al gebeurd is
Breng de afdeling beveiliging of de AI-contactpersoon op de hoogte, met vermelding van de gebruikte tool en de aard van de ingevoerde gegevens.

Waar gaat het over

Een AI-assistent komt niet kant-en-klaar uit één trainingsronde. Hij doorloopt achtereenvolgens meerdere fasen: een enorme hoeveelheid teksten lezen, leren van voorbeelden van opdrachten en daarna bijsturen op basis van de voorkeuren van beoordelaars. Voor een medewerker is het nut praktisch. Wie weet hoe een antwoord tot stand komt, kan beter inschatten hoeveel vertrouwen het verdient en wat men eraan kan toevertrouwen.

Directe vragen

Wat zijn de fasen waarin een AI-assistent wordt gebouwd?

Er zijn er drie. Pretraining geeft het model een algemene kennis van taal op basis van zeer grote tekstcorpora. Fine-tuning onder toezicht (SFT) leert het te antwoorden op opdrachten, aan de hand van voorbeelden van goede antwoorden. Alignment stuurt daarna het gedrag bij volgens menselijke voorkeuren, met methoden als RLHF of DPO.

Wat doet pretraining?

De Transformer-architectuur, in 2017 gepresenteerd, is uitsluitend gebaseerd op aandachtsmechanismen (attention)1. Een gangbare aanpak is een model te pretrainen op een groot tekstcorpus en het vervolgens te verfijnen voor een specifieke taak2. GPT-3 is bijvoorbeeld een taalmodel met 175 miljard parameters, tien keer meer dan elk eerder niet-sparse model2.

Wat voegt fine-tuning onder toezicht toe?

Bij InstructGPT verzamelden de onderzoekers opdrachten die door beoordelaars waren geschreven en opdrachten die via de API van OpenAI waren ingediend. Ze verzamelden demonstraties van het gewenste gedrag en gebruikten die om GPT-3 te verfijnen via leren onder toezicht3. Voor de medewerker is dit het punt om te onthouden: bij InstructGPT dienden opdrachten die via de API van OpenAI waren ingediend als basis van de dataset3.

Wat zijn RLHF en DPO?

RLHF (reinforcement learning from human feedback, oftewel versterkend leren met menselijke feedback) voegt een tweede fase toe. De onderzoekers verzamelen rangschikkingen van antwoorden van het model en gebruiken die om het model dat onder toezicht is getraind verder te verfijnen3. Beoordelaars vergelijken antwoorden en het systeem leert de antwoorden te geven die zij verkiezen. Andere auteurs pasten deze methode toe om behulpzame en onschadelijke assistenten te krijgen, en geven aan dat deze training de resultaten verbetert op bijna alle evaluaties van taalverwerking4.

DPO (Direct Preference Optimization) streeft hetzelfde doel op een eenvoudiger manier na. De auteurs beschrijven RLHF als een complexe en vaak instabiele procedure en stellen een methode voor die ze vervangt door een eenvoudig classificatieverlies5. Volgens de auteurs stemt DPO het model even goed of beter af op voorkeuren dan bestaande methoden5.

Kan een AI ook een andere AI controleren?

Ja, dat is het principe van Constitutional AI. Het enige menselijke toezicht is een lijst met regels of principes, en het model schrijft zelf kritieken en herzieningen van zijn antwoorden6. Voor onschadelijkheid wijst geen enkel menselijk label de schadelijke antwoorden aan: een model beoordeelt welk van twee antwoorden het beste is6.

Is een beleefd model een betrouwbaar model?

Nee. De auteurs van InstructGPT merken op dat grotere modellen de bedoeling van de gebruiker niet per se beter volgen en dat ze onjuiste, giftige of eenvoudigweg nutteloze antwoorden kunnen geven3. Ook na alignment "still makes simple mistakes"3. Een hoffelijke en zelfverzekerde toon zegt dus niets over de juistheid van de inhoud.

1Hoe het werkt1 min

Bij pretraining neemt het model een groot tekstcorpus in zich op2. De auteurs van DPO benadrukken dat deze training volledig zonder toezicht verloopt, waardoor nauwkeurige controle over het gedrag moeilijk is5.

De twee volgende fasen dienen om dat te corrigeren. Fine-tuning leert verwachte antwoorden aan. Alignment voegt het oordeel van mensen, of van een ander model, toe over de kwaliteit van meerdere mogelijke antwoorden36.

Een heel groot model volledig verfijnen is duur. De LoRA-methode bevriest de gewichten van het gepretrainde model en voegt kleine trainbare matrices toe. Voor GPT-3 175B verlaagt dit het aantal te trainen parameters met een factor 10.000 en het benodigde GPU-geheugen met een factor 3, vergeleken met volledige verfijning7.

2Wat u doet1 min
  • Controleer de antwoorden die ertoe doen: cijfers, verwijzingen, namen, fragmenten van regels. Het model kan onjuiste inhoud produceren3.
  • Plak geen gevoelige gegevens (klanten, contracten, interne code, persoonsgegevens) in een tool die het bedrijf niet heeft goedgekeurd. Bij InstructGPT dienden opdrachten die via de API van OpenAI waren ingediend als basis van de dataset3.
  • Volg het gebruiksbeleid van het bedrijf: daarin staat welke tools zijn toegestaan en welke gegevens erin mogen.
  • Meld vreemd gedrag van het model of een antwoord dat informatie lijkt prijs te geven die niet naar buiten hoort te komen.
3De valkuilen1 min

Het rapport NIST AI 100-2 E2025 legt een gemeenschappelijke woordenschat vast voor aanvallen op machinelearningsystemen. Tot de kernbegrippen behoren datavergiftiging (data poisoning), ontwijking, misbruik en aantasting van de privacy8. Het gaat ook over chatbots en grote taalmodellen8.

Uit deze bouwfasen volgen valkuilen:

  • Gemanipuleerde trainings- of verfijningsdata kunnen het model scheeftrekken. Het NIST-rapport rekent datavergiftiging tot de beschreven aanvallen8.
  • Het NIST noemt ook misbruik en ontwijking onder de kernbegrippen van zijn rapport over aanvallen8.
  • Vertrouwelijke informatie kan weglekken. Het Britse NCSC wil dat AI-systemen functioneren "without revealing sensitive data to unauthorised parties"9. Het OWASP-project over toepassingen van taalmodellen inventariseert de meest kritieke beveiligingskwetsbaarheden van die toepassingen10.

Het NCSC wijst er ook op dat AI-systemen nieuwe kwetsbaarheden hebben, waarmee rekening moet worden gehouden naast de gebruikelijke IT-dreigingen9.

4Praktijkgevallen1 min

Maart 2022: een klein afgestemd model verkozen boven een groot ruw model

In het artikel dat op 4 maart 2022 verscheen, vergelijken de auteurs modellen in evaluaties door mensen. De antwoorden van het InstructGPT-model met 1,3 miljard parameters verdienen de voorkeur boven die van GPT-3 (175 miljard), met honderd keer minder parameters3. Hetzelfde onderzoek meldt een betere waarheidsgetrouwheid en minder giftige inhoud3. Voor een medewerker is de les beperkt: alignment maakt antwoorden beter passend bij wat mensen verkiezen, maar neemt de fouten niet weg, die de auteurs nog steeds erkennen3.

Fiche

Identificatie
CP-261
Vleugel
4. Kunstmatige intelligentie
Brain-competentie
AI begrijpen (understand_ai)
Brain-reflex
air-001
Schema
G3 · Anatomische doorsnede
Talen
de, en, es, fr, it, nl
Bronnen
10 bronnen gecontroleerd op 3 november 2026
Bronnen10 bronnen
  1. arXiv, “Attention Is All You Need”, 12 juni 2017. https://arxiv.org/abs/1706.03762 (geraadpleegd op 3 november 2026)
  2. arXiv, “Language Models are Few-Shot Learners”, 28 mei 2020. https://arxiv.org/abs/2005.14165 (geraadpleegd op 3 november 2026)
  3. arXiv, “Training language models to follow instructions with human feedback”, 4 maart 2022. https://arxiv.org/abs/2203.02155 (geraadpleegd op 3 november 2026)
  4. arXiv, “Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback”, 12 april 2022. https://arxiv.org/abs/2204.05862 (geraadpleegd op 3 november 2026)
  5. arXiv, “Direct Preference Optimization: Your Language Model is Secretly a Reward Model”, 29 mei 2023. https://arxiv.org/abs/2305.18290 (geraadpleegd op 3 november 2026)
  6. arXiv, “Constitutional AI: Harmlessness from AI Feedback”, 15 december 2022. https://arxiv.org/abs/2212.08073 (geraadpleegd op 3 november 2026)
  7. arXiv, “LoRA: Low-Rank Adaptation of Large Language Models”, 17 juni 2021. https://arxiv.org/abs/2106.09685 (geraadpleegd op 3 november 2026)
  8. NIST, “Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations”, 24 maart 2025. https://csrc.nist.gov/pubs/ai/100/2/e2025/final (geraadpleegd op 3 november 2026)
  9. NCSC (Royaume-Uni), “Guidelines for secure AI system development”, 27 november 2023. https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development (geraadpleegd op 3 november 2026)
  10. OWASP, “OWASP Top 10 for Large Language Model Applications”. https://owasp.org/projects/top-10-for-large-language-model-applications (geraadpleegd op 3 november 2026)

Dit artikel citeren

Brain, “Hoe een AI-model wordt getraind en afgestemd”, Cyberpedia, 2026. https://startbrain.io/cyberpedia/nl/articles/training-en-alignment-van-ai-modellen-pretraining-fine-tuning-rlhf-dpo/

BibTeX 
@misc{brain_cp261_nl_2026,
  author = {Brain},
  title = {Hoe een AI-model wordt getraind en afgestemd},
  year = {2026},
  howpublished = {Cyberpedia},
  url = {https://startbrain.io/cyberpedia/nl/articles/training-en-alignment-van-ai-modellen-pretraining-fine-tuning-rlhf-dpo/},
  note = {CC BY 4.0}
}
Licentie CC BY 4.0