Cyberpediavon Brain
DEENFR

Wie ein KI-Modell trainiert und ausgerichtet wird

Pretraining, Fine-Tuning, RLHF und DPO: die Entwicklungsschritte eines KI-Assistenten und was sie für Ihre Nutzung im Arbeitsalltag bedeuten.

In 30 Sekunden

Wo es passiert
Jedes Mal, wenn Sie einen KI-Assistenten befragen, ob öffentlich oder vom Unternehmen bereitgestellt.
Was diese Systeme bedroht
Der NIST-Bericht nennt unter anderem Datenvergiftung, Umgehung (Evasion) und Missbrauch8.
Der Reflex
Jede Antwort vor der Verwendung lesen und prüfen, und keine sensiblen Daten ohne Zustimmung des Unternehmens in ein Werkzeug einfügen.
Wenn es schon passiert ist
Informieren Sie die Sicherheitsabteilung oder die KI-Ansprechperson und nennen Sie das verwendete Werkzeug und die Art der eingegebenen Daten.

Worum es geht

Ein KI-Assistent entsteht nicht in einem einzigen Trainingslauf. Er durchläuft mehrere aufeinanderfolgende Schritte: das massenhafte Lesen von Texten, das Lernen an Beispielen für Arbeitsanweisungen und schließlich eine Abstimmung auf die Präferenzen von Bewertenden. Für Beschäftigte ist das praktisch relevant. Wer weiß, wie eine Antwort zustande kommt, kann besser einschätzen, wie sehr er ihr vertrauen darf und was er dem Assistenten anvertrauen kann.

Direkte Fragen

Welche Schritte umfasst die Entwicklung eines KI-Assistenten?

Es sind drei. Das Pretraining vermittelt dem Modell anhand sehr großer Textkorpora ein allgemeines Sprachwissen. Das überwachte Fine-Tuning (SFT) bringt ihm anhand von Beispielen guter Antworten bei, auf Anweisungen zu antworten. Das Alignment passt anschließend sein Verhalten an menschliche Präferenzen an, mit Methoden wie RLHF oder DPO.

Was leistet das Pretraining?

Die 2017 vorgestellte Transformer-Architektur beruht ausschließlich auf Aufmerksamkeitsmechanismen (Attention)1. Ein gängiger Ansatz besteht darin, ein Modell auf einem großen Textkorpus vorzutrainieren und es dann auf eine bestimmte Aufgabe hin feinabzustimmen2. GPT-3 ist zum Beispiel ein Sprachmodell mit 175 Milliarden Parametern, zehnmal mehr als jedes frühere nicht-sparse Modell2.

Was bringt das überwachte Fine-Tuning?

Im Fall von InstructGPT sammelten die Forschenden Anweisungen, die von Bewertenden geschrieben wurden, sowie Anweisungen, die über die API von OpenAI eingereicht wurden. Sie erhoben Demonstrationen des gewünschten Verhaltens und nutzten diese, um GPT-3 durch überwachtes Lernen feinabzustimmen3. Für Beschäftigte ist daran wichtig: Im Fall von InstructGPT dienten über die API von OpenAI eingereichte Anweisungen als Grundlage des Datensatzes3.

Was sind RLHF und DPO?

RLHF (bestärkendes Lernen aus menschlichem Feedback) fügt eine zweite Phase hinzu. Die Forschenden sammeln Rangfolgen von Modellantworten und nutzen sie, um das überwachte Modell weiter feinabzustimmen3. Die Bewertenden vergleichen Antworten, und das System lernt, diejenigen zu erzeugen, die sie bevorzugen. Andere Autoren wandten diese Methode an, um hilfreiche und harmlose Assistenten zu erhalten, und geben an, dass dieses Training die Ergebnisse in nahezu allen Evaluierungen der Sprachverarbeitung verbessert4.

DPO (Direct Preference Optimization) verfolgt dasselbe Ziel auf einfachere Weise. Seine Autoren beschreiben RLHF als komplexes und oft instabiles Verfahren und schlagen eine Methode vor, die es durch einen einfachen Klassifikationsverlust ersetzt5. Laut seinen Autoren richtet DPO das Modell ebenso gut oder besser an Präferenzen aus als die bestehenden Methoden5.

Kann eine KI auch eine andere KI beaufsichtigen?

Ja, das ist das Prinzip der Constitutional AI. Die einzige menschliche Aufsicht ist eine Liste von Regeln oder Prinzipien, und das Modell erzeugt selbst Kritiken und Überarbeitungen seiner Antworten6. Für die Unbedenklichkeit kennzeichnet kein Mensch die schädlichen Antworten: Ein Modell beurteilt, welche von zwei Antworten die bessere ist6.

Ist ein höfliches Modell ein verlässliches Modell?

Nein. Die Autoren von InstructGPT stellen fest, dass größere Modelle der Absicht der Nutzenden nicht zwangsläufig besser folgen und dass sie falsche, toxische oder schlicht nutzlose Antworten erzeugen können3. Auch nach dem Alignment macht InstructGPT « still makes simple mistakes »3. Ein höflicher und selbstsicherer Ton sagt also nichts über die Richtigkeit des Inhalts aus.

1Wie es funktioniert1 min

Beim Pretraining nimmt das Modell einen großen Textkorpus auf2. Die Autoren von DPO betonen, dass dieses Training vollständig unüberwacht ist, was eine genaue Steuerung des Verhaltens erschwert5.

Die beiden folgenden Schritte dienen dazu, das zu korrigieren. Das Fine-Tuning lernt erwartete Antworten. Das Alignment fügt das Urteil von Menschen oder eines anderen Modells über die Qualität mehrerer möglicher Antworten hinzu36.

Ein sehr großes Modell vollständig feinabzustimmen ist teuer. Die Methode LoRA friert die Gewichte des vortrainierten Modells ein und fügt kleine trainierbare Matrizen hinzu. Für GPT-3 175B verringert sie die Zahl der zu trainierenden Parameter um das 10 000-Fache und den benötigten GPU-Speicher um das Dreifache gegenüber einem vollständigen Fine-Tuning7.

2Was Sie tun1 min
  • Prüfen Sie die Antworten, auf die es ankommt: Zahlen, Quellenangaben, Namen, Auszüge aus Regelwerken. Das Modell kann falsche Inhalte erzeugen3.
  • Fügen Sie keine sensiblen Daten (Kunden, Verträge, interner Code, personenbezogene Daten) in ein Werkzeug ein, das das Unternehmen nicht freigegeben hat. Im Fall von InstructGPT dienten über die API von OpenAI eingereichte Anweisungen als Grundlage des Datensatzes3.
  • Befolgen Sie die Nutzungsrichtlinie des Unternehmens: Sie legt fest, welche Werkzeuge erlaubt sind und welche Daten dort eingegeben werden dürfen.
  • Melden Sie auffälliges Verhalten des Modells oder eine Antwort, die Informationen preiszugeben scheint, die nicht nach außen gelangen sollten.
3Die Fallstricke1 min

Der Bericht NIST AI 100-2 E2025 schafft eine gemeinsame Begrifflichkeit für Angriffe auf Systeme des maschinellen Lernens. Zu seinen Schlüsselbegriffen gehören Datenvergiftung (data poisoning), Umgehung (Evasion), Missbrauch und Verletzung der Privatsphäre8. Er behandelt auch Chatbots und große Sprachmodelle8.

Aus diesen Entwicklungsschritten ergeben sich Fallstricke:

  • Manipulierte Trainings- oder Fine-Tuning-Daten können das Modell verfälschen. Der NIST-Bericht zählt die Datenvergiftung zu den aufgeführten Angriffen8.
  • Das NIST führt auch Missbrauch und Umgehung unter den Schlüsselbegriffen seines Berichts über Angriffe auf8.
  • Vertrauliche Informationen können abfließen. Das britische NCSC verlangt, dass KI-Systeme funktionieren « without revealing sensitive data to unauthorised parties »9. Das OWASP-Projekt zu Anwendungen auf Basis von Sprachmodellen führt die kritischsten Sicherheitslücken dieser Anwendungen auf10.

Das NCSC weist außerdem darauf hin, dass KI-Systeme neue Schwachstellen haben, die zusätzlich zu den üblichen IT-Bedrohungen zu berücksichtigen sind9.

4Reale Fälle1 min

März 2022: ein kleines ausgerichtetes Modell wird einem großen Rohmodell vorgezogen

In dem am 4. März 2022 veröffentlichten Artikel vergleichen die Autoren Modelle in Bewertungen durch Menschen. Die Antworten des Modells InstructGPT mit 1,3 Milliarden Parametern werden denen von GPT-3 (175 Milliarden) vorgezogen, bei hundertmal weniger Parametern3. Dieselben Arbeiten stellen eine bessere Wahrhaftigkeit und weniger toxische Inhalte fest3. Für Beschäftigte ist die Lehre begrenzt: Das Alignment bringt die Antworten näher an das, was Menschen bevorzugen, beseitigt aber die Fehler nicht, die die Autoren weiterhin einräumen3.

Merkblatt

Kennung
CP-261
Flügel
4. Künstliche Intelligenz
Brain-Kompetenz
KI verstehen (understand_ai)
Brain-Reflex
air-001
Schema
G3 · Anatomischer Schnitt
Sprachen
de, en, fr
Quellen
10 Quellen geprüft am 3. November 2026
Quellen10 Quellen
  1. arXiv, „Attention Is All You Need“, 12. Juni 2017. https://arxiv.org/abs/1706.03762 (abgerufen am 3. November 2026)
  2. arXiv, „Language Models are Few-Shot Learners“, 28. Mai 2020. https://arxiv.org/abs/2005.14165 (abgerufen am 3. November 2026)
  3. arXiv, „Training language models to follow instructions with human feedback“, 4. März 2022. https://arxiv.org/abs/2203.02155 (abgerufen am 3. November 2026)
  4. arXiv, „Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback“, 12. April 2022. https://arxiv.org/abs/2204.05862 (abgerufen am 3. November 2026)
  5. arXiv, „Direct Preference Optimization: Your Language Model is Secretly a Reward Model“, 29. Mai 2023. https://arxiv.org/abs/2305.18290 (abgerufen am 3. November 2026)
  6. arXiv, „Constitutional AI: Harmlessness from AI Feedback“, 15. Dezember 2022. https://arxiv.org/abs/2212.08073 (abgerufen am 3. November 2026)
  7. arXiv, „LoRA: Low-Rank Adaptation of Large Language Models“, 17. Juni 2021. https://arxiv.org/abs/2106.09685 (abgerufen am 3. November 2026)
  8. NIST, „Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations“, 24. März 2025. https://csrc.nist.gov/pubs/ai/100/2/e2025/final (abgerufen am 3. November 2026)
  9. NCSC (Royaume-Uni), „Guidelines for secure AI system development“, 27. November 2023. https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development (abgerufen am 3. November 2026)
  10. OWASP, „OWASP Top 10 for Large Language Model Applications“. https://owasp.org/projects/top-10-for-large-language-model-applications (abgerufen am 3. November 2026)

Diesen Artikel zitieren

Brain, „Wie ein KI-Modell trainiert und ausgerichtet wird“, Cyberpedia, 2026. https://startbrain.io/cyberpedia/de/articles/training-und-alignment-von-ki-modellen-pretraining-fine-tuning-rlhf-dpo/

BibTeX 
@misc{brain_cp261_de_2026,
  author = {Brain},
  title = {Wie ein KI-Modell trainiert und ausgerichtet wird},
  year = {2026},
  howpublished = {Cyberpedia},
  url = {https://startbrain.io/cyberpedia/de/articles/training-und-alignment-von-ki-modellen-pretraining-fine-tuning-rlhf-dpo/},
  note = {CC BY 4.0}
}
Lizenz CC BY 4.0