---
id: CP-261
slug: training-und-alignment-von-ki-modellen-pretraining-fine-tuning-rlhf-dpo
lang: de
title: Wie ein KI-Modell trainiert und ausgerichtet wird
description: "Pretraining, Fine-Tuning, RLHF und DPO: die Entwicklungsschritte eines KI-Assistenten und was sie für Ihre Nutzung im Arbeitsalltag bedeuten."
canonical_url: https://startbrain.io/cyberpedia/de/articles/training-und-alignment-von-ki-modellen-pretraining-fine-tuning-rlhf-dpo/
markdown_url: https://startbrain.io/cyberpedia/de/articles/training-und-alignment-von-ki-modellen-pretraining-fine-tuning-rlhf-dpo.md
publisher: Brain (https://startbrain.io)
license: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/)
cite_as: Brain, „Wie ein KI-Modell trainiert und ausgerichtet wird“, Cyberpedia, 2026. https://startbrain.io/cyberpedia/de/articles/training-und-alignment-von-ki-modellen-pretraining-fine-tuning-rlhf-dpo/ (CC BY 4.0)
wing: 4
theme: understand_ai
reflex: air-001
schema: G3
updated: "2026-11-03"
translations:
  de: https://startbrain.io/cyberpedia/de/articles/training-und-alignment-von-ki-modellen-pretraining-fine-tuning-rlhf-dpo/
  fr: https://startbrain.io/cyberpedia/fr/articles/pre-entrainement-fine-tuning-alignement-rlhf-dpo/
  en: https://startbrain.io/cyberpedia/en/articles/pretraining-fine-tuning-rlhf-dpo-alignment/
  es: https://startbrain.io/cyberpedia/es/articles/preentrenamiento-fine-tuning-alineacion-rlhf-dpo/
sources:
  - "n": 1
    title: Attention Is All You Need
    publisher: arXiv
    url: https://arxiv.org/abs/1706.03762
    published: "2017-06-12"
    accessed: "2026-11-03"
  - "n": 2
    title: Language Models are Few-Shot Learners
    publisher: arXiv
    url: https://arxiv.org/abs/2005.14165
    published: "2020-05-28"
    accessed: "2026-11-03"
  - "n": 3
    title: Training language models to follow instructions with human feedback
    publisher: arXiv
    url: https://arxiv.org/abs/2203.02155
    published: "2022-03-04"
    accessed: "2026-11-03"
  - "n": 4
    title: Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback
    publisher: arXiv
    url: https://arxiv.org/abs/2204.05862
    published: "2022-04-12"
    accessed: "2026-11-03"
  - "n": 5
    title: "Direct Preference Optimization: Your Language Model is Secretly a Reward Model"
    publisher: arXiv
    url: https://arxiv.org/abs/2305.18290
    published: "2023-05-29"
    accessed: "2026-11-03"
  - "n": 6
    title: "Constitutional AI: Harmlessness from AI Feedback"
    publisher: arXiv
    url: https://arxiv.org/abs/2212.08073
    published: "2022-12-15"
    accessed: "2026-11-03"
  - "n": 7
    title: "LoRA: Low-Rank Adaptation of Large Language Models"
    publisher: arXiv
    url: https://arxiv.org/abs/2106.09685
    published: "2021-06-17"
    accessed: "2026-11-03"
  - "n": 8
    title: "Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations"
    publisher: NIST
    url: https://csrc.nist.gov/pubs/ai/100/2/e2025/final
    published: "2025-03-24"
    accessed: "2026-11-03"
  - "n": 9
    title: Guidelines for secure AI system development
    publisher: NCSC (Royaume-Uni)
    url: https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development
    published: "2023-11-27"
    accessed: "2026-11-03"
  - "n": 10
    title: OWASP Top 10 for Large Language Model Applications
    publisher: OWASP
    url: https://owasp.org/projects/top-10-for-large-language-model-applications
    accessed: "2026-11-03"
---

# Wie ein KI-Modell trainiert und ausgerichtet wird

Ein KI-Assistent entsteht nicht in einem einzigen Trainingslauf. Er durchläuft mehrere aufeinanderfolgende Schritte: das massenhafte Lesen von Texten, das Lernen an Beispielen für Arbeitsanweisungen und schließlich eine Abstimmung auf die Präferenzen von Bewertenden.
Für Beschäftigte ist das praktisch relevant. Wer weiß, wie eine Antwort zustande kommt, kann besser einschätzen, wie sehr er ihr vertrauen darf und was er dem Assistenten anvertrauen kann.

## In 30 Sekunden

- Wo es passiert: jedes Mal, wenn Sie einen KI-Assistenten befragen, ob öffentlich oder vom Unternehmen bereitgestellt.
- Was diese Systeme bedroht: Der NIST-Bericht nennt unter anderem Datenvergiftung, Umgehung (Evasion) und Missbrauch [8].
- Der Reflex: Jede Antwort vor der Verwendung lesen und prüfen, und keine sensiblen Daten ohne Zustimmung des Unternehmens in ein Werkzeug einfügen.
- Wenn es schon passiert ist: Informieren Sie die Sicherheitsabteilung oder die KI-Ansprechperson und nennen Sie das verwendete Werkzeug und die Art der eingegebenen Daten.

## Direkte Fragen

### Welche Schritte umfasst die Entwicklung eines KI-Assistenten?

Es sind drei. Das Pretraining vermittelt dem Modell anhand sehr großer Textkorpora ein allgemeines Sprachwissen. Das überwachte Fine-Tuning (SFT) bringt ihm anhand von Beispielen guter Antworten bei, auf Anweisungen zu antworten. Das Alignment passt anschließend sein Verhalten an menschliche Präferenzen an, mit Methoden wie RLHF oder DPO.

### Was leistet das Pretraining?

Die 2017 vorgestellte Transformer-Architektur beruht ausschließlich auf Aufmerksamkeitsmechanismen (Attention) [1]. Ein gängiger Ansatz besteht darin, ein Modell auf einem großen Textkorpus vorzutrainieren und es dann auf eine bestimmte Aufgabe hin feinabzustimmen [2]. GPT-3 ist zum Beispiel ein Sprachmodell mit 175 Milliarden Parametern, zehnmal mehr als jedes frühere nicht-sparse Modell [2].

### Was bringt das überwachte Fine-Tuning?

Im Fall von InstructGPT sammelten die Forschenden Anweisungen, die von Bewertenden geschrieben wurden, sowie Anweisungen, die über die API von OpenAI eingereicht wurden. Sie erhoben Demonstrationen des gewünschten Verhaltens und nutzten diese, um GPT-3 durch überwachtes Lernen feinabzustimmen [3]. Für Beschäftigte ist daran wichtig: Im Fall von InstructGPT dienten über die API von OpenAI eingereichte Anweisungen als Grundlage des Datensatzes [3].

### Was sind RLHF und DPO?

RLHF (bestärkendes Lernen aus menschlichem Feedback) fügt eine zweite Phase hinzu. Die Forschenden sammeln Rangfolgen von Modellantworten und nutzen sie, um das überwachte Modell weiter feinabzustimmen [3]. Die Bewertenden vergleichen Antworten, und das System lernt, diejenigen zu erzeugen, die sie bevorzugen. Andere Autoren wandten diese Methode an, um hilfreiche und harmlose Assistenten zu erhalten, und geben an, dass dieses Training die Ergebnisse in nahezu allen Evaluierungen der Sprachverarbeitung verbessert [4].

DPO (Direct Preference Optimization) verfolgt dasselbe Ziel auf einfachere Weise. Seine Autoren beschreiben RLHF als komplexes und oft instabiles Verfahren und schlagen eine Methode vor, die es durch einen einfachen Klassifikationsverlust ersetzt [5]. Laut seinen Autoren richtet DPO das Modell ebenso gut oder besser an Präferenzen aus als die bestehenden Methoden [5].

### Kann eine KI auch eine andere KI beaufsichtigen?

Ja, das ist das Prinzip der Constitutional AI. Die einzige menschliche Aufsicht ist eine Liste von Regeln oder Prinzipien, und das Modell erzeugt selbst Kritiken und Überarbeitungen seiner Antworten [6]. Für die Unbedenklichkeit kennzeichnet kein Mensch die schädlichen Antworten: Ein Modell beurteilt, welche von zwei Antworten die bessere ist [6].

### Ist ein höfliches Modell ein verlässliches Modell?

Nein. Die Autoren von InstructGPT stellen fest, dass größere Modelle der Absicht der Nutzenden nicht zwangsläufig besser folgen und dass sie falsche, toxische oder schlicht nutzlose Antworten erzeugen können [3]. Auch nach dem Alignment macht InstructGPT « still makes simple mistakes » [3]. Ein höflicher und selbstsicherer Ton sagt also nichts über die Richtigkeit des Inhalts aus.

## Wie es funktioniert

Beim Pretraining nimmt das Modell einen großen Textkorpus auf [2]. Die Autoren von DPO betonen, dass dieses Training vollständig unüberwacht ist, was eine genaue Steuerung des Verhaltens erschwert [5].

Die beiden folgenden Schritte dienen dazu, das zu korrigieren. Das Fine-Tuning lernt erwartete Antworten. Das Alignment fügt das Urteil von Menschen oder eines anderen Modells über die Qualität mehrerer möglicher Antworten hinzu [3][6].

Ein sehr großes Modell vollständig feinabzustimmen ist teuer. Die Methode LoRA friert die Gewichte des vortrainierten Modells ein und fügt kleine trainierbare Matrizen hinzu. Für GPT-3 175B verringert sie die Zahl der zu trainierenden Parameter um das 10 000-Fache und den benötigten GPU-Speicher um das Dreifache gegenüber einem vollständigen Fine-Tuning [7].

## Was Sie tun

- Prüfen Sie die Antworten, auf die es ankommt: Zahlen, Quellenangaben, Namen, Auszüge aus Regelwerken. Das Modell kann falsche Inhalte erzeugen [3].
- Fügen Sie keine sensiblen Daten (Kunden, Verträge, interner Code, personenbezogene Daten) in ein Werkzeug ein, das das Unternehmen nicht freigegeben hat. Im Fall von InstructGPT dienten über die API von OpenAI eingereichte Anweisungen als Grundlage des Datensatzes [3].
- Befolgen Sie die Nutzungsrichtlinie des Unternehmens: Sie legt fest, welche Werkzeuge erlaubt sind und welche Daten dort eingegeben werden dürfen.
- Melden Sie auffälliges Verhalten des Modells oder eine Antwort, die Informationen preiszugeben scheint, die nicht nach außen gelangen sollten.

## Die Fallstricke

Der Bericht NIST AI 100-2 E2025 schafft eine gemeinsame Begrifflichkeit für Angriffe auf Systeme des maschinellen Lernens. Zu seinen Schlüsselbegriffen gehören Datenvergiftung (data poisoning), Umgehung (Evasion), Missbrauch und Verletzung der Privatsphäre [8]. Er behandelt auch Chatbots und große Sprachmodelle [8].

Aus diesen Entwicklungsschritten ergeben sich Fallstricke:

- Manipulierte Trainings- oder Fine-Tuning-Daten können das Modell verfälschen. Der NIST-Bericht zählt die Datenvergiftung zu den aufgeführten Angriffen [8].
- Das NIST führt auch Missbrauch und Umgehung unter den Schlüsselbegriffen seines Berichts über Angriffe auf [8].
- Vertrauliche Informationen können abfließen. Das britische NCSC verlangt, dass KI-Systeme funktionieren « without revealing sensitive data to unauthorised parties » [9]. Das OWASP-Projekt zu Anwendungen auf Basis von Sprachmodellen führt die kritischsten Sicherheitslücken dieser Anwendungen auf [10].

Das NCSC weist außerdem darauf hin, dass KI-Systeme neue Schwachstellen haben, die zusätzlich zu den üblichen IT-Bedrohungen zu berücksichtigen sind [9].

## Reale Fälle

### März 2022: ein kleines ausgerichtetes Modell wird einem großen Rohmodell vorgezogen

In dem am 4. März 2022 veröffentlichten Artikel vergleichen die Autoren Modelle in Bewertungen durch Menschen. Die Antworten des Modells InstructGPT mit 1,3 Milliarden Parametern werden denen von GPT-3 (175 Milliarden) vorgezogen, bei hundertmal weniger Parametern [3]. Dieselben Arbeiten stellen eine bessere Wahrhaftigkeit und weniger toxische Inhalte fest [3]. Für Beschäftigte ist die Lehre begrenzt: Das Alignment bringt die Antworten näher an das, was Menschen bevorzugen, beseitigt aber die Fehler nicht, die die Autoren weiterhin einräumen [3].

## Quellen

1. arXiv, „Attention Is All You Need“, 12. Juni 2017. https://arxiv.org/abs/1706.03762 (abgerufen am 3. November 2026)
2. arXiv, „Language Models are Few-Shot Learners“, 28. Mai 2020. https://arxiv.org/abs/2005.14165 (abgerufen am 3. November 2026)
3. arXiv, „Training language models to follow instructions with human feedback“, 4. März 2022. https://arxiv.org/abs/2203.02155 (abgerufen am 3. November 2026)
4. arXiv, „Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback“, 12. April 2022. https://arxiv.org/abs/2204.05862 (abgerufen am 3. November 2026)
5. arXiv, „Direct Preference Optimization: Your Language Model is Secretly a Reward Model“, 29. Mai 2023. https://arxiv.org/abs/2305.18290 (abgerufen am 3. November 2026)
6. arXiv, „Constitutional AI: Harmlessness from AI Feedback“, 15. Dezember 2022. https://arxiv.org/abs/2212.08073 (abgerufen am 3. November 2026)
7. arXiv, „LoRA: Low-Rank Adaptation of Large Language Models“, 17. Juni 2021. https://arxiv.org/abs/2106.09685 (abgerufen am 3. November 2026)
8. NIST, „Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations“, 24. März 2025. https://csrc.nist.gov/pubs/ai/100/2/e2025/final (abgerufen am 3. November 2026)
9. NCSC (Royaume-Uni), „Guidelines for secure AI system development“, 27. November 2023. https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development (abgerufen am 3. November 2026)
10. OWASP, „OWASP Top 10 for Large Language Model Applications“. https://owasp.org/projects/top-10-for-large-language-model-applications (abgerufen am 3. November 2026)

---

Originalquelle: Cyberpedia, die öffentliche Enzyklopädie zu Cybersicherheit und KI von Brain. Kanonische Version: https://startbrain.io/cyberpedia/de/articles/training-und-alignment-von-ki-modellen-pretraining-fine-tuning-rlhf-dpo/
Sie dürfen diesen Text unter der Lizenz CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) frei weiterverwenden, sofern Sie „Brain, Cyberpedia“ mit einem Link auf die obige Adresse nennen.