Einen internen KI-Assistenten vor der Öffnung testen
Vor der Öffnung eines KI-Assistenten für Beschäftigte greift das Team ihn gezielt an und misst die Antworten. So geht es, und das können Sie tun.
Auf dieser Seite
In 30 Sekunden
- Wo es passiert
- Vor der Öffnung eines KI-Assistenten für Beschäftigte. Das NIST hält fest, dass Red Teaming vor oder nach der Bereitstellung eines Modells oder Systems für die Öffentlichkeit stattfinden kann und dass sich sein Abschnitt auf den Kontext vor dem Einsatz konzentriert[3].
- Getestete Risiken
- Das NIST nennt unter den zu testenden Risiken manipulierte Anweisungen (Jailbreaking), Lecks sensibler Informationen und falsche Antworten, die mit Selbstsicherheit vorgebracht werden[3].
- Der Reflex
- An den Tests teilnehmen, wenn das Team es Ihnen anbietet, jedes seltsame Verhalten notieren und melden und anderen Personen ohne Freigabe des verantwortlichen Teams keinen Zugang zum Assistenten geben.
Worum es geht
Bevor ein interner KI-Assistent für Beschäftigte geöffnet wird, kann das Team, das ihn betreibt, ihn gezielt angreifen, um seine Schwachstellen zu finden. Diese Übung heißt Red Teaming. Der Begriff bezeichnete ursprünglich systematische Angriffe, mit denen Sicherheitslücken getestet wurden. Mit großen Sprachmodellen hat er sich auf alle Arten von Versuchen, Tests und Angriffen auf KI-Systeme ausgeweitet[1].
Red Teaming ersetzt nicht die systematische Arbeit des Messens und Korrigierens[1]. Die Verfasser eines Erfahrungsberichts von Microsoft, der auf mehr als 100 getesteten Produkten der generativen KI beruht, nennen unter ihren Lehren, dass das Red Teaming von KI kein Safety Benchmarking ist[2].
Direkte Fragen
Was ist Red Teaming bei einem KI-Assistenten?
Das NIST beschreibt Übungen, die oft in einer kontrollierten Umgebung und in Zusammenarbeit mit den Entwicklern stattfinden, um unerwünschtes Verhalten oder unerwünschte Ergebnisse aufzuspüren, zu verstehen, wie sie entstehen könnten, und die Schutzvorkehrungen auf die Probe zu stellen[3]. Es bezeichnet das Red Teaming von KI als eine sich entwickelnde Praxis[3]. Die Initiative AI Red Teaming von OWASP gibt an, dass sie eine standardisierte Methodik mit Benchmarks, Werkzeugen und Arbeitsrahmen bereitstellen wird[7].
Ersetzt Red Teaming die Bewertung durch Messung?
Nein. Laut Microsoft ersetzt Red Teaming die systematische Messung nicht. Es hilft, Schäden zu entdecken und zu identifizieren, sodass anschließend Messungen gewählt werden können, um die Wirksamkeit der Korrekturen zu prüfen[1]. Microsoft empfiehlt als bewährte Praxis, vor den systematischen Messungen mit einer ersten manuellen Red-Teaming-Runde zu beginnen[1]. Diese erste Runde dient dazu, die Liste der Schäden zu erstellen, die gemessen und behoben werden sollen[1].
Wer testet?
Microsoft rät, eine vielfältige Gruppe zusammenzustellen, nach Erfahrung, Profilen und Fachgebieten, die für den Bereich des Produkts nützlich sind. Angriffsorientierte Testpersonen mit Sicherheitserfahrung helfen, die Sicherheitsrisiken zu verstehen. Gewöhnliche Nutzende, die nicht an der Entwicklung beteiligt waren, bringen einen anderen Blick auf die Schäden mit, auf die Nutzende stoßen werden[1]. Auch das NIST beschreibt ein Red Teaming, das von der breiten Öffentlichkeit durchgeführt wird, also von Nutzenden, die nicht unbedingt KI- oder Technikfachleute sind, und stellt fest, dass diese Form mit großen Gruppen von Testpersonen wirksamer sein kann[3].
Welche Risiken vor der Öffnung testen?
Drei Gruppen von Risiken treten hervor.
- Manipulierte Anweisungen. Das NIST nennt Jailbreaking das gezielte Konstruieren von Anweisungen, um die Kontrollen der Antworten zu umgehen[3]. OWASP stellt die Injektion von Anweisungen (Prompt Injection) an die Spitze seiner Liste 2025 der Risiken von Anwendungen mit Sprachmodellen[4]. Microsoft nennt außerdem das Auslesen der Systemanweisung (Meta Prompt) unter den Punkten, die Sicherheitsfachleute untersuchen können[1].
- Datenlecks. OWASP führt die Offenlegung sensibler Informationen und das Leck der Systemanweisung auf[4]. Das NIST berichtet, dass Modelle bei Angriffen sensible Informationen aus dem öffentlichen Bereich offengelegt haben, die in ihren Trainingsdaten enthalten waren[3].
- Falsche Antworten. Das NIST nennt dieses Risiko Konfabulation: Ein System erzeugt falsche oder fehlerhafte Inhalte und stellt sie selbstsicher dar[3]. Das Risiko entsteht, wenn die nutzende Person diesen Inhalten wegen des selbstsicheren Tons der Antwort glaubt[3]. OWASP zählt Desinformation zu seinen zehn Risiken[4].
So funktioniert es
Das Vorgehen folgt einem Kreislauf: festlegen, testen, messen, korrigieren, von vorn beginnen.
Festlegen. Microsoft empfiehlt, vor den Tests zu planen, wer was wie testet und wie die Ergebnisse festgehalten werden[1]. Das Handbuch von OWASP schlägt eine Methode in acht Phasen vor: Planung, Aufklärung, Kartierung der Angriffsfläche, Ausnutzung, Persistenz, Bewertung der Auswirkungen, Bericht und Behebung[6].
Testen. Laut Microsoft kann man das Basismodell mit seinem Sicherheitssystem testen, die Anwendung selbst oder beides vor und nach den Korrekturen[1]. Die Anwendung wird vorzugsweise über ihre Oberfläche getestet, und möglichst auf der Produktionsoberfläche, die der realen Nutzung am nächsten kommt[1]. Microsoft schlägt vor, mit offenen Tests zu beginnen und dann eine Liste von Schäden mit Definitionen und Beispielen zu erstellen, die die folgenden Runden leitet[1].
Messen. Microsoft empfiehlt, die Versionen des Produkts mit und ohne Schutzmaßnahmen zu testen und nach einer ersten manuellen Runde systematische Messungen hinzuzufügen[1]. Nach jeder Runde listet ein kurzer Bericht an die Beteiligten die wichtigsten Probleme auf, gibt Zugang zu den Rohdaten und stellt den Plan der folgenden Runden vor[1].
Korrigieren und von vorn beginnen. Microsoft schlägt vor, zu prüfen, ob der Testplan die Inhaltsfilter abdeckt, Techniken der Formulierung von Anweisungen einzusetzen, um das Risiko zu verringern, und dann erneut zu testen, um die Verbesserungen zu bestätigen[1]. Die Verfasser des Erfahrungsberichts von Microsoft schreiben, dass die Arbeit an der Absicherung von KI-Systemen nie abgeschlossen sein wird[2].
Die am 27. November 2023 veröffentlichten Leitlinien des britischen NCSC besagen, dass Sicherheit eine zentrale Anforderung sein muss: „a core requirement, not just in the development phase, but throughout the life cycle of the system“[5]. Das Playbook des NIST, dessen Anwendung freiwillig ist, gliedert seine Vorschläge um vier Funktionen: Govern, Map, Measure und Manage[8].
Was Sie tun
Beschäftigte, die keine Technikfachleute sind, können an vier Stellen handeln.
An den Tests teilnehmen. Wenn das Team Sie in eine Testrunde einbindet, kann es laut Microsoft nützlich sein, den Testpersonen klare Anweisungen zu geben: Ziel der Runde, zu testende Funktionen und Zugang, angestrebte Arten von Problemen, dafür vorgesehene Zeit, Methode der Aufzeichnung und Ansprechperson[1]. Ihr Status als gewöhnliche Nutzende hat in dieser Übung einen Wert[1].
Festhalten, was Sie sehen. Microsoft schlägt vor, das Datum des Beispiels, wenn verfügbar eine Kennung des Paars aus Eingabe und Ausgabe, den eingegebenen Text und eine Beschreibung oder einen Screenshot der Antwort zu notieren[1]. Eine gemeinsam genutzte Tabelle ist oft die einfachste Methode, und alle können darin die Beispiele der anderen nachlesen[1].
Ein seltsames Verhalten melden. Das NIST gibt an, dass direkte Rückmeldungen von Nutzenden in der Produktion nach der Bereitstellung eines Modells eingeholt werden können[3]. Die Leitlinien des britischen NCSC führen die Entwicklung von Prozessen für das Vorfallmanagement unter den Themen des sicheren Einsatzes auf[5]. Melden Sie dem Team des Assistenten konkret, was Sie gesehen haben, mit Datum und eingegebenem Text.
Das Werkzeug nicht ohne Freigabe öffnen. Das britische NCSC nennt die verantwortungsvolle Inbetriebnahme unter den Themen des Einsatzes[5]. Für Beschäftigte bedeutet das ganz einfach: Geben Sie anderen Personen keinen Zugang zum Assistenten ohne das Einverständnis des Teams, das dafür verantwortlich ist.
Die Fallstricke
- Ein Beispiel für eine Statistik halten. Microsoft verlangt, dass der Bericht klarstellt, dass Red Teaming dazu dient, die Risikofläche aufzudecken und verständlich zu machen, und dass niemand ein einzelnes Beispiel als Maß für die Häufigkeit eines Schadens deutet[1].
- Nicht sagen, wo getestet wurde. Microsoft rät anzugeben, welche Zugangspunkte benutzt wurden, und auf der Produktionsoberfläche erneut zu testen, wenn ein anderer Zugangspunkt benutzt wurde[1].
- Eine Antwort glauben, weil sie begründet ist. Das NIST hält fest, dass die Ausgaben erfundene Begründungen oder Zitate enthalten können, die die Antwort scheinbar rechtfertigen, was dazu führen kann, ihr zu sehr zu vertrauen[3].
- Ergebnisse ohne Analyse anwenden. Das NIST schreibt, dass die Ergebnisse des Red Teamings vor der Einbindung in die Governance und die Entscheidungsfindung zusätzlich analysiert werden sollten[3].
- Sich allein auf die Maschine oder allein auf den Menschen verlassen. Die Verfasser des Erfahrungsberichts von Microsoft halten fest, dass Automatisierung helfen kann, mehr von der Risikolandschaft abzudecken, und dass das menschliche Element des Red Teamings von KI ein Kernpunkt ihrer Lehren ist[2].
Quellen
- Microsoft, „Planning red teaming for large language models (LLMs) and their applications“. https://learn.microsoft.com/en-us/azure/foundry/openai/concepts/red-teaming (abgerufen am 14. November 2026)
- arXiv, „Lessons From Red Teaming 100 Generative AI Products“, 13. Januar 2025. https://arxiv.org/abs/2501.07238 (abgerufen am 14. November 2026)
- NIST, „Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile“. https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf (abgerufen am 14. November 2026)
- OWASP, „LLMRisks Archive“. https://genai.owasp.org/llm-top-10/ (abgerufen am 14. November 2026)
- NCSC (Royaume-Uni), „Guidelines for secure AI system development“, 27. November 2023. https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development (abgerufen am 14. November 2026)
- OWASP, „GenAI Red Teaming Manual Version 1.0“, 20. Oktober 2026. https://genai.owasp.org/resource/genai-red-teaming-manual-version-1-0/ (abgerufen am 14. November 2026)
- OWASP, „AI Red Teaming Initiative“, 13. November 2025. https://genai.owasp.org/initiatives/ai-red-teaming-initiative/ (abgerufen am 14. November 2026)
- NIST, „NIST AI RMF Playbook“, 8. Juli 2022. https://www.nist.gov/itl/ai-risk-management-framework/nist-ai-rmf-playbook (abgerufen am 14. November 2026)
Diesen Artikel zitieren
Brain, „Einen internen KI-Assistenten vor der Öffnung testen“, Cyberpedia, 2026. https:/
BibTeX
@misc{brain_cp511_de_2026,
author = {Brain},
title = {Einen internen KI-Assistenten vor der Öffnung testen},
year = {2026},
howpublished = {Cyberpedia},
url = {https://startbrain.io/cyberpedia/de/articles/internen-ki-assistenten-testen-red-teaming/},
note = {CC BY 4.0}
}