Cyberpediavon Brain

Shadow-KI: Firmendaten in einen öffentlichen Chatbot einfügen

Ein Arbeitsdokument in einen öffentlichen Chatbot einzufügen heißt, es einem Dritten anzuvertrauen. Was NCSC, ANSSI und CNIL sagen, und was zu tun ist.

Auf dieser Seite
  1. 1In 30 Sekunden
  2. 2Worum es geht
  3. 3Direkte Fragen
  4. 4Wie es funktioniert
  5. 5Was Sie tun
  6. 6Die Fallstricke
  7. 7Reale Fälle
  8. 8Quellen
  9. 9Diesen Artikel zitieren

In 30 Sekunden

Wo es vorkommt
In einem für die Öffentlichkeit offenen Chatbot, genutzt außerhalb der vom Unternehmen freigegebenen Werkzeuge, um zusammenzufassen, zu übersetzen, zu korrigieren oder Code zu schreiben.
Das Risiko
Was man einfügt, ist für den Anbieter sichtbar, der es speichern und nutzen kann[1]. Das Unternehmen verliert die Kontrolle über die Daten.
Der Reflex
Nichts Vertrauliches in einen öffentlichen Chatbot einfügen[2].

Worum es geht

Ein öffentlicher Chatbot antwortet schnell und verlangt nichts dafür. Man muss ihm nur ein Protokoll, einen Codeausschnitt oder eine Kundenliste einfügen, um eine Zusammenfassung, eine Korrektur oder eine Übersetzung zu erhalten. Dieser harmlose Handgriff hat eine Wirkung, die der Bildschirm nicht zeigt: Der Text verlässt das Unternehmen und gelangt zu einem Dritten.

Von Shadow-KI spricht man, wenn Beschäftigte ein KI-Werkzeug auf diese Weise nutzen, das ihre Organisation nicht freigegeben hat. Das britische NCSC weist darauf hin, dass die Anfrage für die Organisation sichtbar ist, die das Modell bereitstellt[1]. Die ANSSI[2] zählt diese Dienste zu denen, an die sensible Daten nicht gesendet werden dürfen.

Direkte Fragen

Lernt der Chatbot, was ich eintippe, und gibt er es an andere weiter?

Das britische NCSC[1] unterscheidet zwei Dinge. Zum Zeitpunkt seines Beitrags (März 2023) fügt ein Modell Anfragen nicht automatisch zu seinem Wissen hinzu: Eine Information einzugeben führt also nicht dazu, dass sie für andere Nutzer in das Modell eingeht[1]. Dagegen ist die Anfrage für die Organisation sichtbar, die das Modell bereitstellt, sie wird gespeichert und wird so gut wie sicher irgendwann zur Entwicklung des Dienstes oder des Modells verwendet[1]. Der Anbieter, seine Partner oder seine Auftragnehmer könnten die Anfragen daher lesen[1].

ESET[3] ergänzt, dass OpenAI Ende April 2023 in ChatGPT die Möglichkeit eingeführt hat, den Verlauf der Unterhaltungen zu deaktivieren. Laut OpenAI, von ESET zitiert, werden Unterhaltungen, die ohne Verlauf begonnen wurden, nicht zum Training oder zur Verbesserung ihrer Modelle verwendet[3].

Welche Daten dürfen nie weitergegeben werden?

Die ANSSI[2] erklärt, dass sensible Daten auf keinen Fall an generative KI-Dienste Dritter wie ChatGPT, Gemini, Copilot, DeepL (Textübersetzung) oder Perplexity gesendet werden dürfen. Sie nennt Daten mit eingeschränkter Verbreitung oder als Verschlusssache eingestufte Daten, Forschungsarbeiten, die unter den Schutz des wissenschaftlichen und technischen Potenzials der Nation fallen, personenbezogene Daten, die vertraglichen, rechtlichen und finanziellen Daten des Unternehmens sowie IT-Geheimnisse wie Passwörter oder API-Schlüssel[2].

Die OWASP[6] führt eine ähnliche Liste sensibler Informationen auf: personenbezogene Daten, Finanzinformationen, Gesundheitsakten, vertrauliche Unternehmensdaten, Sicherheitszugangsdaten und Rechtsdokumente[6].

Warum vergleicht die ANSSI das mit einer Speicherung beim Hersteller?

Weil das Senden von Text, Bildern oder Dokumenten an einen öffentlich zugänglichen generativen KI-Dienst nach Angaben der ANSSI[2] darauf hinausläuft, sie in einem Speicherbereich abzulegen, der dem Hersteller gehört. Die Trennung zwischen den Kunden und der Schutz der Vertraulichkeit der gesendeten Daten entsprechen nicht immer dem Stand der Technik und beruhen allein auf dem Vertrauen in den Anbieter[2]. Bei der Mehrheit der Dienste werden die gesendeten Daten vom Anbieter gesammelt und genutzt, um seine Modelle zu optimieren[2].

Gibt es eine Nutzung dieser Werkzeuge, die vertretbar bleibt?

Die CNIL[4] antwortet darauf mit einer Bedingung. Für nicht vertrauliche Nutzungen kann ein öffentlicher Dienst mit geeigneten Garantien in Betracht gezogen werden, sofern man Konten vermeidet, die mit privaten Adressen angelegt wurden, und gegebenenfalls die Möglichkeit des Anbieters abschaltet, Nutzungsdaten weiterzuverwenden[4]. Sobald es um personenbezogene Daten von Kunden oder Beschäftigten oder um sensible oder strategische Unterlagen geht, weist die CNIL darauf hin, dass es im Allgemeinen zweckmäßiger und sicherer erscheine, eine Bereitstellung vor Ort vorzuziehen[4].

Wie es funktioniert

Der Weg einer in einen Chatbot eingefügten Information ist einfach. Der Text geht an die Organisation, die das Modell bereitstellt. Diese speichert ihn und kann ihn nutzen, um ihren Dienst weiterzuentwickeln[1]. Danach behalten die Beschäftigten keine Kontrolle mehr: Für die ANSSI[2] kontrolliert das Kundenunternehmen den Dienst nicht, und es ist unmöglich zu garantieren, dass die Vertraulichkeit der eingegebenen Daten seinen Sicherheitsanforderungen entspricht[2].

Das britische NCSC[1] nennt weitere Risiken. Online gespeicherte Anfragen können gehackt, offengelegt oder, wahrscheinlicher, versehentlich öffentlich gemacht werden, manchmal mit Informationen, die den Nutzer identifizieren lassen[1]. Der Betreiber des Modells kann außerdem später von einer Organisation übernommen werden, deren Datenschutzrichtlinie von der abweicht, die galt, als die Daten eingegeben wurden[1]. Schließlich kann die Sensibilität einer Frage von der Person oder vom Zeitpunkt abhängen, und die Zusammenschau mehrerer Anfragen, die mit demselben Konto gestellt wurden, verrät mehr als jede einzelne[1].

Die OWASP[6] beschreibt die andere Richtung des Risikos: Eine Information, die man einem Modell unbedacht anvertraut hat, kann später in seinen Antworten wieder auftauchen. Sie fordert die Nutzer auf, diese Gefahr zu verstehen[6].

Was Sie tun

  • Fügen Sie nichts Vertrauliches in einen öffentlichen Chatbot ein. Die CNIL[4] nennt als Beispiel personenbezogene Daten und Unternehmensdaten, vor allem solche, die durch das Geschäftsgeheimnis oder durch berufsethische Pflichten geschützt sind[4]. Das britische NCSC[1] empfiehlt, keine sensiblen Informationen in Anfragen an öffentliche Modelle aufzunehmen und ihnen keine Anfrage vorzulegen, die problematisch wäre, wenn sie öffentlich würde[1].
  • Nutzen Sie das vom Unternehmen freigegebene Werkzeug. Die CNIL[5] empfiehlt, die Nutzungen durch eine Liste erlaubter und verbotener Verwendungen zu regeln, zum Beispiel dem System keine personenbezogenen Daten zu liefern[5]. Sie empfiehlt den Organisationen außerdem, diese Nutzungen in internen Richtlinien oder Chartas festzulegen[4]. ESET[3] sagt dasselbe: Die Unternehmensrichtlinie muss festlegen, unter welchen Umständen die Beschäftigten diese Werkzeuge nutzen dürfen[3].
  • Lesen Sie, was das Werkzeug liefert, vor der Verwendung noch einmal durch. Die Nutzer sollten die Ausgaben kritisch betrachten, und eine bewährte Praxis besteht darin, sie nie unverändert zu übernehmen[4].
  • Läuft der Zugang zu einem Werkzeug über ein Konto, verwenden Sie die vorgesehene dienstliche Adresse und keine private, in dem Rahmen, in dem die Organisation es erlaubt hat[4].

Die Fallstricke

Der erste Fallstrick liegt in der Bequemlichkeit. Die ANSSI[2] stellt fest, dass diese Werkzeuge so einfach zu bedienen sind, dass man versucht ist, ihnen berufliche Daten anzuvertrauen, zum Beispiel um einen Text zu übersetzen[2].

Der zweite ist der Glaube, eine Einstellung genüge. Für die OWASP[6] können Beschränkungen, die in den internen Anweisungen eines Modells zu den Arten zurückzugebender Daten ergänzt werden, das Risiko mindern, doch sie werden nicht immer eingehalten und lassen sich durch das Einschleusen von Anweisungen oder andere Methoden umgehen[6]. Die weiter oben genannte Option zum Deaktivieren des Verlaufs betrifft das Training der Modelle[3]. Das britische NCSC erinnert seinerseits daran, dass die Anfrage für die Organisation sichtbar ist, die das Modell bereitstellt[1].

Der dritte ist die Annahme, der Anbieter garantiere die Sicherheit. ESET[3] erinnert daran, dass OpenAI ChatGPT am 20. März 2023 vom Netz nehmen musste. OpenAI gab am 24. März an, ein Fehler in einer Open-Source-Bibliothek habe einigen Nutzern erlaubt, Titel aus dem Verlauf eines anderen aktiven Nutzers zu sehen, und die Zahlungsinformationen von 1,2 % der in einem Zeitfenster von neun Stunden aktiven ChatGPT-Plus-Abonnenten könnten versehentlich sichtbar geworden sein[3].

Der vierte ist die Annahme, ein allgemeiner Rat ersetze eine Regel. Die CNIL[4] präzisiert, dass die Organisation, wenn der Anbieter die Daten nach seinen Nutzungsbedingungen weiterverwenden kann, im Einzelfall entscheidet, ob sie jede Bereitstellung von Daten oder nur bestimmte Kategorien verbietet[4]. Maßgeblich an Ihrem Arbeitsplatz ist die Regel Ihrer Organisation.

Reale Fälle

Samsung, März 2023: Code und eine Besprechungsaufnahme in ChatGPT, laut ESET

ESET[3] berichtet, das südkoreanische Medium The Economist Korea habe Ende März 2023 drei voneinander unabhängige Vorfälle bei Samsung Electronics gemeldet[3]. Nach dieser Darstellung hatte das Unternehmen seine Beschäftigten aufgefordert, auf die Informationen in ihren Anfragen zu achten, doch einige sollen bei der Nutzung von ChatGPT interne Daten preisgegeben haben[3].

Ein Beschäftigter soll fehlerhaften Quellcode zur Messdatenbank einer Halbleiteranlage eingegeben haben, um eine Lösung zu suchen[3]. Ein Zweiter soll dasselbe mit einem Programm zur Identifizierung defekter Anlagen getan haben, um eine Optimierung des Codes zu erhalten[3]. Ein Dritter soll die Aufzeichnungen einer Besprechung hochgeladen haben, um ein Protokoll zu erhalten[3]. ESET präzisiert, dass Samsung plant, einen eigenen internen KI-Dienst zu entwickeln, der seine Beschäftigten bei der Arbeit unterstützen soll[3].

Die OWASP[6] führt unter ihren Referenzen einen Artikel mit dem Titel „Lessons learned from ChatGPT's Samsung leak“ auf[6].

Quellen

  1. NCSC (Royaume-Uni), „ChatGPT and large language models: what's the risk?“, 14. März 2023. https://www.ncsc.gov.uk/blog-post/chatgpt-and-large-language-models-whats-the-risk (abgerufen am 14. November 2026)
  2. ANSSI, „Security recommendations for a generative AI system“, 29. April 2024. https://messervices.cyber.gouv.fr/documents-guides/security_recommandations_for_a_generative_ai_system.pdf (abgerufen am 14. November 2026)
  3. ESET, „Meet “AI”, your new colleague: Could it expose your company's secrets?“, 17. Mai 2023. https://www.welivesecurity.com/2023/05/17/meet-ai-new-colleague-work-company-data/ (abgerufen am 14. November 2026)
  4. CNIL, „Les questions-réponses de la CNIL sur l’utilisation d’un système d’IA générative“, 18. Juli 2024. https://www.cnil.fr/fr/les-questions-reponses-de-la-cnil-sur-lutilisation-dun-systeme-dia-generative (abgerufen am 14. November 2026)
  5. CNIL, „Comment déployer une IA générative ? La CNIL apporte de premières précisions“, 18. Juli 2024. https://www.cnil.fr/fr/comment-deployer-une-ia-generative-la-cnil-apporte-de-premieres-precisions (abgerufen am 14. November 2026)
  6. OWASP, „LLM02:2025 Sensitive Information Disclosure“, 10. April 2024. https://genai.owasp.org/llmrisk/llm022025-sensitive-information-disclosure/ (abgerufen am 14. November 2026)