Cyberpediaod Brain

Shadow AI: wklejanie danych firmowych do ogólnodostępnego chatbota

Wklejenie dokumentu służbowego do ogólnodostępnego chatbota to powierzenie go podmiotowi trzeciemu. Co mówią NCSC, ANSSI i CNIL oraz jak postępować.

Na tej stronie
  1. 1W 30 sekund
  2. 2O co chodzi
  3. 3Pytania wprost
  4. 4Jak to działa
  5. 5Co robić
  6. 6Pułapki
  7. 7Rzeczywiste przypadki
  8. 8Źródła
  9. 9Zacytuj ten artykuł

W 30 sekund

Gdzie to się zdarza
W chatbocie otwartym dla publiczności, używanym poza narzędziami zatwierdzonymi przez firmę, do streszczania, tłumaczenia, poprawiania lub pisania kodu.
Ryzyko
To, co się wkleja, jest widoczne dla dostawcy, który może to przechowywać i wykorzystywać[1]. Firma traci kontrolę nad danymi.
Odruch
Nie wklejać niczego poufnego do ogólnodostępnego chatbota[2].

O co chodzi

Ogólnodostępny chatbot odpowiada szybko i niczego nie żąda w zamian. Wystarczy wkleić do niego sprawozdanie, fragment kodu lub listę klientów, aby otrzymać streszczenie, korektę lub tłumaczenie. Ten niewinny gest ma skutek, którego ekran nie pokazuje: tekst opuszcza firmę i trafia do podmiotu trzeciego.

O shadow AI mówi się wtedy, gdy pracownik w ten sposób korzysta z narzędzia AI, którego jego organizacja nie zatwierdziła. NCSC (Wielka Brytania) przypomina, że zapytanie jest widoczne dla organizacji dostarczającej model[1]. ANSSI[2] zalicza te usługi do tych, do których nie należy wysyłać danych wrażliwych.

Pytania wprost

Czy chatbot uczy się tego, co się wpisuje, i powtarza to innym?

NCSC (Wielka Brytania)[1] rozróżnia dwie kwestie. W dniu publikacji wpisu (marzec 2023) model nie dodaje automatycznie zapytań do swojej wiedzy: wpisanie informacji nie powoduje więc, że trafia ona do modelu dla innych użytkowników[1]. Natomiast zapytanie jest widoczne dla organizacji dostarczającej model, jest przechowywane i niemal na pewno posłuży w pewnym momencie do rozwoju usługi lub modelu[1]. Dostawca, jego partnerzy lub podwykonawcy mogliby więc czytać zapytania[1].

ESET[3] dodaje, że OpenAI wprowadziło pod koniec kwietnia 2023 roku możliwość wyłączenia historii rozmów w ChatGPT. Według OpenAI, na które powołuje się ESET, rozmowy rozpoczęte bez historii nie służą do trenowania ani ulepszania jego modeli[3].

Jakie dane nie powinny nigdy zostać wysłane?

ANSSI[2] stwierdza, że danych wrażliwych absolutnie nie należy wysyłać do usług generatywnej AI podmiotów trzecich, takich jak ChatGPT, Gemini, Copilot, DeepL (tłumaczenie tekstu) czy Perplexity. Wymienia dane o ograniczonym rozpowszechnianiu lub niejawne, prace badawcze podlegające ochronie potencjału naukowego i technicznego narodu, dane osobowe, dane umowne, prawne i finansowe firmy oraz informatyczne sekrety, takie jak hasła lub klucze API[2].

OWASP[6] podaje zbliżoną listę informacji wrażliwych: dane osobowe, informacje finansowe, dokumentację medyczną, poufne dane firmowe, dane logowania związane z bezpieczeństwem i dokumenty prawne[6].

Dlaczego ANSSI porównuje to do przechowywania danych u producenta oprogramowania?

Ponieważ według ANSSI[2] wysłanie tekstu, obrazów lub dokumentów do publicznie dostępnej usługi generatywnej AI jest równoznaczne z umieszczeniem ich w przestrzeni dyskowej należącej do producenta oprogramowania. Izolacja między klientami i ochrona poufności wysyłanych danych nie zawsze są na poziomie aktualnego stanu techniki i opierają się wyłącznie na zaufaniu do dostawcy[2]. W przypadku większości usług wysyłane dane są zbierane i wykorzystywane przez dostawcę do optymalizacji jego modeli[2].

Czy istnieje dopuszczalne wykorzystanie tych narzędzi?

CNIL[4] odpowiada na to warunkowo. W przypadku zastosowań niepoufnych można rozważyć usługę ogólnodostępną z odpowiednimi zabezpieczeniami, pod warunkiem unikania kont założonych na adresy osobiste i, w razie potrzeby, wyłączenia możliwości ponownego wykorzystywania przez dostawcę danych z użytkowania[4]. Gdy chodzi o dane osobowe klientów lub współpracowników albo o dokumentację wrażliwą lub strategiczną, CNIL wskazuje, że zazwyczaj wydaje się bardziej stosowne i bezpieczniejsze, by wybrać wdrożenie lokalne[4].

Jak to działa

Droga danych wklejonych do chatbota jest prosta. Tekst trafia do organizacji dostarczającej model. Ta przechowuje go i może użyć do rozwijania swojej usługi[1]. Pracownik nie zachowuje potem żadnej kontroli: według ANSSI[2] firma kliencka nie kontroluje usługi i nie można zagwarantować, że poufność wprowadzonych danych spełnia jej wymagania bezpieczeństwa[2].

NCSC (Wielka Brytania)[1] wymienia inne zagrożenia. Zapytania przechowywane online mogą zostać zhakowane, ujawnione lub, co bardziej prawdopodobne, upublicznione przypadkiem, czasem wraz z informacjami pozwalającymi zidentyfikować użytkownika[1]. Operator modelu może też zostać później przejęty przez organizację, której polityka prywatności różni się od tej obowiązującej w chwili wprowadzania danych[1]. Wreszcie wrażliwość pytania może wynikać z osoby, która je zadaje, lub z momentu, a zestawienie wielu zapytań wysłanych z tego samego konta mówi więcej niż każde z nich z osobna[1].

OWASP[6] opisuje drugą stronę ryzyka: dane powierzone modelowi bez zastanowienia mogą później pojawić się w jego odpowiedziach. Wymaga od użytkowników zrozumienia tego niebezpieczeństwa[6].

Co robić

  • Nie wklejać niczego poufnego do ogólnodostępnego chatbota. CNIL[4] podaje przykład danych osobowych i danych firmy, zwłaszcza objętych tajemnicą przedsiębiorstwa lub obowiązkami etyki zawodowej[4]. NCSC (Wielka Brytania)[1] zaleca, by nie umieszczać informacji wrażliwych w zapytaniach do modeli publicznych i nie przesyłać im zapytania, które byłoby problemem, gdyby stało się publiczne[1].
  • Korzystać z narzędzia zatwierdzonego przez firmę. CNIL[5] zaleca ujęcie zastosowań w ramy listy zastosowań dozwolonych i zakazanych, na przykład niedostarczania systemowi danych osobowych[5]. Zaleca też organizacjom ustalanie tych zastosowań w politykach lub regulaminach wewnętrznych[4]. ESET[3] mówi to samo: polityka firmy musi określać, w jakich okolicznościach pracownicy mogą korzystać z tych narzędzi[3].
  • Przeczytać ponownie to, co narzędzie wygenerowało, zanim się to wykorzysta. Użytkownicy powinni krytycznie oceniać wyniki, a dobra praktyka polega na tym, by nigdy nie powielać ich w niezmienionej postaci[4].
  • Jeśli dostęp do narzędzia wymaga konta, używać przewidzianego adresu służbowego, a nie osobistego, w zakresie, w którym organizacja na to zezwoliła[4].

Pułapki

Pierwsza pułapka wynika z wygody. ANSSI[2] zauważa, że te narzędzia są tak łatwe w użyciu, iż kusi, by powierzać im dane zawodowe, na przykład w celu przetłumaczenia tekstu[2].

Druga to przekonanie, że wystarczy jedno ustawienie. Według OWASP[6] ograniczenia dodane w wewnętrznych instrukcjach modelu co do rodzajów zwracanych danych mogą zmniejszyć ryzyko, ale nie zawsze są przestrzegane i można je obejść przez wstrzyknięcie instrukcji lub innymi metodami[6]. Opcja wyłączenia historii, o której mowa wyżej, dotyczy trenowania modeli[3]. NCSC (Wielka Brytania) przypomina ze swojej strony, że zapytanie jest widoczne dla organizacji dostarczającej model[1].

Trzecia to przekonanie, że dostawca gwarantuje bezpieczeństwo. ESET[3] przypomina, że OpenAI musiało przełączyć ChatGPT w tryb offline 20 marca 2023 roku. OpenAI poinformowało 24 marca, że błąd w bibliotece open source pozwolił niektórym użytkownikom zobaczyć tytuły z historii innego aktywnego użytkownika, a informacje o płatnościach 1,2 % subskrybentów ChatGPT Plus aktywnych w dziewięciogodzinnym oknie czasowym mogły przez pomyłkę stać się widoczne[3].

Czwarta to przekonanie, że ogólna rada zastępuje regułę. CNIL[4] precyzuje, że gdy dostawca może ponownie wykorzystywać dane zgodnie ze swoimi warunkami użytkowania, organizacja decyduje w każdym przypadku z osobna, czy zakazuje przekazywania jakichkolwiek danych, czy tylko niektórych kategorii[4]. Zasada obowiązująca na Pana/Pani stanowisku jest zasadą Pana/Pani organizacji.

Rzeczywiste przypadki

Samsung, marzec 2023: kod i nagranie ze spotkania w ChatGPT, według ESET

ESET[3] relacjonuje, że pod koniec marca 2023 roku południowokoreańskie medium The Economist Korea poinformowało o trzech niezależnych incydentach w Samsung Electronics[3]. Według tej relacji firma poleciła pracownikom, by uważali na informacje wpisywane w zapytaniach, ale niektórzy mieli doprowadzić do wycieku danych wewnętrznych, korzystając z ChatGPT[3].

Jeden pracownik miał wpisać wadliwy kod źródłowy związany z bazą danych pomiarowych sprzętu półprzewodnikowego, aby szukać rozwiązania[3]. Drugi miał zrobić to samo z programem do identyfikacji wadliwych urządzeń, aby uzyskać optymalizację kodu[3]. Trzeci miał przesłać nagrania ze spotkania, aby uzyskać sprawozdanie[3]. ESET precyzuje, że Samsung planuje opracować własną wewnętrzną usługę AI, która ma pomagać pracownikom w pracy[3].

OWASP[6] wymienia wśród swoich odniesień artykuł zatytułowany „Lessons learned from ChatGPT's Samsung leak”[6].

Źródła

  1. NCSC (Royaume-Uni), „ChatGPT and large language models: what's the risk?”, 14 marca 2023. https://www.ncsc.gov.uk/blog-post/chatgpt-and-large-language-models-whats-the-risk (dostęp 14 listopada 2026)
  2. ANSSI, „Security recommendations for a generative AI system”, 29 kwietnia 2024. https://messervices.cyber.gouv.fr/documents-guides/security_recommandations_for_a_generative_ai_system.pdf (dostęp 14 listopada 2026)
  3. ESET, „Meet “AI”, your new colleague: Could it expose your company's secrets?”, 17 maja 2023. https://www.welivesecurity.com/2023/05/17/meet-ai-new-colleague-work-company-data/ (dostęp 14 listopada 2026)
  4. CNIL, „Les questions-réponses de la CNIL sur l’utilisation d’un système d’IA générative”, 18 lipca 2024. https://www.cnil.fr/fr/les-questions-reponses-de-la-cnil-sur-lutilisation-dun-systeme-dia-generative (dostęp 14 listopada 2026)
  5. CNIL, „Comment déployer une IA générative ? La CNIL apporte de premières précisions”, 18 lipca 2024. https://www.cnil.fr/fr/comment-deployer-une-ia-generative-la-cnil-apporte-de-premieres-precisions (dostęp 14 listopada 2026)
  6. OWASP, „LLM02:2025 Sensitive Information Disclosure”, 10 kwietnia 2024. https://genai.owasp.org/llmrisk/llm022025-sensitive-information-disclosure/ (dostęp 14 listopada 2026)