Cyberpediapor Brain

Shadow IA: colar dados da empresa num chatbot de grande público

Colar um documento de trabalho num chatbot de grande público é confiá-lo a um terceiro. O que dizem o NCSC, a ANSSI e a CNIL, e os gestos certos.

Nesta página
  1. 1Em 30 segundos
  2. 2Do que se trata
  3. 3Perguntas diretas
  4. 4Como funciona
  5. 5O que faz
  6. 6As armadilhas
  7. 7Casos reais
  8. 8Fontes
  9. 9Citar este artigo

Em 30 segundos

Onde acontece
Num chatbot aberto ao público, usado fora das ferramentas validadas pela empresa, para resumir, traduzir, corrigir ou escrever código.
O risco
O que se cola é visível para o fornecedor, que o pode conservar e utilizar[1]. A empresa perde o controlo do dado.
O reflexo
Não colar nada de confidencial num chatbot de grande público[2].

Do que se trata

Um chatbot de grande público responde depressa e não pede nada em troca. Basta colar-lhe uma ata, um excerto de código ou uma lista de clientes para obter um resumo, uma correção ou uma tradução. Este gesto banal tem um efeito que o ecrã não mostra: o texto sai da empresa e chega a um terceiro.

Fala-se de shadow IA quando um colaborador usa assim uma ferramenta de IA que a sua organização não validou. O NCSC (Reino Unido) lembra que o pedido é visível para a organização que fornece o modelo[1]. A ANSSI[2] inclui estes serviços entre aqueles para onde os dados sensíveis não devem ser enviados.

Perguntas diretas

O chatbot aprende o que escrevo e repete-o a outros?

O NCSC (Reino Unido)[1] distingue duas coisas. À data do seu artigo (março de 2023), um modelo não acrescenta automaticamente os pedidos ao que sabe: introduzir uma informação não a faz, portanto, entrar no modelo para os outros utilizadores[1]. Em contrapartida, o pedido é visível para a organização que fornece o modelo, fica armazenado e servirá quase de certeza para desenvolver o serviço ou o modelo a dada altura[1]. O fornecedor, os seus parceiros ou os seus subcontratantes poderiam, portanto, ler os pedidos[1].

A ESET[3] acrescenta que a OpenAI introduziu no final de abril de 2023 a possibilidade de desativar o histórico de conversas no ChatGPT. Segundo a OpenAI, citada pela ESET, as conversas iniciadas sem histórico não servem para treinar nem para melhorar os seus modelos[3].

Que dados nunca devem sair?

A ANSSI[2] afirma que os dados sensíveis não devem em caso algum ser enviados a serviços de IA generativa de terceiros como o ChatGPT, o Gemini, o Copilot, o DeepL (tradução de texto) ou o Perplexity. Cita os dados de difusão restrita ou classificados, os trabalhos de investigação abrangidos pela proteção do potencial científico e técnico da nação, os dados pessoais, os dados contratuais, jurídicos e financeiros da empresa, e os segredos informáticos como as palavras-passe ou as chaves de API[2].

A OWASP[6] apresenta uma lista próxima de informações sensíveis: dados pessoais, informações financeiras, processos clínicos, dados confidenciais da empresa, credenciais de segurança e documentos jurídicos[6].

Porque é que a ANSSI compara isto a um armazenamento junto de um editor?

Porque, segundo a ANSSI[2], enviar texto, imagens ou documentos para um serviço de IA generativa acessível ao público equivale a depositá-los num espaço de armazenamento pertencente ao editor. O isolamento entre clientes e a proteção da confidencialidade dos dados enviados nem sempre estão ao estado da arte e assentam unicamente na confiança no fornecedor[2]. Com a maioria dos serviços, os dados enviados são recolhidos e utilizados pelo fornecedor para otimizar os seus modelos[2].

Há uma utilização destas ferramentas que continue a ser aceitável?

A CNIL[4] responde sob condição. Para utilizações não confidenciais, pode considerar-se um serviço de grande público com garantias adequadas, desde que se evitem as contas criadas com endereços pessoais e, se for caso disso, se desative a possibilidade de o fornecedor reutilizar os dados de utilização[4]. Quando se trata de dados pessoais de clientes ou de colaboradores, ou de documentação sensível ou estratégica, a CNIL indica que parece geralmente mais oportuno e mais seguro privilegiar uma implementação nas instalações da organização[4].

Como funciona

O percurso de um dado colado num chatbot é simples. O texto segue para a organização que fornece o modelo. Esta armazena-o e pode servir-se dele para fazer evoluir o seu serviço[1]. O colaborador não mantém qualquer controlo depois disso: para a ANSSI[2], a empresa cliente não controla o serviço, e é impossível garantir que a confidencialidade dos dados introduzidos satisfaz as suas exigências de segurança[2].

O NCSC (Reino Unido)[1] cita outros riscos. Os pedidos armazenados em linha podem ser pirateados, divulgados ou, mais provavelmente, tornados públicos por acidente, por vezes com informações que permitem identificar o utilizador[1]. O operador do modelo pode também ser adquirido mais tarde por uma organização cuja política de privacidade difere da que estava em vigor quando os dados foram introduzidos[1]. Por fim, a sensibilidade de uma pergunta pode vir da pessoa que a faz ou do momento, e o cruzamento de vários pedidos feitos com a mesma conta diz mais do que cada um deles[1].

A OWASP[6] descreve o outro sentido do risco: um dado confiado sem pensar a um modelo pode vir a sair mais tarde nas suas respostas. Pede aos utilizadores que compreendam este perigo[6].

O que faz

  • Não cole nada de confidencial num chatbot de grande público. A CNIL[4] dá o exemplo dos dados pessoais e dos dados da empresa, sobretudo os abrangidos pelo segredo comercial ou por obrigações deontológicas[4]. O NCSC (Reino Unido)[1] recomenda não incluir informações sensíveis nos pedidos a modelos públicos e não lhes submeter um pedido que causaria problemas se se tornasse público[1].
  • Utilize a ferramenta validada pela empresa. A CNIL[5] recomenda enquadrar as utilizações com uma lista de usos autorizados e proibidos, por exemplo não fornecer dados pessoais ao sistema[5]. Recomenda também que as organizações fixem estas utilizações em políticas ou cartas internas[4]. A ESET[3] diz o mesmo: a política da empresa deve definir em que circunstâncias os colaboradores podem usar estas ferramentas[3].
  • Releia o que a ferramenta produz antes de o utilizar. Os utilizadores deveriam ter um olhar crítico sobre os resultados, e uma boa prática consiste em nunca os reproduzir tal e qual[4].
  • Se o acesso a uma ferramenta passa por uma conta, use o endereço profissional previsto e não um endereço pessoal, no âmbito em que a organização o autorizou[4].

As armadilhas

A primeira armadilha é a comodidade. A ANSSI[2] observa que estas ferramentas são tão fáceis de usar que a tentação é confiar-lhes dados profissionais, por exemplo para traduzir um texto[2].

A segunda é acreditar que uma configuração basta. Para a OWASP[6], as restrições acrescentadas nas instruções internas de um modelo sobre os tipos de dados a devolver podem atenuar o risco, mas nem sempre são respeitadas e podem ser contornadas por injeção de prompt ou por outros métodos[6]. A opção de desativação do histórico citada acima diz respeito ao treino dos modelos[3]. O NCSC (Reino Unido) lembra, por seu lado, que o pedido é visível para a organização que fornece o modelo[1].

A terceira é pensar que o fornecedor garante a segurança. A ESET[3] lembra que a OpenAI teve de pôr o ChatGPT fora de linha em 20 de março de 2023. A OpenAI indicou em 24 de março que uma falha numa biblioteca de código aberto tinha permitido a alguns utilizadores ver títulos do histórico de outro utilizador ativo, e que as informações de pagamento de 1,2 % dos subscritores do ChatGPT Plus ativos durante uma janela de nove horas tinham podido tornar-se visíveis por erro[3].

A quarta é crer que um conselho geral substitui uma regra. A CNIL[4] precisa que, quando o fornecedor pode reutilizar os dados segundo as suas condições de utilização, a organização decide caso a caso se proíbe qualquer fornecimento de dados ou apenas certas categorias[4]. A regra aplicável ao seu posto é a da sua organização.

Casos reais

Samsung, março de 2023: código e uma gravação de reunião no ChatGPT, segundo a ESET

A ESET[3] relata que, no final de março de 2023, o meio sul-coreano The Economist Korea deu conta de três incidentes independentes na Samsung Electronics[3]. Segundo este relato, a empresa tinha pedido aos seus empregados que tivessem cuidado com as informações introduzidas nos pedidos, mas alguns teriam deixado escapar dados internos ao utilizar o ChatGPT[3].

Um empregado teria introduzido um código-fonte defeituoso ligado à base de dados de medição de um equipamento de semicondutores para procurar uma solução[3]. Um segundo teria feito o mesmo com um programa de identificação de equipamentos defeituosos, para obter uma otimização do código[3]. Um terceiro teria carregado as gravações de uma reunião para obter uma ata[3]. A ESET precisa que a Samsung prevê desenvolver o seu próprio serviço de IA interno para ajudar os empregados no seu trabalho[3].

A OWASP[6] cita entre as suas referências um artigo intitulado «Lessons learned from ChatGPT's Samsung leak»[6].

Fontes

  1. NCSC (Royaume-Uni), «ChatGPT and large language models: what's the risk?», 14 de março de 2023. https://www.ncsc.gov.uk/blog-post/chatgpt-and-large-language-models-whats-the-risk (consultado em 14 de novembro de 2026)
  2. ANSSI, «Security recommendations for a generative AI system», 29 de abril de 2024. https://messervices.cyber.gouv.fr/documents-guides/security_recommandations_for_a_generative_ai_system.pdf (consultado em 14 de novembro de 2026)
  3. ESET, «Meet “AI”, your new colleague: Could it expose your company's secrets?», 17 de maio de 2023. https://www.welivesecurity.com/2023/05/17/meet-ai-new-colleague-work-company-data/ (consultado em 14 de novembro de 2026)
  4. CNIL, «Les questions-réponses de la CNIL sur l’utilisation d’un système d’IA générative», 18 de julho de 2024. https://www.cnil.fr/fr/les-questions-reponses-de-la-cnil-sur-lutilisation-dun-systeme-dia-generative (consultado em 14 de novembro de 2026)
  5. CNIL, «Comment déployer une IA générative ? La CNIL apporte de premières précisions», 18 de julho de 2024. https://www.cnil.fr/fr/comment-deployer-une-ia-generative-la-cnil-apporte-de-premieres-precisions (consultado em 14 de novembro de 2026)
  6. OWASP, «LLM02:2025 Sensitive Information Disclosure», 10 de abril de 2024. https://genai.owasp.org/llmrisk/llm022025-sensitive-information-disclosure/ (consultado em 14 de novembro de 2026)