Cyberpediapor Brain

Testar um assistente de IA interno antes de o abrir

Antes de abrir um assistente de IA aos colaboradores, a equipa ataca-o de propósito e mede as respostas. Eis como, e o que pode fazer.

Nesta página
  1. 1Em 30 segundos
  2. 2Do que se trata
  3. 3Perguntas diretas
  4. 4Como funciona
  5. 5O que faz
  6. 6As armadilhas
  7. 7Fontes
  8. 8Citar este artigo

Em 30 segundos

Onde acontece
Antes da abertura de um assistente de IA aos colaboradores. O NIST precisa que o red teaming pode realizar-se antes ou depois da disponibilização de um modelo ou de um sistema ao público, e que a sua secção se centra no contexto que antecede a implementação[3].
Riscos testados
O NIST inclui entre os riscos a testar instruções desviadas (jailbreaking), fugas de informações sensíveis e respostas falsas enunciadas com convicção[3].
O reflexo
Participar nos ensaios quando a equipa lho propuser, anotar e comunicar qualquer comportamento estranho, e não dar acesso ao assistente a outras pessoas sem validação da equipa responsável.

Do que se trata

Antes de um assistente de IA interno ser aberto aos colaboradores, a equipa responsável por ele pode atacá-lo de propósito para encontrar as suas falhas. Este exercício chama-se red teaming. O termo designava, na origem, ataques sistemáticos feitos para testar vulnerabilidades de segurança. Com os grandes modelos de linguagem, alargou-se a todo o tipo de ensaios, testes e ataques a sistemas de IA[1].

O red teaming não substitui o trabalho sistemático de medição e de correção[1]. Os autores de um balanço da Microsoft, assente em mais de 100 produtos de IA generativa testados, incluem entre as suas lições que o red teaming da IA não é safety benchmarking[2].

Perguntas diretas

O que é o red teaming de um assistente de IA?

O NIST descreve exercícios muitas vezes realizados num ambiente controlado, em colaboração com os programadores, para detetar comportamentos ou resultados indesejáveis, compreender como poderiam ocorrer e pôr à prova as salvaguardas[3]. Qualifica o red teaming da IA como uma prática em evolução[3]. A iniciativa AI Red Teaming da OWASP indica que fornecerá uma metodologia normalizada, com benchmarks, ferramentas e quadros de trabalho[7].

O red teaming substitui a avaliação por medição?

Não. Segundo a Microsoft, o red teaming não substitui a medição sistemática. Ajuda a descobrir e a identificar danos, o que permite depois escolher medidas para verificar a eficácia das correções[1]. A Microsoft recomenda, como boa prática, começar por uma primeira ronda de red teaming manual antes das medições sistemáticas[1]. Essa primeira ronda serve para elaborar a lista dos danos a medir e a corrigir[1].

Quem testa?

A Microsoft aconselha a reunir um grupo variado, segundo a experiência, os perfis e as especialidades úteis para o domínio do produto. Testadores com mentalidade ofensiva e experientes em segurança ajudam a compreender os riscos de segurança. Utilizadores comuns, que não participaram no desenvolvimento, trazem outro olhar sobre os danos que os utilizadores encontrarão[1]. O NIST descreve também um red teaming conduzido pelo grande público, isto é, por utilizadores que não são necessariamente especialistas em IA ou em técnica, e nota que esta forma pode ser mais eficaz com grandes grupos de testadores[3].

Que riscos testar antes da abertura?

Destacam-se três famílias de riscos.

  • As instruções desviadas. O NIST chama jailbreaking ao ato de fabricar deliberadamente instruções para contornar os controlos sobre as respostas[3]. A OWASP coloca a injeção de prompt (Prompt Injection) no topo da sua lista de 2025 dos riscos das aplicações de modelos de linguagem[4]. A Microsoft cita também a extração da instrução de sistema (meta prompt) entre os pontos que os especialistas de segurança podem explorar[1].
  • As fugas de dados. A OWASP lista a divulgação de informações sensíveis e a fuga da instrução de sistema[4]. O NIST refere que, durante ataques, modelos revelaram informações sensíveis de domínio público que constavam dos seus dados de treino[3].
  • As respostas falsas. O NIST dá a este risco o nome de confabulação: um sistema produz e apresenta com confiança um conteúdo falso ou errado[3]. O risco surge quando o utilizador acredita nesse conteúdo por causa do tom confiante da resposta[3]. A OWASP inclui a desinformação entre os seus dez riscos[4].

Como funciona

A abordagem segue um ciclo: enquadrar, testar, medir, corrigir, recomeçar.

Enquadrar. A Microsoft convida a planear, antes dos ensaios, quem testa, o quê, como, e como registar os resultados[1]. O manual da OWASP propõe um método em oito fases: planeamento, reconhecimento, mapeamento da superfície de ataque, exploração, persistência, avaliação do impacto, relatório e remediação[6].

Testar. Segundo a Microsoft, pode testar-se o modelo de base com o seu sistema de segurança, a própria aplicação, ou ambos antes e depois das correções[1]. A aplicação testa-se de preferência pela sua interface, e tanto quanto possível na interface de produção, que é a mais parecida com a utilização real[1]. A Microsoft sugere começar por ensaios abertos e depois elaborar uma lista de danos com definições e exemplos, que orienta as rondas seguintes[1].

Medir. A Microsoft recomenda testar as versões do produto com e sem medidas de proteção, e acrescentar medições sistemáticas depois de uma primeira ronda manual[1]. Após cada ronda, um relatório curto dirigido às partes interessadas lista os principais problemas, dá acesso aos dados brutos e apresenta o plano das rondas seguintes[1].

Corrigir e recomeçar. A Microsoft propõe verificar se o plano de teste cobre os filtros de conteúdo, usar técnicas de redação de instruções para reduzir o risco e depois voltar a testar, a fim de validar as melhorias[1]. Os autores do balanço da Microsoft escrevem que o trabalho de proteção dos sistemas de IA nunca estará concluído[2].

As orientações do NCSC (Reino Unido), publicadas a 27 de novembro de 2023, indicam que a segurança deve ser «a core requirement, not just in the development phase, but throughout the life cycle of the system»[5]. O Playbook do NIST, de utilização voluntária, organiza as suas sugestões em torno de quatro funções: Govern, Map, Measure e Manage[8].

O que faz

Um colaborador sem formação técnica pode agir em quatro pontos.

Participar nos ensaios. Se a equipa o associar a uma ronda de teste, a Microsoft indica que pode ser útil fornecer aos testadores instruções claras: objetivo da ronda, funções a testar e acesso, tipos de problemas visados, tempo a dedicar, método de registo e pessoa a contactar[1]. O seu estatuto de utilizador comum tem valor neste exercício[1].

Registar o que vê. A Microsoft propõe anotar a data do exemplo, um identificador do par entrada/saída se estiver disponível, o texto introduzido, e uma descrição ou uma captura de ecrã da resposta[1]. Uma folha de cálculo partilhada é muitas vezes o método mais simples, e cada um pode reler nela os exemplos dos outros[1].

Comunicar um comportamento estranho. O NIST indica que se podem recolher comentários diretos de utilizadores em produção, depois de um modelo ser disponibilizado[3]. As orientações do NCSC incluem o desenvolvimento de processos de gestão de incidentes entre os temas da implementação segura[5]. Na prática, comunique à equipa do assistente o que viu, com a data e o texto introduzido.

Não abrir a ferramenta sem validação. O NCSC cita a colocação em produção responsável entre os temas da implementação[5]. Para um colaborador, isto traduz-se de forma simples: não dê acesso ao assistente a outras pessoas sem o acordo da equipa que responde por ele.

As armadilhas

  • Tomar um exemplo por uma estatística. A Microsoft pede que o relatório precise que o red teaming serve para expor e fazer compreender a superfície de risco, e que ninguém interprete um exemplo isolado como uma medida da frequência de um dano[1].
  • Não dizer onde o teste decorreu. A Microsoft aconselha a indicar que pontos de acesso foram usados, e a voltar a testar na interface de produção quando foi usado outro ponto de acesso[1].
  • Acreditar numa resposta por ser argumentada. O NIST observa que as respostas podem conter raciocínios ou citações inventados que pretendem justificá-las, o que pode levar a confiar demasiado nelas[3].
  • Aplicar os resultados sem os analisar. O NIST escreve que os resultados do red teaming deviam ser objeto de uma análise suplementar antes de serem integrados na governação e na tomada de decisão[3].
  • Contar só com a máquina ou só com o ser humano. Os autores do balanço da Microsoft notam que a automatização pode ajudar a cobrir mais do panorama dos riscos, e que o elemento humano do red teaming da IA é um ponto-chave das suas lições[2].

Fontes

  1. Microsoft, «Planning red teaming for large language models (LLMs) and their applications». https://learn.microsoft.com/en-us/azure/foundry/openai/concepts/red-teaming (consultado em 14 de novembro de 2026)
  2. arXiv, «Lessons From Red Teaming 100 Generative AI Products», 13 de janeiro de 2025. https://arxiv.org/abs/2501.07238 (consultado em 14 de novembro de 2026)
  3. NIST, «Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile». https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf (consultado em 14 de novembro de 2026)
  4. OWASP, «LLMRisks Archive». https://genai.owasp.org/llm-top-10/ (consultado em 14 de novembro de 2026)
  5. NCSC (Royaume-Uni), «Guidelines for secure AI system development», 27 de novembro de 2023. https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development (consultado em 14 de novembro de 2026)
  6. OWASP, «GenAI Red Teaming Manual Version 1.0», 20 de outubro de 2026. https://genai.owasp.org/resource/genai-red-teaming-manual-version-1-0/ (consultado em 14 de novembro de 2026)
  7. OWASP, «AI Red Teaming Initiative», 13 de novembro de 2025. https://genai.owasp.org/initiatives/ai-red-teaming-initiative/ (consultado em 14 de novembro de 2026)
  8. NIST, «NIST AI RMF Playbook», 8 de julho de 2022. https://www.nist.gov/itl/ai-risk-management-framework/nist-ai-rmf-playbook (consultado em 14 de novembro de 2026)