Testar um assistente de IA interno antes de o abrir
Antes de abrir um assistente de IA aos colaboradores, a equipa ataca-o de propósito e mede as respostas. Eis como, e o que pode fazer.
Nesta página
Em 30 segundos
- Onde acontece
- Antes da abertura de um assistente de IA aos colaboradores. O NIST precisa que o red teaming pode realizar-se antes ou depois da disponibilização de um modelo ou de um sistema ao público, e que a sua secção se centra no contexto que antecede a implementação[3].
- Riscos testados
- O NIST inclui entre os riscos a testar instruções desviadas (jailbreaking), fugas de informações sensíveis e respostas falsas enunciadas com convicção[3].
- O reflexo
- Participar nos ensaios quando a equipa lho propuser, anotar e comunicar qualquer comportamento estranho, e não dar acesso ao assistente a outras pessoas sem validação da equipa responsável.
Do que se trata
Antes de um assistente de IA interno ser aberto aos colaboradores, a equipa responsável por ele pode atacá-lo de propósito para encontrar as suas falhas. Este exercício chama-se red teaming. O termo designava, na origem, ataques sistemáticos feitos para testar vulnerabilidades de segurança. Com os grandes modelos de linguagem, alargou-se a todo o tipo de ensaios, testes e ataques a sistemas de IA[1].
O red teaming não substitui o trabalho sistemático de medição e de correção[1]. Os autores de um balanço da Microsoft, assente em mais de 100 produtos de IA generativa testados, incluem entre as suas lições que o red teaming da IA não é safety benchmarking[2].
Perguntas diretas
O que é o red teaming de um assistente de IA?
O NIST descreve exercícios muitas vezes realizados num ambiente controlado, em colaboração com os programadores, para detetar comportamentos ou resultados indesejáveis, compreender como poderiam ocorrer e pôr à prova as salvaguardas[3]. Qualifica o red teaming da IA como uma prática em evolução[3]. A iniciativa AI Red Teaming da OWASP indica que fornecerá uma metodologia normalizada, com benchmarks, ferramentas e quadros de trabalho[7].
O red teaming substitui a avaliação por medição?
Não. Segundo a Microsoft, o red teaming não substitui a medição sistemática. Ajuda a descobrir e a identificar danos, o que permite depois escolher medidas para verificar a eficácia das correções[1]. A Microsoft recomenda, como boa prática, começar por uma primeira ronda de red teaming manual antes das medições sistemáticas[1]. Essa primeira ronda serve para elaborar a lista dos danos a medir e a corrigir[1].
Quem testa?
A Microsoft aconselha a reunir um grupo variado, segundo a experiência, os perfis e as especialidades úteis para o domínio do produto. Testadores com mentalidade ofensiva e experientes em segurança ajudam a compreender os riscos de segurança. Utilizadores comuns, que não participaram no desenvolvimento, trazem outro olhar sobre os danos que os utilizadores encontrarão[1]. O NIST descreve também um red teaming conduzido pelo grande público, isto é, por utilizadores que não são necessariamente especialistas em IA ou em técnica, e nota que esta forma pode ser mais eficaz com grandes grupos de testadores[3].
Que riscos testar antes da abertura?
Destacam-se três famílias de riscos.
- As instruções desviadas. O NIST chama jailbreaking ao ato de fabricar deliberadamente instruções para contornar os controlos sobre as respostas[3]. A OWASP coloca a injeção de prompt (Prompt Injection) no topo da sua lista de 2025 dos riscos das aplicações de modelos de linguagem[4]. A Microsoft cita também a extração da instrução de sistema (meta prompt) entre os pontos que os especialistas de segurança podem explorar[1].
- As fugas de dados. A OWASP lista a divulgação de informações sensíveis e a fuga da instrução de sistema[4]. O NIST refere que, durante ataques, modelos revelaram informações sensíveis de domínio público que constavam dos seus dados de treino[3].
- As respostas falsas. O NIST dá a este risco o nome de confabulação: um sistema produz e apresenta com confiança um conteúdo falso ou errado[3]. O risco surge quando o utilizador acredita nesse conteúdo por causa do tom confiante da resposta[3]. A OWASP inclui a desinformação entre os seus dez riscos[4].
Como funciona
A abordagem segue um ciclo: enquadrar, testar, medir, corrigir, recomeçar.
Enquadrar. A Microsoft convida a planear, antes dos ensaios, quem testa, o quê, como, e como registar os resultados[1]. O manual da OWASP propõe um método em oito fases: planeamento, reconhecimento, mapeamento da superfície de ataque, exploração, persistência, avaliação do impacto, relatório e remediação[6].
Testar. Segundo a Microsoft, pode testar-se o modelo de base com o seu sistema de segurança, a própria aplicação, ou ambos antes e depois das correções[1]. A aplicação testa-se de preferência pela sua interface, e tanto quanto possível na interface de produção, que é a mais parecida com a utilização real[1]. A Microsoft sugere começar por ensaios abertos e depois elaborar uma lista de danos com definições e exemplos, que orienta as rondas seguintes[1].
Medir. A Microsoft recomenda testar as versões do produto com e sem medidas de proteção, e acrescentar medições sistemáticas depois de uma primeira ronda manual[1]. Após cada ronda, um relatório curto dirigido às partes interessadas lista os principais problemas, dá acesso aos dados brutos e apresenta o plano das rondas seguintes[1].
Corrigir e recomeçar. A Microsoft propõe verificar se o plano de teste cobre os filtros de conteúdo, usar técnicas de redação de instruções para reduzir o risco e depois voltar a testar, a fim de validar as melhorias[1]. Os autores do balanço da Microsoft escrevem que o trabalho de proteção dos sistemas de IA nunca estará concluído[2].
As orientações do NCSC (Reino Unido), publicadas a 27 de novembro de 2023, indicam que a segurança deve ser «a core requirement, not just in the development phase, but throughout the life cycle of the system»[5]. O Playbook do NIST, de utilização voluntária, organiza as suas sugestões em torno de quatro funções: Govern, Map, Measure e Manage[8].
O que faz
Um colaborador sem formação técnica pode agir em quatro pontos.
Participar nos ensaios. Se a equipa o associar a uma ronda de teste, a Microsoft indica que pode ser útil fornecer aos testadores instruções claras: objetivo da ronda, funções a testar e acesso, tipos de problemas visados, tempo a dedicar, método de registo e pessoa a contactar[1]. O seu estatuto de utilizador comum tem valor neste exercício[1].
Registar o que vê. A Microsoft propõe anotar a data do exemplo, um identificador do par entrada/saída se estiver disponível, o texto introduzido, e uma descrição ou uma captura de ecrã da resposta[1]. Uma folha de cálculo partilhada é muitas vezes o método mais simples, e cada um pode reler nela os exemplos dos outros[1].
Comunicar um comportamento estranho. O NIST indica que se podem recolher comentários diretos de utilizadores em produção, depois de um modelo ser disponibilizado[3]. As orientações do NCSC incluem o desenvolvimento de processos de gestão de incidentes entre os temas da implementação segura[5]. Na prática, comunique à equipa do assistente o que viu, com a data e o texto introduzido.
Não abrir a ferramenta sem validação. O NCSC cita a colocação em produção responsável entre os temas da implementação[5]. Para um colaborador, isto traduz-se de forma simples: não dê acesso ao assistente a outras pessoas sem o acordo da equipa que responde por ele.
As armadilhas
- Tomar um exemplo por uma estatística. A Microsoft pede que o relatório precise que o red teaming serve para expor e fazer compreender a superfície de risco, e que ninguém interprete um exemplo isolado como uma medida da frequência de um dano[1].
- Não dizer onde o teste decorreu. A Microsoft aconselha a indicar que pontos de acesso foram usados, e a voltar a testar na interface de produção quando foi usado outro ponto de acesso[1].
- Acreditar numa resposta por ser argumentada. O NIST observa que as respostas podem conter raciocínios ou citações inventados que pretendem justificá-las, o que pode levar a confiar demasiado nelas[3].
- Aplicar os resultados sem os analisar. O NIST escreve que os resultados do red teaming deviam ser objeto de uma análise suplementar antes de serem integrados na governação e na tomada de decisão[3].
- Contar só com a máquina ou só com o ser humano. Os autores do balanço da Microsoft notam que a automatização pode ajudar a cobrir mais do panorama dos riscos, e que o elemento humano do red teaming da IA é um ponto-chave das suas lições[2].
Fontes
- Microsoft, «Planning red teaming for large language models (LLMs) and their applications». https://learn.microsoft.com/en-us/azure/foundry/openai/concepts/red-teaming (consultado em 14 de novembro de 2026)
- arXiv, «Lessons From Red Teaming 100 Generative AI Products», 13 de janeiro de 2025. https://arxiv.org/abs/2501.07238 (consultado em 14 de novembro de 2026)
- NIST, «Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile». https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf (consultado em 14 de novembro de 2026)
- OWASP, «LLMRisks Archive». https://genai.owasp.org/llm-top-10/ (consultado em 14 de novembro de 2026)
- NCSC (Royaume-Uni), «Guidelines for secure AI system development», 27 de novembro de 2023. https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development (consultado em 14 de novembro de 2026)
- OWASP, «GenAI Red Teaming Manual Version 1.0», 20 de outubro de 2026. https://genai.owasp.org/resource/genai-red-teaming-manual-version-1-0/ (consultado em 14 de novembro de 2026)
- OWASP, «AI Red Teaming Initiative», 13 de novembro de 2025. https://genai.owasp.org/initiatives/ai-red-teaming-initiative/ (consultado em 14 de novembro de 2026)
- NIST, «NIST AI RMF Playbook», 8 de julho de 2022. https://www.nist.gov/itl/ai-risk-management-framework/nist-ai-rmf-playbook (consultado em 14 de novembro de 2026)
Citar este artigo
Brain, «Testar um assistente de IA interno antes de o abrir», Cyberpedia, 2026. https:/
BibTeX
@misc{brain_cp511_pt_2026,
author = {Brain},
title = {Testar um assistente de IA interno antes de o abrir},
year = {2026},
howpublished = {Cyberpedia},
url = {https://startbrain.io/cyberpedia/pt/articles/testar-assistente-ia-interno-red-teaming/},
note = {CC BY 4.0}
}