---
id: CP-511
slug: testar-assistente-ia-interno-red-teaming
lang: pt
title: Testar um assistente de IA interno antes de o abrir
description: Antes de abrir um assistente de IA aos colaboradores, a equipa ataca-o de propósito e mede as respostas. Eis como, e o que pode fazer.
canonical_url: https://startbrain.io/cyberpedia/pt/articles/testar-assistente-ia-interno-red-teaming/
markdown_url: https://startbrain.io/cyberpedia/pt/articles/testar-assistente-ia-interno-red-teaming.md
publisher: Brain (https://startbrain.io)
license: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/)
cite_as: Brain, «Testar um assistente de IA interno antes de o abrir», Cyberpedia, 2026. https://startbrain.io/cyberpedia/pt/articles/testar-assistente-ia-interno-red-teaming/ (CC BY 4.0)
wing: 4
theme: authorized_tools
reflex: air-020
schema: G3
updated: "2026-11-14"
translations:
  pt: https://startbrain.io/cyberpedia/pt/articles/testar-assistente-ia-interno-red-teaming/
  fr: https://startbrain.io/cyberpedia/fr/articles/evaluer-assistant-ia-red-teaming-avant-ouverture/
  en: https://startbrain.io/cyberpedia/en/articles/testing-internal-ai-assistant-red-teaming/
  de: https://startbrain.io/cyberpedia/de/articles/internen-ki-assistenten-testen-red-teaming/
  es: https://startbrain.io/cyberpedia/es/articles/probar-asistente-ia-interno-antes-de-abrirlo/
  it: https://startbrain.io/cyberpedia/it/articles/testare-assistente-ia-interno-prima-di-aprirlo/
  nl: https://startbrain.io/cyberpedia/nl/articles/interne-ai-assistent-testen-red-teaming/
  pl: https://startbrain.io/cyberpedia/pl/articles/testowanie-asystenta-ai-red-teaming-przed-udostepnieniem/
  ja: https://startbrain.io/cyberpedia/ja/articles/testing-internal-ai-assistant-red-teaming/
sources:
  - "n": 1
    title: Planning red teaming for large language models (LLMs) and their applications
    publisher: Microsoft
    url: https://learn.microsoft.com/en-us/azure/foundry/openai/concepts/red-teaming
    accessed: "2026-11-14"
  - "n": 2
    title: Lessons From Red Teaming 100 Generative AI Products
    publisher: arXiv
    url: https://arxiv.org/abs/2501.07238
    published: "2025-01-13"
    accessed: "2026-11-14"
  - "n": 3
    title: "Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile"
    publisher: NIST
    url: https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf
    accessed: "2026-11-14"
  - "n": 4
    title: LLMRisks Archive
    publisher: OWASP
    url: https://genai.owasp.org/llm-top-10/
    accessed: "2026-11-14"
  - "n": 5
    title: Guidelines for secure AI system development
    publisher: NCSC (Royaume-Uni)
    url: https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development
    published: "2023-11-27"
    accessed: "2026-11-14"
  - "n": 6
    title: GenAI Red Teaming Manual Version 1.0
    publisher: OWASP
    url: https://genai.owasp.org/resource/genai-red-teaming-manual-version-1-0/
    published: "2026-10-20"
    accessed: "2026-11-14"
  - "n": 7
    title: AI Red Teaming Initiative
    publisher: OWASP
    url: https://genai.owasp.org/initiatives/ai-red-teaming-initiative/
    published: "2025-11-13"
    accessed: "2026-11-14"
  - "n": 8
    title: NIST AI RMF Playbook
    publisher: NIST
    url: https://www.nist.gov/itl/ai-risk-management-framework/nist-ai-rmf-playbook
    published: "2022-07-08"
    accessed: "2026-11-14"
---

# Testar um assistente de IA interno antes de o abrir

Antes de um assistente de IA interno ser aberto aos colaboradores, a equipa responsável por ele pode atacá-lo de propósito para encontrar as suas falhas. Este exercício chama-se red teaming. O termo designava, na origem, ataques sistemáticos feitos para testar vulnerabilidades de segurança. Com os grandes modelos de linguagem, alargou-se a todo o tipo de ensaios, testes e ataques a sistemas de IA [1].

O red teaming não substitui o trabalho sistemático de medição e de correção [1]. Os autores de um balanço da Microsoft, assente em mais de 100 produtos de IA generativa testados, incluem entre as suas lições que o red teaming da IA não é safety benchmarking [2].

## Em 30 segundos

- Onde acontece: antes da abertura de um assistente de IA aos colaboradores. O NIST precisa que o red teaming pode realizar-se antes ou depois da disponibilização de um modelo ou de um sistema ao público, e que a sua secção se centra no contexto que antecede a implementação [3].
- Riscos testados: o NIST inclui entre os riscos a testar instruções desviadas (jailbreaking), fugas de informações sensíveis e respostas falsas enunciadas com convicção [3].
- O reflexo: participar nos ensaios quando a equipa lho propuser, anotar e comunicar qualquer comportamento estranho, e não dar acesso ao assistente a outras pessoas sem validação da equipa responsável.

## Perguntas diretas

### O que é o red teaming de um assistente de IA?

O NIST descreve exercícios muitas vezes realizados num ambiente controlado, em colaboração com os programadores, para detetar comportamentos ou resultados indesejáveis, compreender como poderiam ocorrer e pôr à prova as salvaguardas [3]. Qualifica o red teaming da IA como uma prática em evolução [3]. A iniciativa AI Red Teaming da OWASP indica que fornecerá uma metodologia normalizada, com benchmarks, ferramentas e quadros de trabalho [7].

### O red teaming substitui a avaliação por medição?

Não. Segundo a Microsoft, o red teaming não substitui a medição sistemática. Ajuda a descobrir e a identificar danos, o que permite depois escolher medidas para verificar a eficácia das correções [1]. A Microsoft recomenda, como boa prática, começar por uma primeira ronda de red teaming manual antes das medições sistemáticas [1]. Essa primeira ronda serve para elaborar a lista dos danos a medir e a corrigir [1].

### Quem testa?

A Microsoft aconselha a reunir um grupo variado, segundo a experiência, os perfis e as especialidades úteis para o domínio do produto. Testadores com mentalidade ofensiva e experientes em segurança ajudam a compreender os riscos de segurança. Utilizadores comuns, que não participaram no desenvolvimento, trazem outro olhar sobre os danos que os utilizadores encontrarão [1]. O NIST descreve também um red teaming conduzido pelo grande público, isto é, por utilizadores que não são necessariamente especialistas em IA ou em técnica, e nota que esta forma pode ser mais eficaz com grandes grupos de testadores [3].

### Que riscos testar antes da abertura?

Destacam-se três famílias de riscos.

- As instruções desviadas. O NIST chama jailbreaking ao ato de fabricar deliberadamente instruções para contornar os controlos sobre as respostas [3]. A OWASP coloca a injeção de prompt (Prompt Injection) no topo da sua lista de 2025 dos riscos das aplicações de modelos de linguagem [4]. A Microsoft cita também a extração da instrução de sistema (meta prompt) entre os pontos que os especialistas de segurança podem explorar [1].
- As fugas de dados. A OWASP lista a divulgação de informações sensíveis e a fuga da instrução de sistema [4]. O NIST refere que, durante ataques, modelos revelaram informações sensíveis de domínio público que constavam dos seus dados de treino [3].
- As respostas falsas. O NIST dá a este risco o nome de confabulação: um sistema produz e apresenta com confiança um conteúdo falso ou errado [3]. O risco surge quando o utilizador acredita nesse conteúdo por causa do tom confiante da resposta [3]. A OWASP inclui a desinformação entre os seus dez riscos [4].

## Como funciona

A abordagem segue um ciclo: enquadrar, testar, medir, corrigir, recomeçar.

Enquadrar. A Microsoft convida a planear, antes dos ensaios, quem testa, o quê, como, e como registar os resultados [1]. O manual da OWASP propõe um método em oito fases: planeamento, reconhecimento, mapeamento da superfície de ataque, exploração, persistência, avaliação do impacto, relatório e remediação [6].

Testar. Segundo a Microsoft, pode testar-se o modelo de base com o seu sistema de segurança, a própria aplicação, ou ambos antes e depois das correções [1]. A aplicação testa-se de preferência pela sua interface, e tanto quanto possível na interface de produção, que é a mais parecida com a utilização real [1]. A Microsoft sugere começar por ensaios abertos e depois elaborar uma lista de danos com definições e exemplos, que orienta as rondas seguintes [1].

Medir. A Microsoft recomenda testar as versões do produto com e sem medidas de proteção, e acrescentar medições sistemáticas depois de uma primeira ronda manual [1]. Após cada ronda, um relatório curto dirigido às partes interessadas lista os principais problemas, dá acesso aos dados brutos e apresenta o plano das rondas seguintes [1].

Corrigir e recomeçar. A Microsoft propõe verificar se o plano de teste cobre os filtros de conteúdo, usar técnicas de redação de instruções para reduzir o risco e depois voltar a testar, a fim de validar as melhorias [1]. Os autores do balanço da Microsoft escrevem que o trabalho de proteção dos sistemas de IA nunca estará concluído [2].

As orientações do NCSC (Reino Unido), publicadas a 27 de novembro de 2023, indicam que a segurança deve ser «a core requirement, not just in the development phase, but throughout the life cycle of the system» [5]. O Playbook do NIST, de utilização voluntária, organiza as suas sugestões em torno de quatro funções: Govern, Map, Measure e Manage [8].

## O que faz

Um colaborador sem formação técnica pode agir em quatro pontos.

Participar nos ensaios. Se a equipa o associar a uma ronda de teste, a Microsoft indica que pode ser útil fornecer aos testadores instruções claras: objetivo da ronda, funções a testar e acesso, tipos de problemas visados, tempo a dedicar, método de registo e pessoa a contactar [1]. O seu estatuto de utilizador comum tem valor neste exercício [1].

Registar o que vê. A Microsoft propõe anotar a data do exemplo, um identificador do par entrada/saída se estiver disponível, o texto introduzido, e uma descrição ou uma captura de ecrã da resposta [1]. Uma folha de cálculo partilhada é muitas vezes o método mais simples, e cada um pode reler nela os exemplos dos outros [1].

Comunicar um comportamento estranho. O NIST indica que se podem recolher comentários diretos de utilizadores em produção, depois de um modelo ser disponibilizado [3]. As orientações do NCSC incluem o desenvolvimento de processos de gestão de incidentes entre os temas da implementação segura [5]. Na prática, comunique à equipa do assistente o que viu, com a data e o texto introduzido.

Não abrir a ferramenta sem validação. O NCSC cita a colocação em produção responsável entre os temas da implementação [5]. Para um colaborador, isto traduz-se de forma simples: não dê acesso ao assistente a outras pessoas sem o acordo da equipa que responde por ele.

## As armadilhas

- Tomar um exemplo por uma estatística. A Microsoft pede que o relatório precise que o red teaming serve para expor e fazer compreender a superfície de risco, e que ninguém interprete um exemplo isolado como uma medida da frequência de um dano [1].
- Não dizer onde o teste decorreu. A Microsoft aconselha a indicar que pontos de acesso foram usados, e a voltar a testar na interface de produção quando foi usado outro ponto de acesso [1].
- Acreditar numa resposta por ser argumentada. O NIST observa que as respostas podem conter raciocínios ou citações inventados que pretendem justificá-las, o que pode levar a confiar demasiado nelas [3].
- Aplicar os resultados sem os analisar. O NIST escreve que os resultados do red teaming deviam ser objeto de uma análise suplementar antes de serem integrados na governação e na tomada de decisão [3].
- Contar só com a máquina ou só com o ser humano. Os autores do balanço da Microsoft notam que a automatização pode ajudar a cobrir mais do panorama dos riscos, e que o elemento humano do red teaming da IA é um ponto-chave das suas lições [2].

## Fontes

1. Microsoft, «Planning red teaming for large language models (LLMs) and their applications». https://learn.microsoft.com/en-us/azure/foundry/openai/concepts/red-teaming (consultado em 14 de novembro de 2026)
2. arXiv, «Lessons From Red Teaming 100 Generative AI Products», 13 de janeiro de 2025. https://arxiv.org/abs/2501.07238 (consultado em 14 de novembro de 2026)
3. NIST, «Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile». https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf (consultado em 14 de novembro de 2026)
4. OWASP, «LLMRisks Archive». https://genai.owasp.org/llm-top-10/ (consultado em 14 de novembro de 2026)
5. NCSC (Royaume-Uni), «Guidelines for secure AI system development», 27 de novembro de 2023. https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development (consultado em 14 de novembro de 2026)
6. OWASP, «GenAI Red Teaming Manual Version 1.0», 20 de outubro de 2026. https://genai.owasp.org/resource/genai-red-teaming-manual-version-1-0/ (consultado em 14 de novembro de 2026)
7. OWASP, «AI Red Teaming Initiative», 13 de novembro de 2025. https://genai.owasp.org/initiatives/ai-red-teaming-initiative/ (consultado em 14 de novembro de 2026)
8. NIST, «NIST AI RMF Playbook», 8 de julho de 2022. https://www.nist.gov/itl/ai-risk-management-framework/nist-ai-rmf-playbook (consultado em 14 de novembro de 2026)

---

Fonte original: Cyberpedia, a enciclopédia pública de cibersegurança e IA publicada pela Brain. Versão canónica: https://startbrain.io/cyberpedia/pt/articles/testar-assistente-ia-interno-red-teaming/
Pode reutilizar livremente este texto sob a licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/), desde que cite «Brain, Cyberpedia» com uma ligação para o endereço acima.
