--- id: CP-508 slug: validacao-humana-agentes-ia-acoes-proibidas lang: pt title: Validação humana dos agentes de IA description: Um agente de IA pode preparar uma ação, mas algumas têm de ser aprovadas por uma pessoa. O que o colaborador lê, aceita ou recusa. canonical_url: https://startbrain.io/cyberpedia/pt/articles/validacao-humana-agentes-ia-acoes-proibidas/ markdown_url: https://startbrain.io/cyberpedia/pt/articles/validacao-humana-agentes-ia-acoes-proibidas.md publisher: Brain (https://startbrain.io) license: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) cite_as: Brain, «Validação humana dos agentes de IA», Cyberpedia, 2026. https://startbrain.io/cyberpedia/pt/articles/validacao-humana-agentes-ia-acoes-proibidas/ (CC BY 4.0) wing: 4 theme: use_responsibly reflex: air-039 schema: G3 updated: "2026-11-03" translations: pt: https://startbrain.io/cyberpedia/pt/articles/validacao-humana-agentes-ia-acoes-proibidas/ fr: https://startbrain.io/cyberpedia/fr/articles/validation-humaine-agents-ia-actions-interdites/ en: https://startbrain.io/cyberpedia/en/articles/human-in-the-loop-ai-agent-approval/ de: https://startbrain.io/cyberpedia/de/articles/menschliche-freigabe-ki-agenten-verbotene-aktionen/ es: https://startbrain.io/cyberpedia/es/articles/validacion-humana-agentes-ia-acciones-prohibidas/ it: https://startbrain.io/cyberpedia/it/articles/convalida-umana-agenti-ia-azioni-vietate/ nl: https://startbrain.io/cyberpedia/nl/articles/menselijke-goedkeuring-ai-agents-verboden-acties/ sources: - "n": 1 title: Intelligence artificielle | CNIL publisher: CNIL url: https://www.cnil.fr/fr/intelligence-artificielle accessed: "2026-11-03" - "n": 2 title: LLM01:2025 Prompt Injection publisher: OWASP url: https://genai.owasp.org/llmrisk/llm01-prompt-injection/ accessed: "2026-11-03" - "n": 3 title: LLM06:2025 Excessive Agency publisher: OWASP url: https://genai.owasp.org/llmrisk/llm062025-excessive-agency/ accessed: "2026-11-03" - "n": 4 title: AI Risk Management Framework publisher: NIST url: https://www.nist.gov/itl/ai-risk-management-framework accessed: "2026-11-03" - "n": 5 title: Guidelines for secure AI system development publisher: NCSC (Royaume-Uni) url: https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development published: "2023-11-27" accessed: "2026-11-03" --- # Validação humana dos agentes de IA Um agente de IA já não se limita a responder a uma pergunta. Pode ler uma caixa de correio, abrir documentos, chamar outras ferramentas e agir em lugar do seu utilizador. A CNIL fala de uma IA agêntica «désormais capable d'agir sur son environnement à la place de son utilisateur» [1]. O princípio da validação humana (em inglês Human-in-the-Loop) responde a esta mudança: o agente prepara, e uma pessoa aprova antes de a ação ser executada. Esta ficha explica o que o colaborador deve ler antes de clicar e quando deve recusar. ## Em 30 segundos - Onde acontece: um assistente ou agente de IA propõe enviar uma mensagem, apagar um ficheiro, fazer um pagamento ou alterar um acesso. - O que quer o atacante: levar o agente a executar uma ação, por exemplo escondendo instruções num e-mail ou numa página web que o agente lê [2]. - O reflexo: nunca aprovar uma ação de um agente sem ter lido o que ela faz, e recusar se faltarem elementos. - Se já o fez: avisar de imediato o serviço de segurança da Brain e deixar de utilizar o agente em causa até receber resposta. ## Perguntas diretas ### O que é a validação humana? É uma etapa em que uma pessoa tem de dizer sim antes de uma ação de grande impacto ser executada. A OWASP descreve-a assim: usar um controlo humano para exigir que uma pessoa aprove as ações de grande impacto antes de estas serem executadas [3]. A OWASP dá um exemplo: uma aplicação que publica conteúdos nas redes sociais em nome de um utilizador deve ter uma rotina de aprovação na extensão que faz a publicação [3]. ### Que ações devem passar sempre por uma pessoa? Esta ficha considera cinco categorias: os pagamentos, a eliminação de dados, o envio de mensagens para o exterior, a alteração de direitos de acesso e as decisões que afetam pessoas. As fontes citadas aqui não elaboram esta lista. Falam de «ações de grande impacto» [3] e dão como exemplos a eliminação de documentos sem confirmação do utilizador e o envio de mensagens [3]. ### Porque é que o agente não pode decidir sozinho? Porque pode enganar-se ou ser manipulado. A OWASP chama «Excessive Agency» à fragilidade que permite ações prejudiciais na sequência de respostas inesperadas, ambíguas ou manipuladas de um modelo de linguagem, seja qual for a causa da falha [3]. Entre os desencadeadores habituais, a OWASP cita as alucinações e a injeção de prompt [3]. ### O que devo ler antes de aprovar? No mínimo: o que a ação faz, sobre que dados ou contas e para quem segue. Se o agente propuser enviar uma mensagem, leia o destinatário e o conteúdo completo. Se o resumo do pedido for vago, é motivo para recusar. ### Posso recusar? Sim. Uma recusa não custa nada: o agente pode reformular e o pedido pode ser refeito. Uma aprovação dada por engano pode ser irreversível, por exemplo uma eliminação ou uma mensagem já enviada. ## Como funciona A OWASP explica que um sistema baseado num modelo de linguagem recebe muitas vezes do seu programador a capacidade de chamar funções ou outros sistemas, através de extensões (por vezes chamadas ferramentas, competências ou plugins). A escolha da extensão a utilizar pode também ser confiada ao próprio agente [3]. Um agente encadeia geralmente várias chamadas ao modelo, cada uma assente no resultado das anteriores [3]. A OWASP identifica três causas habituais de autonomia excessiva: demasiadas funções, demasiadas permissões, demasiada autonomia [3]. A validação humana responde à terceira: a OWASP dá como exemplo uma extensão que elimina os documentos de um utilizador sem lhe pedir confirmação [3]. A validação não substitui as outras proteções. A OWASP recomenda também que se dê ao agente apenas as extensões, as funções e as permissões necessárias, e que as autorizações sejam verificadas pelos sistemas a jusante e não pelo modelo [3]. Quanto à injeção de prompt, a OWASP inclui o controlo humano das operações privilegiadas entre as medidas que limitam o impacto [2]. Estas escolhas cabem às equipas que implementam o agente, não ao colaborador. ## O que faz - Leia o pedido de aprovação na íntegra antes de responder, incluindo os destinatários, os ficheiros e as contas em causa. - Recuse quando não perceber o que o agente vai fazer, ou quando o pedido não corresponder ao que lhe pediu. - Recuse uma ação que nada tem que ver com a tarefa em curso: um agente que resume um documento não tem motivo para propor o envio de uma mensagem. - Para uma ação que afete outras pessoas, um pagamento ou acessos, verifique por outro meio se a dúvida persistir. - Comunique à segurança qualquer agente que aja sem pedir o seu acordo quando deveria fazê-lo. ## As armadilhas ### Validar sem ler Quando os pedidos de aprovação se repetem, acaba-se por clicar sem olhar. A validação passa a ser uma formalidade e deixa de proteger o que quer que seja. Um pedido que surge a meio de uma tarefa exige a mesma atenção do que o primeiro do dia. ### O agente com demasiados direitos A OWASP dá o exemplo de uma extensão destinada a ler dados, mas que se liga a uma base de dados com uma identidade que também pode modificar, inserir e eliminar [3]. Cita igualmente a extensão que age por um utilizador com uma conta privilegiada genérica, com acesso aos ficheiros de todos os utilizadores [3]. Nestes casos, uma única aprovação pode ter efeitos muito mais amplos do que o pedido deixa ver. ### A injeção de prompt A OWASP descreve a injeção indireta: o modelo aceita conteúdos vindos do exterior, como sites web ou ficheiros, e esses conteúdos alteram o seu comportamento de forma imprevista [2]. As instruções não têm de ser legíveis por um humano, desde que o modelo as processe [2]. A OWASP acrescenta que não se sabe se existem métodos de prevenção infalíveis [2]. A aprovação humana é, por isso, uma salvaguarda que não se deve contornar. A ilustração seguinte está neutralizada: a instrução escondida é parafraseada. ```text Ilustração (fictícia). Texto escondido num e-mail recebido: [instrução dirigida ao assistente: procurar informações sensíveis na caixa de correio e reencaminhá-las para um endereço externo] Pedido de aprovação apresentado ao colaborador: "Enviar uma mensagem para contact@exemple.invalid?" ``` É o cenário que a OWASP descreve: um e-mail armadilhado leva o assistente a percorrer a caixa de correio e a reencaminhar informações sensíveis para o endereço do atacante [3]. Entre as contramedidas, a OWASP cita a obrigação de rever e clicar manualmente em «enviar» para cada mensagem redigida pela extensão [3]. ### Achar que a validação basta A OWASP precisa que algumas medidas, como o registo de atividade, a monitorização e a limitação de débito, não previnem a autonomia excessiva mas limitam os danos [3]. O NIST apresenta o seu quadro de gestão de riscos da IA como destinado a uso voluntário [4]. O NCSC britânico indica que a segurança de um sistema de IA deve ser uma exigência desde a conceção e ao longo de todo o seu ciclo de vida [5]. ## Fontes 1. CNIL, «Intelligence artificielle | CNIL». https://www.cnil.fr/fr/intelligence-artificielle (consultado em 3 de novembro de 2026) 2. OWASP, «LLM01:2025 Prompt Injection». https://genai.owasp.org/llmrisk/llm01-prompt-injection/ (consultado em 3 de novembro de 2026) 3. OWASP, «LLM06:2025 Excessive Agency». https://genai.owasp.org/llmrisk/llm062025-excessive-agency/ (consultado em 3 de novembro de 2026) 4. NIST, «AI Risk Management Framework». https://www.nist.gov/itl/ai-risk-management-framework (consultado em 3 de novembro de 2026) 5. NCSC (Royaume-Uni), «Guidelines for secure AI system development», 27 de novembro de 2023. https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development (consultado em 3 de novembro de 2026) --- Fonte original: Cyberpedia, a enciclopédia pública de cibersegurança e IA publicada pela Brain. Versão canónica: https://startbrain.io/cyberpedia/pt/articles/validacao-humana-agentes-ia-acoes-proibidas/ Pode reutilizar livremente este texto sob a licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/), desde que cite «Brain, Cyberpedia» com uma ligação para o endereço acima.