Validação humana dos agentes de IA

A OWASP explica que um sistema baseado num modelo de linguagem recebe muitas vezes do seu programador a capacidade de chamar funções ou outros sistemas, através de extensões (por vezes chamadas ferramentas, competências ou plugins). A escolha da extensão a utilizar pode também ser confiada ao próprio agente³. Um agente encadeia geralmente várias chamadas ao modelo, cada uma assente no resultado das anteriores³.

A OWASP identifica três causas habituais de autonomia excessiva: demasiadas funções, demasiadas permissões, demasiada autonomia³. A validação humana responde à terceira: a OWASP dá como exemplo uma extensão que elimina os documentos de um utilizador sem lhe pedir confirmação³.

A validação não substitui as outras proteções. A OWASP recomenda também que se dê ao agente apenas as extensões, as funções e as permissões necessárias, e que as autorizações sejam verificadas pelos sistemas a jusante e não pelo modelo³. Quanto à injeção de prompt, a OWASP inclui o controlo humano das operações privilegiadas entre as medidas que limitam o impacto². Estas escolhas cabem às equipas que implementam o agente, não ao colaborador.

• Leia o pedido de aprovação na íntegra antes de responder, incluindo os destinatários, os ficheiros e as contas em causa.
• Recuse quando não perceber o que o agente vai fazer, ou quando o pedido não corresponder ao que lhe pediu.
• Recuse uma ação que nada tem que ver com a tarefa em curso: um agente que resume um documento não tem motivo para propor o envio de uma mensagem.
• Para uma ação que afete outras pessoas, um pagamento ou acessos, verifique por outro meio se a dúvida persistir.
• Comunique à segurança qualquer agente que aja sem pedir o seu acordo quando deveria fazê-lo.

Validar sem ler

Quando os pedidos de aprovação se repetem, acaba-se por clicar sem olhar. A validação passa a ser uma formalidade e deixa de proteger o que quer que seja. Um pedido que surge a meio de uma tarefa exige a mesma atenção do que o primeiro do dia.

O agente com demasiados direitos

A OWASP dá o exemplo de uma extensão destinada a ler dados, mas que se liga a uma base de dados com uma identidade que também pode modificar, inserir e eliminar³. Cita igualmente a extensão que age por um utilizador com uma conta privilegiada genérica, com acesso aos ficheiros de todos os utilizadores³. Nestes casos, uma única aprovação pode ter efeitos muito mais amplos do que o pedido deixa ver.

A injeção de prompt

A OWASP descreve a injeção indireta: o modelo aceita conteúdos vindos do exterior, como sites web ou ficheiros, e esses conteúdos alteram o seu comportamento de forma imprevista². As instruções não têm de ser legíveis por um humano, desde que o modelo as processe². A OWASP acrescenta que não se sabe se existem métodos de prevenção infalíveis². A aprovação humana é, por isso, uma salvaguarda que não se deve contornar.

A ilustração seguinte está neutralizada: a instrução escondida é parafraseada.

Ilustração (fictícia). Texto escondido num e-mail recebido:
[instrução dirigida ao assistente: procurar informações sensíveis
na caixa de correio e reencaminhá-las para um endereço externo]
Pedido de aprovação apresentado ao colaborador:
"Enviar uma mensagem para [email protected]?"

É o cenário que a OWASP descreve: um e-mail armadilhado leva o assistente a percorrer a caixa de correio e a reencaminhar informações sensíveis para o endereço do atacante³. Entre as contramedidas, a OWASP cita a obrigação de rever e clicar manualmente em «enviar» para cada mensagem redigida pela extensão³.

Achar que a validação basta

A OWASP precisa que algumas medidas, como o registo de atividade, a monitorização e a limitação de débito, não previnem a autonomia excessiva mas limitam os danos³. O NIST apresenta o seu quadro de gestão de riscos da IA como destinado a uso voluntário⁴. O NCSC britânico indica que a segurança de um sistema de IA deve ser uma exigência desde a conceção e ao longo de todo o seu ciclo de vida⁵.