Injeção direta de prompt

Os investigadores Fábio Perez e Ian Ribeiro mostraram em 2022 que pessoas pouco qualificadas, mas mal-intencionadas, podem desviar o GPT-3 com simples textos escritos à mão³. Descrevem dois objetivos: desviar a finalidade do modelo (goal hijacking) e levá-lo a divulgar o seu prompt (prompt leaking)³.

Um segundo tipo de objetivo é a utilização abusiva. Uma equipa de investigadores descreveu em 2023 resultados como a utilização ilimitada e arbitrária do modelo que está por trás de uma aplicação e o roubo fácil do prompt da aplicação⁴.

O jailbreak funciona de outra maneira. Os autores do estudo «Jailbroken» apontam duas causas para a falha do treino de segurança: objetivos concorrentes (as capacidades do modelo entram em conflito com as suas regras de segurança) e generalização inadequada (a segurança não cobre um domínio em que o modelo tem, ainda assim, capacidades)⁵.

A OWASP cita também variantes. O atacante pode acrescentar à sua mensagem uma sequência de caracteres aparentemente sem sentido, ou usar várias línguas ou uma codificação como Base64 para escapar aos filtros¹.

Do lado do utilizador ou da empresa, o ataque bem-sucedido reconhece-se pelos seus efeitos. A OWASP enumera as consequências possíveis: divulgação de informações sensíveis, revelação de informações sobre a infraestrutura ou sobre os prompts de sistema, conteúdos distorcidos ou enviesados, acesso não autorizado às funções do modelo, execução de comandos em sistemas ligados¹.

Na prática, um assistente que responde fora do seu assunto, que recita as suas próprias instruções ou que produz um conteúdo que a empresa nunca teria validado deve levantar suspeitas. A OWASP dá um cenário típico: um atacante pede a um chatbot de apoio que ignore as suas instruções, consulte dados privados e envie e-mails¹.

Eis uma ilustração deste tipo de mensagem, neutralizada e parafraseada:

Ilustração (mensagem parafraseada, não funcional):
[instrução a pedir ao chatbot que ignore as regras recebidas do fornecedor
e depois copie integralmente as suas instruções internas]

Para um modelo de linguagem, não há «dados» nem «instruções», apenas o token seguinte (next token): o modelo prevê o token mais provável a partir do texto recebido até esse momento². As instruções do fornecedor e a frase escrita pelo utilizador ficam assim no mesmo texto, sem uma separação que o modelo respeite².

Este aspeto distingue a prompt injection da injeção SQL. Em SQL, as consultas parametrizadas garantem que o motor nunca interpreta uma entrada como instrução². O NCSC escreve que os ataques por prompt injection poderão nunca ser totalmente atenuados como são as injeções SQL². As vias em curso (detetar as tentativas, treinar o modelo para privilegiar as instruções, indicar ao modelo o que são dados) sobrepõem uma distinção que a tecnologia não faz².

O NIST publicou em março de 2025 uma taxonomia da aprendizagem automática adversarial⁶.

Um ponto de atenção diz respeito aos filtros de palavras proibidas. O NCSC alerta contra o bloqueio de frases conhecidas como «ignore previous instructions»: existe uma infinidade de reformulações que contornam esse filtro².

Prevenção

As medidas simples aqui retidas vêm da OWASP e do NCSC.

• Privilégio mínimo: dar ao modelo o acesso mínimo necessário e gerir as funções alargadas no código da aplicação, em vez de as confiar ao modelo¹.
• Validação humana: exigir a aprovação de uma pessoa para as operações privilegiadas¹.
• Filtragem das saídas: definir categorias sensíveis, detetar conteúdos não autorizados com filtros semânticos e verificações de cadeias de caracteres, e validar o formato das respostas com código determinista¹.
• Definição do papel: descrever no prompt de sistema o papel e os limites do modelo¹. Esta medida ajuda, mas não basta: a OWASP apresenta todas estas medidas como meios de atenuar o impacto¹.
• Testes: realizar testes de intrusão e simulações regulares, tratando o modelo como um utilizador não fiável¹.
• Monitorização: registar informação suficiente para detetar atividade suspeita, incluindo as chamadas falhadas a ferramentas e a APIs, que podem denunciar as primeiras fases de um ataque².

O NCSC acrescenta que a segurança de um sistema deve assentar em salvaguardas deterministas que limitem as suas ações, e não apenas na esperança de impedir que um conteúdo malicioso chegue ao modelo². Se o risco residual for intolerável, o caso de utilização talvez não seja adequado a um modelo de linguagem².

Novembro de 2022: GPT-3 desviado por simples textos

A 17 de novembro de 2022, Fábio Perez e Ian Ribeiro publicam o PromptInject, um quadro de análise destes ataques. Estudam o GPT-3, que descrevem como o modelo de linguagem mais implementado em produção, e mostram que pode ser facilmente desalinhado por entradas escritas à mão³. Os dois ataques estudados são o desvio de objetivo e a fuga do prompt³.

Junho de 2023: 31 aplicações em 36 vulneráveis

A 8 de junho de 2023, uma equipa de doze investigadores publica um estudo sobre aplicações reais que utilizam um modelo de linguagem. Após a análise de dez aplicações comerciais, desenvolve uma técnica de ataque chamada HouYi e aplica-a a 36 aplicações: 31 revelam-se sensíveis à prompt injection⁴. Dez fornecedores validaram os resultados, entre os quais a Notion⁴.

Julho de 2023: proteções que cedem

A 5 de julho de 2023, Alexander Wei, Nika Haghtalab e Jacob Steinhardt avaliam o GPT-4 da OpenAI e o Claude v1.3 da Anthropic. Os seus novos ataques resultam em todos os pedidos de uma coleção de pedidos perigosos retirada dos conjuntos de avaliação de red teaming dos modelos⁵. Os autores concluem que as vulnerabilidades persistem apesar dos esforços de red teaming e de treino de segurança⁵.