Cyberpediapor Brain

Jailbreak de IA: contornar as salvaguardas

Um jailbreak leva um modelo de IA a ignorar as suas regras de segurança. Skeleton Key, Crescendo, prompts da web: o que se sabe, datado e com fontes.

Nesta página
  1. 1Em 30 segundos
  2. 2Do que se trata
  3. 3Perguntas diretas
  4. 4Na pele do atacante
  5. 5O que vê no ecrã
  6. 6Por baixo do capô
  7. 7Autópsias
  8. 8Fontes
  9. 9Citar este artigo

Em 30 segundos

Onde acontece
Numa conversa com um modelo de IA, através de um prompt único ou de uma sequência de perguntas encadeadas[1][2].
O que pretende o atacante
Levar o modelo a produzir um conteúdo que normalmente recusaria, reduzindo a distância entre o que o modelo sabe fazer e o que aceita fazer[5].
O reflexo
Se descobrir uma vulnerabilidade numa plataforma de IA, a Microsoft incentiva a seguir as práticas de divulgação responsável junto do proprietário da plataforma[2].
Se já o fez
No caso do Skeleton Key, a Microsoft indica que o ataque visa o próprio modelo e não dá acesso aos dados de outro utilizador[1].
Mapa do artigo

Do que se trata

Um jailbreak, em IA generativa, é uma entrada maliciosa de um utilizador que tenta contornar o comportamento previsto de um modelo. A Microsoft[1] chama-lhe também um ataque por injeção de prompt direta. A OWASP[6] especifica que o jailbreak é uma forma de injeção de prompt em que o atacante fornece entradas que levam o modelo a ignorar por completo os seus protocolos de segurança.

A Microsoft apresenta o Skeleton Key e o Crescendo como investigações divulgadas[1][2]. O estudo sobre os prompts de jailbreak da web, esse, incide sobre prompts realmente difundidos em linha[3].

Perguntas diretas

O que é um jailbreak de IA?

É uma entrada maliciosa que procura afastar o comportamento previsto do modelo. Segundo a Microsoft[1], um jailbreak bem-sucedido pode contornar todas ou quase todas as salvaguardas de IA responsável integradas no modelo pelo seu editor durante o treino.

Um jailbreak é a mesma coisa que uma injeção de prompt?

Os dois termos são muitas vezes usados um pelo outro, observa a OWASP[6]. A injeção de prompt consiste em manipular as respostas de um modelo através de entradas escolhidas, o que pode incluir o contorno de medidas de segurança. O jailbreak é uma forma dela[6].

Um jailbreak dá acesso aos dados de outras pessoas?

A Microsoft[1] escreve que o Skeleton Key é um ataque contra o próprio modelo: não permite aceder aos dados de outro utilizador, assumir o controlo do sistema nem exfiltrar dados. Quanto ao Crescendo, a Microsoft[2] indica que estes ataques não ameaçavam diretamente nem a privacidade dos outros utilizadores nem a segurança do sistema de IA. Contornam a filtragem de conteúdos[2].

É possível impedir totalmente este tipo de ataque?

A OWASP[6] considera incerto que existam métodos de prevenção infalíveis contra a injeção de prompt. O NCSC (Reino Unido)[7] considera muito possível que estes ataques nunca sejam totalmente reduzidos, porque os modelos atuais não impõem nenhuma fronteira de segurança entre instruções e dados num prompt.

Na pele do atacante

Um jailbreak visa reduzir a distância entre o que o modelo pode fazer e o que aceita fazer[5]. Em geral, o atacante já tem um acesso legítimo ao modelo: a Microsoft[1] observa que o Skeleton Key pressupõe esse acesso.

Os investigadores descrevem várias maneiras de lá chegar.

  • Um prompt que pede ao modelo que complete as suas regras em vez de as mudar. O Skeleton Key pede-lhe que responda a qualquer pedido, com um aviso em vez de uma recusa[1].
  • Uma conversa que deriva passo a passo. O Crescendo começa por uma pergunta geral e depois vai subindo o tom, apoiando-se nas respostas do modelo[5]. A Microsoft[2] especifica que isto se pode geralmente fazer em menos de 10 trocas.
  • Um texto disfarçado. A OWASP[6] cita instruções escritas em várias línguas ou codificadas, por exemplo em Base64 ou com emojis, para escapar aos filtros.

Os investigadores Wei, Haghtalab e Steinhardt[4] apontam duas razões pelas quais o treino de segurança falha. A primeira é a concorrência de objetivos: as capacidades do modelo e os seus objetivos de segurança entram em conflito. A segunda é a generalização inadequada: o treino de segurança não se estende a um domínio em que o modelo tem, apesar disso, capacidades[4].

O que vê no ecrã

No caso do Skeleton Key, o pedido consiste em fazer o modelo acrescentar um aviso em vez de recusar[1]. Ilustração parafraseada, sem prompt utilizável:

Excerto
Ilustração (paráfrase, não é um prompt real):
[O utilizador pede ao modelo que acrescente um aviso
em vez de recusar.]

Quando o ataque resulta, o modelo indica que atualizou as suas regras e que passará a satisfazer os pedidos[1]. As respostas trazem então o aviso pedido como prefixo[1].

Com o Crescendo, nada de alarmante aparece no ecrã. Cada pergunta, tomada isoladamente, não é uma ameaça, e o modelo não vê nada de invulgar, uma vez que cada etapa se apoia no que ele próprio produziu na etapa anterior[2]. Segundo os investigadores, o Crescendo interage com o modelo de uma forma aparentemente inofensiva[5].

Por baixo do capôEquipas de TI

O NCSC (Reino Unido)[7] explica por que razão a comparação com a injeção de SQL induz em erro. Em SQL, é possível separar dados e instruções, por exemplo com consultas parametrizadas. Num modelo de linguagem, só existe o next token: não há distinção entre dados e instruções[7].

A Microsoft combina várias camadas de defesa contra o Skeleton Key e o Crescendo.

  • Filtragem das entradas: o Azure AI Content Safety deteta e bloqueia as entradas com intenção maliciosa[1].
  • Mensagem de sistema: instruções que especificam ao modelo como se deve comportar, incluindo que qualquer tentativa de minar as regras de segurança deve ser afastada[1].
  • Filtragem das saídas: um filtro que identifica e bloqueia as respostas que violam os critérios de segurança[1].
  • Monitorização de abusos: um sistema de IA distinto, treinado com exemplos adversos, que não é influenciado pelas instruções maliciosas[1].
  • Filtro multi-turno: contra o Crescendo, a Microsoft[2] adaptou os seus filtros para examinarem toda a conversa anterior. Fornecer este contexto mais alargado a detetores existentes, sem os melhorar, reduziu de forma nítida a eficácia do Crescendo[2].

No plano da conceção, a OWASP[6] indica que estas medidas podem atenuar o impacto: restringir o comportamento do modelo, validar os formatos de saída, limitar os seus privilégios ao mínimo necessário, exigir validação humana para as ações de alto risco e realizar testes adversos. O NCSC (Reino Unido)[7] adverte contra o bloqueio de fórmulas conhecidas como ignore previous instructions: as maneiras de reformular um ataque são infinitas. Aconselha também a desconfiar dos produtos que pretendem poder travar a injeção de prompt e a olhar antes para os que explicam como a reduzem[7].

AutópsiasCasos reais

Skeleton Key, divulgado pela Microsoft a 26 de junho de 2024

A Microsoft[1] descreveu uma técnica de jailbreak em várias etapas, batizada Skeleton Key, que leva o modelo a ignorar as suas salvaguardas. Os testes, realizados de abril a maio de 2024, mostraram que funcionava no Meta Llama3-70b-instruct, no Google Gemini Pro, no OpenAI GPT 3.5 Turbo, no OpenAI GPT 4o, no Mistral Large, no Anthropic Claude 3 Opus e no Cohere Commander R Plus[1]. Todos os modelos afetados responderam por completo e sem censura às tarefas testadas, com o aviso pedido como prefixo[1].

O GPT-4 resistiu, exceto quando o pedido de mudança de comportamento figurava numa mensagem de sistema definida pelo utilizador. Esta operação passa pela API ou por ferramentas que lhe acedem diretamente, e não é possível na interface da maior parte do software que utiliza o GPT-4[1]. A Microsoft partilhou os seus resultados com os outros fornecedores antes da publicação, atualizou a tecnologia por trás dos seus assistentes Copilot e acrescentou a deteção pelos Prompt Shields nos modelos geridos do Azure AI[1].

Crescendo, descrito pela Microsoft em abril de 2024

A 11 de abril de 2024, a Microsoft[2] apresentou o Crescendo, um jailbreak em vários turnos que, segundo ela, pode atingir um vasto leque de objetivos maliciosos contra os modelos mais conhecidos. Pode também contornar muitos filtros de conteúdo existentes se não for corrigido[2]. O artigo de investigação, depositado no arXiv a 2 de abril de 2024 por Russinovich, Salem e Eldan, testa nomeadamente o ChatGPT, o Gemini Pro, o Gemini-Ultra, o LlaMA-2 70b, o LlaMA-3 70b Chat e o Anthropic Chat, com taxas de sucesso elevadas em todos os modelos e em todas as tarefas avaliados[5]. Apresenta também o Crescendomation, uma ferramenta que automatiza o ataque[5]. O trabalho foi aceite na USENIX Security 2025[5]. A Microsoft[2] atualizou a tecnologia por trás dos seus assistentes Copilot para atenuar o seu efeito.

1 405 prompts de jailbreak recolhidos na web, 2022 e 2023

Shen, Chen, Backes, Shen e Zhang[3] analisaram 1 405 prompts de jailbreak cobrindo o período de dezembro de 2022 a dezembro de 2023. Identificam aí 131 comunidades e observam que estes prompts migram das comunidades em linha para sites de agregação. Segundo o estudo, 28 contas de utilizadores otimizaram prompts de forma contínua durante mais de 100 dias[3]. Em seis modelos populares testados com 107 250 perguntas repartidas por 13 cenários proibidos, as suas proteções não resistem a todos estes prompts em todos os cenários. Cinco prompts muito eficazes atingem 0,95 de taxa de sucesso no ChatGPT (GPT-3.5) e no GPT-4, e o mais antigo continua em linha há mais de 240 dias[3].

Fontes

  1. Microsoft, «Mitigating Skeleton Key, a new type of generative AI jailbreak technique», 26 de junho de 2024. https://www.microsoft.com/en-us/security/blog/2024/06/26/mitigating-skeleton-key-a-new-type-of-generative-ai-jailbreak-technique/ (consultado em 14 de novembro de 2026)
  2. Microsoft, «How Microsoft discovers and mitigates evolving attacks against AI guardrails», 11 de abril de 2024. https://www.microsoft.com/en-us/security/blog/2024/04/11/how-microsoft-discovers-and-mitigates-evolving-attacks-against-ai-guardrails/ (consultado em 14 de novembro de 2026)
  3. arXiv, «"Do Anything Now": Characterizing and Evaluating In-The-Wild Jailbreak Prompts on Large Language Models», 7 de agosto de 2023. https://arxiv.org/abs/2308.03825 (consultado em 14 de novembro de 2026)
  4. arXiv, «Jailbroken: How Does LLM Safety Training Fail?», 5 de julho de 2023. https://arxiv.org/abs/2307.02483 (consultado em 14 de novembro de 2026)
  5. arXiv, «Great, Now Write an Article About That: The Crescendo Multi-Turn LLM Jailbreak Attack», 2 de abril de 2024. https://arxiv.org/abs/2404.01833 (consultado em 14 de novembro de 2026)
  6. OWASP, «LLM01:2025 Prompt Injection», 10 de abril de 2024. https://genai.owasp.org/llmrisk/llm01-prompt-injection/ (consultado em 14 de novembro de 2026)
  7. NCSC (Royaume-Uni), «Prompt injection is not SQL injection (it may be worse)», 8 de dezembro de 2025. https://www.ncsc.gov.uk/blog-post/prompt-injection-is-not-sql-injection (consultado em 14 de novembro de 2026)