Cyberpediadi Brain

Jailbreak dell'IA: aggirare le misure di protezione

Un jailbreak spinge un modello di IA a ignorare le sue regole di sicurezza. Skeleton Key, Crescendo, istruzioni dal web: ciò che si sa, con date e fonti.

In questa pagina
  1. 1In 30 secondi
  2. 2Di cosa si tratta
  3. 3Domande dirette
  4. 4Nei panni dell'attaccante
  5. 5Cosa si vede sullo schermo
  6. 6Sotto il cofano
  7. 7Autopsie
  8. 8Fonti
  9. 9Cita questo articolo

In 30 secondi

Dove succede
In una conversazione con un modello di IA, con un'unica istruzione o con una serie di domande che si concatenano[1][2].
Che cosa vuole l'attaccante
Far produrre al modello un contenuto che di solito rifiuterebbe, riducendo il divario tra ciò che il modello sa fare e ciò che accetta di fare[5].
Il riflesso
Se Lei scopre una vulnerabilità in una piattaforma di IA, Microsoft incoraggia a seguire le pratiche di divulgazione responsabile presso il proprietario della piattaforma[2].
Se è già stato fatto
Per Skeleton Key, Microsoft indica che l'attacco prende di mira il modello stesso e non dà accesso ai dati di un altro utente[1].
Mappa dell'articolo

Di cosa si tratta

Un jailbreak, nell'IA generativa, è un'immissione malevola dell'utente che cerca di aggirare il comportamento previsto di un modello. Microsoft[1] lo chiama anche attacco per iniezione di prompt diretta. L'OWASP[6] precisa che il jailbreak è una forma di iniezione di prompt in cui l'attaccante fornisce immissioni che spingono il modello a ignorare del tutto i propri protocolli di sicurezza.

Microsoft presenta Skeleton Key e Crescendo come ricerche divulgate[1][2]. Lo studio sulle istruzioni di jailbreak del web riguarda invece istruzioni effettivamente diffuse online[3].

Domande dirette

Che cos'è un jailbreak dell'IA?

È un'immissione malevola che cerca di scartare il comportamento previsto del modello. Secondo Microsoft[1], un jailbreak riuscito può aggirare tutte o quasi tutte le misure di protezione di IA responsabile integrate nel modello dal suo fornitore durante l'addestramento.

Un jailbreak è la stessa cosa di un'iniezione di prompt?

I due termini sono spesso usati l'uno per l'altro, nota l'OWASP[6]. L'iniezione di prompt consiste nel manipolare le risposte di un modello con immissioni scelte, il che può includere l'aggiramento di misure di sicurezza. Il jailbreak ne è una forma[6].

Un jailbreak dà accesso ai dati degli altri?

Microsoft[1] scrive che Skeleton Key è un attacco contro il modello stesso: non permette di accedere ai dati di un altro utente, di prendere il controllo del sistema né di esfiltrare dati. Per Crescendo, Microsoft[2] indica che questi attacchi non minacciavano direttamente né la riservatezza degli altri utenti né la sicurezza del sistema di IA. Aggirano il filtraggio del contenuto[2].

Si può impedire completamente questo tipo di attacco?

L'OWASP[6] ritiene incerto che esistano metodi di prevenzione infallibili contro l'iniezione di prompt. Il NCSC (Regno Unito)[7] stima che sia molto possibile che questi attacchi non vengano mai ridotti del tutto, perché i modelli attuali non impongono alcun confine di sicurezza tra istruzioni e dati in un prompt.

Nei panni dell'attaccante

Un jailbreak mira a ridurre il divario tra ciò che il modello può fare e ciò che accetta di fare[5]. L'attaccante ha in genere già un accesso legittimo al modello: Microsoft[1] nota che Skeleton Key presuppone questo accesso.

I ricercatori descrivono diversi modi per riuscirci.

  • Un'istruzione che chiede al modello di integrare le proprie regole invece di cambiarle. Skeleton Key gli chiede di rispondere a qualsiasi richiesta, con un avvertimento al posto di un rifiuto[1].
  • Una conversazione che devia passo dopo passo. Crescendo inizia con una domanda generale, poi alza il tono basandosi sulle risposte del modello[5]. Microsoft[2] precisa che ciò può generalmente avvenire in meno di 10 scambi.
  • Un testo mascherato. L'OWASP[6] cita istruzioni scritte in più lingue o codificate, per esempio in Base64 o con emoji, per sfuggire ai filtri.

I ricercatori Wei, Haghtalab e Steinhardt[4] avanzano due ragioni per cui l'addestramento alla sicurezza fallisce. La prima è la concorrenza di obiettivi: le capacità del modello e i suoi obiettivi di sicurezza entrano in conflitto. La seconda è la generalizzazione inadeguata: l'addestramento alla sicurezza non si estende a un ambito in cui il modello ha tuttavia delle capacità[4].

Cosa si vede sullo schermo

Nel caso di Skeleton Key, la richiesta consiste nel far aggiungere un avvertimento al modello invece di rifiutare[1]. Illustrazione parafrasata, senza istruzione utilizzabile:

Estratto
Illustrazione (parafrasi, non un'istruzione reale):
[L'utente chiede al modello di aggiungere un avvertimento
invece di rifiutare.]

Quando l'attacco riesce, il modello indica di aver aggiornato le proprie regole e che si conformerà in seguito alle richieste[1]. Le risposte riportano allora l'avvertimento richiesto come prefisso[1].

Con Crescendo, sullo schermo non compare nulla di allarmante. Ogni domanda presa da sola non è una minaccia, e il modello non vede nulla di insolito, dato che ogni passaggio si appoggia su ciò che il modello stesso ha prodotto al passaggio precedente[2]. Secondo i ricercatori, Crescendo interagisce con il modello in modo apparentemente innocuo[5].

Sotto il cofanoTeam IT

Il NCSC (Regno Unito)[7] spiega perché il confronto con l'iniezione SQL è fuorviante. In SQL si possono separare dati e istruzioni, per esempio con interrogazioni parametrizzate. In un modello linguistico esiste soltanto il next token: non c'è distinzione tra dati e istruzioni[7].

Microsoft combina più livelli di difesa contro Skeleton Key e Crescendo.

  • Filtraggio delle immissioni: Azure AI Content Safety rileva e blocca le immissioni con intento malevolo[1].
  • Messaggio di sistema: istruzioni che precisano al modello come comportarsi, compreso che qualsiasi tentativo di minare le regole di sicurezza va scartato[1].
  • Filtraggio delle uscite: un filtro che individua e blocca le risposte che violano i criteri di sicurezza[1].
  • Sorveglianza degli abusi: un sistema di IA distinto, addestrato su esempi avversari, che non è influenzato dalle istruzioni malevole[1].
  • Filtro multi-turno: contro Crescendo, Microsoft[2] ha adattato i propri filtri per esaminare l'intera conversazione precedente. Trasmettere questo contesto più ampio a rilevatori esistenti, senza migliorarli, ha ridotto sensibilmente l'efficacia di Crescendo[2].

Sul versante della progettazione, l'OWASP[6] indica che queste misure possono attenuare l'impatto: vincolare il comportamento del modello, convalidare i formati di uscita, limitare i suoi privilegi al minimo necessario, esigere una convalida umana per le azioni ad alto rischio e condurre test avversari. Il NCSC (Regno Unito)[7] mette in guardia contro il blocco di formule note come ignore previous instructions: i modi di riformulare un attacco sono infiniti. Consiglia anche di diffidare dei prodotti che pretendono di poter fermare l'iniezione di prompt, e di guardare piuttosto quelli che spiegano come la riducono[7].

AutopsieCasi reali

Skeleton Key, divulgata da Microsoft il 26 giugno 2024

Microsoft[1] ha descritto una tecnica di jailbreak in più fasi chiamata Skeleton Key, che fa ignorare le proprie misure di protezione al modello. I test, condotti da aprile a maggio 2024, hanno mostrato che funzionava su Meta Llama3-70b-instruct, Google Gemini Pro, OpenAI GPT 3.5 Turbo, OpenAI GPT 4o, Mistral Large, Anthropic Claude 3 Opus e Cohere Commander R Plus[1]. Tutti i modelli interessati hanno risposto interamente e senza censura ai compiti testati, con l'avvertimento richiesto come prefisso[1].

GPT-4 ha resistito, tranne quando la richiesta di cambiamento di comportamento figurava in un messaggio di sistema definito dall'utente. Questa operazione passa dall'API o da strumenti che vi accedono direttamente, e non è possibile nell'interfaccia della maggior parte dei software che usano GPT-4[1]. Microsoft ha condiviso i propri risultati con gli altri fornitori prima della pubblicazione, ha aggiornato la tecnologia alla base dei suoi assistenti Copilot e ha aggiunto il rilevamento tramite Prompt Shields nei modelli gestiti di Azure AI[1].

Crescendo, descritta da Microsoft in aprile 2024

L'11 aprile 2024, Microsoft[2] ha presentato Crescendo, un jailbreak in più turni che, a suo dire, può raggiungere un'ampia gamma di obiettivi malevoli contro i modelli più noti. Può anche aggirare molti filtri di contenuto esistenti se non vi si pone rimedio[2]. L'articolo di ricerca, depositato su arXiv il 2 aprile 2024 da Russinovich, Salem ed Eldan, testa in particolare ChatGPT, Gemini Pro, Gemini-Ultra, LlaMA-2 70b, LlaMA-3 70b Chat e Anthropic Chat, con tassi di successo elevati su tutti i modelli e tutti i compiti valutati[5]. Presenta anche Crescendomation, uno strumento che automatizza l'attacco[5]. Il lavoro è accettato a USENIX Security 2025[5]. Microsoft[2] ha aggiornato la tecnologia alla base dei suoi assistenti Copilot per attenuarne l'effetto.

1.405 istruzioni di jailbreak rilevate sul web, 2022 e 2023

Shen, Chen, Backes, Shen e Zhang[3] hanno analizzato 1.405 istruzioni di jailbreak che coprono il periodo da dicembre 2022 a dicembre 2023. Vi individuano 131 comunità e osservano che queste istruzioni migrano dalle comunità online verso siti di aggregazione. Secondo lo studio, 28 account di utenti hanno ottimizzato delle istruzioni in modo continuo per più di 100 giorni[3]. Su sei modelli popolari testati con 107.250 domande suddivise in 13 scenari vietati, le loro protezioni non resistono a tutte queste istruzioni in tutti gli scenari. Cinque istruzioni molto efficaci raggiungono 0,95 di tasso di successo su ChatGPT (GPT-3.5) e GPT-4, e la più antica è online da più di 240 giorni[3].

Fonti

  1. Microsoft, «Mitigating Skeleton Key, a new type of generative AI jailbreak technique», 26 giugno 2024. https://www.microsoft.com/en-us/security/blog/2024/06/26/mitigating-skeleton-key-a-new-type-of-generative-ai-jailbreak-technique/ (consultato il 14 novembre 2026)
  2. Microsoft, «How Microsoft discovers and mitigates evolving attacks against AI guardrails», 11 aprile 2024. https://www.microsoft.com/en-us/security/blog/2024/04/11/how-microsoft-discovers-and-mitigates-evolving-attacks-against-ai-guardrails/ (consultato il 14 novembre 2026)
  3. arXiv, «"Do Anything Now": Characterizing and Evaluating In-The-Wild Jailbreak Prompts on Large Language Models», 7 agosto 2023. https://arxiv.org/abs/2308.03825 (consultato il 14 novembre 2026)
  4. arXiv, «Jailbroken: How Does LLM Safety Training Fail?», 5 luglio 2023. https://arxiv.org/abs/2307.02483 (consultato il 14 novembre 2026)
  5. arXiv, «Great, Now Write an Article About That: The Crescendo Multi-Turn LLM Jailbreak Attack», 2 aprile 2024. https://arxiv.org/abs/2404.01833 (consultato il 14 novembre 2026)
  6. OWASP, «LLM01:2025 Prompt Injection», 10 aprile 2024. https://genai.owasp.org/llmrisk/llm01-prompt-injection/ (consultato il 14 novembre 2026)
  7. NCSC (Royaume-Uni), «Prompt injection is not SQL injection (it may be worse)», 8 dicembre 2025. https://www.ncsc.gov.uk/blog-post/prompt-injection-is-not-sql-injection (consultato il 14 novembre 2026)