Prompt injection diretta

I ricercatori Fábio Perez e Ian Ribeiro hanno mostrato nel 2022 che persone poco qualificate, ma mal intenzionate, possono dirottare GPT-3 con semplici testi scritti a mano³. Descrivono due obiettivi: dirottare lo scopo del modello (goal hijacking) e fargli divulgare il proprio prompt (prompt leaking)³.

Un secondo tipo di obiettivo è l'uso improprio. Un gruppo di ricercatori ha descritto nel 2023 risultati come l'uso illimitato e arbitrario del modello che sta dietro a un'applicazione e il furto facile del prompt dell'applicazione⁴.

Il jailbreak procede in altro modo. Gli autori dello studio «Jailbroken» indicano due cause del fallimento dell'addestramento alla sicurezza: obiettivi in conflitto (le capacità del modello contrastano con le sue regole di sicurezza) e una generalizzazione inadeguata (la sicurezza non copre un ambito in cui il modello ha comunque delle capacità)⁵.

L'OWASP cita anche alcune varianti. L'attaccante può aggiungere al proprio messaggio una sequenza di caratteri apparentemente priva di senso, oppure usare più lingue o una codifica come Base64 per sfuggire ai filtri¹.

Dal lato dell'utente o dell'azienda, un attacco riuscito si riconosce dai suoi effetti. L'OWASP elenca le conseguenze possibili: divulgazione di informazioni sensibili, rivelazione di informazioni sull'infrastruttura o sui prompt di sistema, contenuti falsati o distorti, accesso non autorizzato alle funzioni del modello, esecuzione di comandi nei sistemi collegati¹.

In concreto, un assistente che risponde fuori tema, che recita le proprie istruzioni o che produce un contenuto che l'azienda non avrebbe mai approvato deve far scattare un campanello d'allarme. L'OWASP riporta uno scenario tipo: un attaccante chiede a un chatbot di assistenza di ignorare le proprie istruzioni, di interrogare dati privati e di inviare e-mail¹.

Ecco un'illustrazione di questo tipo di messaggio, neutralizzata e parafrasata:

Illustrazione (messaggio parafrasato, non funzionante):
[istruzione che chiede al chatbot di ignorare le regole ricevute dal fornitore,
poi di ricopiare integralmente le proprie istruzioni interne]

Per un modello linguistico non esistono «dati» né «istruzioni», ma solo il token successivo (next token): il modello prevede il token più probabile in base al testo ricevuto fino a quel momento². Le istruzioni del fornitore e la frase digitata dall'utente finiscono quindi nello stesso testo, senza una separazione che il modello rispetti².

Questo distingue la prompt injection dall'SQL injection. In SQL, le query parametrizzate garantiscono che il motore non interpreti mai un input come un'istruzione². L'NCSC scrive che gli attacchi di prompt injection potrebbero non essere mai del tutto mitigati come lo sono le SQL injection². Le soluzioni allo studio (rilevare i tentativi, addestrare il modello a dare priorità alle istruzioni, segnalare al modello che cosa è un dato) sovrappongono una distinzione che la tecnologia non fa².

Il NIST ha pubblicato nel marzo 2025 una tassonomia dell'apprendimento automatico avversario⁶.

Un punto di attenzione riguarda i filtri di parole vietate. L'NCSC mette in guardia contro il blocco di frasi note come «ignore previous instructions»: esistono infinite riformulazioni che aggirano questo filtro².

Prevenzione

Le misure semplici qui riportate provengono dall'OWASP e dall'NCSC.

• Privilegio minimo: dare al modello l'accesso minimo necessario e gestire le funzioni estese nel codice dell'applicazione, invece di affidarle al modello¹.
• Convalida umana: richiedere l'approvazione di una persona per le operazioni privilegiate¹.
• Filtraggio delle uscite: definire categorie sensibili, individuare i contenuti non autorizzati con filtri semantici e controlli sulle stringhe e convalidare il formato delle risposte con codice deterministico¹.
• Definizione del ruolo: descrivere nel prompt di sistema il ruolo e i limiti del modello¹. Questa misura aiuta, ma non basta: l'OWASP presenta tutte queste misure come mezzi per attenuare l'impatto¹.
• Test: condurre regolarmente test di intrusione e simulazioni, trattando il modello come un utente non affidabile¹.
• Monitoraggio: registrare abbastanza informazioni da individuare un'attività sospetta, comprese le chiamate a strumenti e API fallite, che possono tradire le prime fasi di un attacco².

L'NCSC aggiunge che la sicurezza di un sistema deve poggiare su protezioni deterministiche che ne limitino le azioni, e non solo sulla speranza di impedire a un contenuto malevolo di raggiungere il modello². Se il rischio residuo è intollerabile, il caso d'uso potrebbe non essere adatto a un modello linguistico².

Novembre 2022: GPT-3 dirottato da semplici testi

Il 17 novembre 2022 Fábio Perez e Ian Ribeiro pubblicano PromptInject, un quadro di analisi di questi attacchi. Studiano GPT-3, che descrivono come il modello linguistico più diffuso in produzione, e mostrano che può essere disallineato facilmente con input scritti a mano³. I due attacchi studiati sono il dirottamento dell'obiettivo e la fuga del prompt³.

Giugno 2023: 31 applicazioni su 36 vulnerabili

L'8 giugno 2023 un gruppo di dodici ricercatori pubblica uno studio su applicazioni reali che usano un modello linguistico. Dopo l'analisi di dieci applicazioni commerciali, mette a punto una tecnica di attacco chiamata HouYi e la applica a 36 applicazioni: 31 risultano sensibili alla prompt injection⁴. Dieci fornitori hanno convalidato i risultati, tra cui Notion⁴.

Luglio 2023: protezioni che cedono

Il 5 luglio 2023 Alexander Wei, Nika Haghtalab e Jacob Steinhardt valutano GPT-4 di OpenAI e Claude v1.3 di Anthropic. I loro nuovi attacchi riescono su ogni richiesta di una raccolta di richieste pericolose tratta dai set di valutazione di red teaming dei modelli⁵. Gli autori concludono che le vulnerabilità persistono nonostante gli sforzi di red teaming e di addestramento alla sicurezza⁵.