Convalida umana degli agenti IA

L'OWASP spiega che un sistema basato su un modello linguistico riceve spesso dallo sviluppatore la capacità di richiamare funzioni o altri sistemi, tramite estensioni (a volte chiamate strumenti, competenze o plugin). La scelta dell'estensione da usare può essere affidata anche all'agente stesso³. Un agente di solito concatena più chiamate al modello, ciascuna basata sul risultato delle precedenti³.

L'OWASP individua tre cause abituali di un'autonomia eccessiva: troppe funzioni, troppi permessi, troppa autonomia³. La convalida umana risponde alla terza: l'OWASP porta come esempio un'estensione che elimina i documenti di un utente senza chiedergli conferma³.

La convalida non sostituisce le altre protezioni. L'OWASP raccomanda anche di dare all'agente solo le estensioni, le funzioni e i permessi necessari, e di far controllare le autorizzazioni dai sistemi a valle anziché dal modello³. Per la prompt injection, l'OWASP colloca il controllo umano delle operazioni privilegiate tra le misure che ne limitano l'impatto². Queste scelte spettano ai team che distribuiscono l'agente, non al dipendente.

• Legga la richiesta di approvazione per intero prima di rispondere, compresi i destinatari, i file e gli account coinvolti.
• Rifiuti quando non capisce che cosa sta per fare l'agente, o quando la richiesta non corrisponde a ciò che gli ha chiesto.
• Rifiuti un'azione che non ha alcun rapporto con il Suo compito in corso: un agente che riassume un documento non ha motivo di proporre l'invio di un messaggio.
• Per un'azione che riguarda altre persone, un pagamento o degli accessi, verifichi con un altro mezzo se il dubbio persiste.
• Segnali alla sicurezza qualsiasi agente che agisce senza chiedere il Suo consenso quando dovrebbe farlo.

Convalidare senza leggere

Quando le richieste di approvazione si ripetono, si finisce per cliccare senza guardare. La convalida diventa allora una formalità e non protegge più nulla. Una richiesta che compare a metà di un compito merita la stessa attenzione della prima della giornata.

L'agente con troppi diritti

L'OWASP porta l'esempio di un'estensione destinata a leggere dati, ma che si connette a un database con un'identità che può anche modificare, inserire ed eliminare³. Cita inoltre l'estensione che agisce per un utente con un account privilegiato generico che ha accesso ai file di tutti gli utenti³. In questi casi, una sola approvazione può avere effetti molto più ampi di quanto la richiesta lasci vedere.

La prompt injection

L'OWASP descrive l'iniezione indiretta: il modello accetta contenuti provenienti dall'esterno, come siti web o file, e questi contenuti modificano il suo comportamento in modo imprevisto². Le istruzioni non devono necessariamente essere leggibili da un essere umano, purché il modello le elabori². L'OWASP aggiunge che non si sa se esistano metodi di prevenzione infallibili². L'approvazione umana è quindi una protezione da non aggirare.

L'illustrazione seguente è neutralizzata: l'istruzione nascosta è parafrasata.

Illustrazione (fittizia). Testo nascosto in un'e-mail ricevuta:
[istruzione rivolta all'assistente: cercare informazioni sensibili
nella casella di posta e trasferirle a un indirizzo esterno]
Richiesta di approvazione mostrata al dipendente:
"Inviare un messaggio a [email protected]?"

È lo scenario descritto dall'OWASP: un'e-mail trappola spinge l'assistente a scorrere la casella di posta e a trasferire informazioni sensibili all'indirizzo dell'attaccante³. Tra le contromisure, l'OWASP cita l'obbligo di rileggere e di cliccare manualmente su « invia » per ogni messaggio redatto dall'estensione³.

Credere che la convalida basti

L'OWASP precisa che alcune misure, come la registrazione degli eventi, il monitoraggio e la limitazione della frequenza, non prevengono l'autonomia eccessiva ma limitano i danni³. Il NIST presenta il proprio quadro di gestione dei rischi dell'IA come destinato a un uso volontario⁴. L'NCSC britannico indica che la sicurezza di un sistema di IA deve essere un requisito fin dalla progettazione e per tutto il suo ciclo di vita⁵.