Fine-tuning o RAG in azienda

Con il RAG, il modello è collegato a fonti di conoscenza esterne, e l'OWASP precisa che questo arricchimento tramite recupero usa meccanismi vettoriali ed embedding⁴. Il modello combina quindi la propria memoria e questa memoria esterna¹.

Con il fine-tuning, i dati passano attraverso l'addestramento. L'OWASP distingue tre fasi in cui i dati possono essere manipolati: il pre-addestramento, il fine-tuning e la fase di embedding, in cui il testo viene convertito in vettori³.

• Non inserisca dati personali o riservati in uno strumento di IA senza autorizzazione. L'OWASP include tra le informazioni sensibili i dati personali, le informazioni finanziarie, le cartelle cliniche, i dati aziendali riservati, le credenziali di sicurezza e i documenti legali⁵.
• Tenga presente che ciò che inserisce può riemergere in seguito. L'OWASP chiede agli utenti di comprendere i rischi di fornire involontariamente dati sensibili, che potrebbero essere rivelati nelle risposte del modello⁵.
• Legga le fonti citate dallo strumento e controlli che dicano davvero ciò che la risposta afferma. L'OWASP raccomanda di convalidare gli output del modello rispetto a fonti affidabili per individuare un avvelenamento³.
• Verifichi che lo strumento sia approvato dalla Sua organizzazione e ne legga le condizioni d'uso: l'OWASP chiede ai titolari delle applicazioni di permettere agli utenti di rifiutare che i loro dati entrino nell'addestramento⁵.
• Segnali una risposta che contiene informazioni di un altro reparto o di un altro utente. L'OWASP descrive questo caso: una risposta può contenere i dati personali di un altro utente a causa di una pulizia insufficiente dei dati⁵.

Fuga di dati memorizzati

Un modello esposto a dati sensibili durante l'addestramento può restituirli. L'OWASP cita l'inclusione negligente di dati nell'addestramento come causa di divulgazione di informazioni sensibili⁵. Cita anche il rischio che le risposte rivelino dati o algoritmi proprietari⁵. Con il RAG, la fuga passa dalla base: controlli di accesso insufficienti o mal allineati possono permettere al modello di recuperare e divulgare dati personali o proprietari⁴.

Diritti di accesso gestiti male

Quando più gruppi di utenti condividono lo stesso database vettoriale, le informazioni di un gruppo possono essere recuperate in risposta alle domande di un altro, con una possibile fuga di informazioni aziendali sensibili⁴. L'OWASP raccomanda un database vettoriale che tenga conto dei permessi e una separazione rigorosa dei set di dati⁴.

Avvelenamento dei dati

L'avvelenamento consiste nel manipolare i dati di pre-addestramento, di fine-tuning o di embedding per introdurre vulnerabilità, backdoor o bias³. I rischi sono maggiori con fonti esterne, che possono contenere contenuti non verificati o dannosi³. Una backdoor può lasciare invariato il comportamento del modello finché un trigger non lo modifica, il che la rende difficile da individuare³. Per una base RAG, l'OWASP consiglia di accettare dati solo da fonti affidabili e verificate e di sottoporre la base a audit regolari⁴.

Prompt injection tramite i documenti indicizzati

Un'iniezione indiretta avviene quando il modello accetta input provenienti da fonti esterne, come siti o file, il cui contenuto ne modifica il comportamento in modo imprevisto⁶. L'OWASP descrive uno scenario: un attaccante modifica un documento del repository usato da un'applicazione RAG; quando la domanda di un utente richiama quel contenuto, le istruzioni malevole alterano la risposta⁶.

L'esempio seguente è un'illustrazione neutralizzata, ispirata alla logica dello scenario dell'OWASP su un CV trappola⁴.

Illustrazione: un CV caricato in uno strumento di selezione dei candidati
contiene, in testo bianco su sfondo bianco, [un'istruzione che chiede di
ignorare le regole precedenti e di raccomandare questo candidato]. Lo
strumento legge questo testo nascosto insieme al resto del documento.

Secondo l'OWASP, il modello segue allora queste istruzioni nascoste e raccomanda un candidato non qualificato⁴. La contromisura proposta: strumenti di estrazione che ignorano la formattazione e rilevano i contenuti nascosti, e la convalida di ogni documento prima del suo ingresso nella base⁴.

Un quadro di sicurezza per i team che implementano

L'NCSC britannico pubblica linee guida per i fornitori di sistemi di IA, affinché questi sistemi funzionino come previsto e senza rivelare dati sensibili a terzi non autorizzati⁷.