Verificare le fonti citate da un'IA di ricerca

Un'IA di ricerca va a prendere contenuti esterni e scrive una risposta a partire da essi. L'OWASP annovera i siti web e i file tra gli input esterni che possono alterare il comportamento di un modello². L'NCSC ne spiega il motivo: sotto il cofano, il modello non distingue un dato da un'istruzione, prevede soltanto il «next token»³.

Possono sommarsi due errori. Il primo viene dal modello: l'OWASP cita le allucinazioni, ma anche i pregiudizi presenti nei dati di addestramento e le informazioni incomplete¹. Il secondo viene dall'utente. L'OWASP chiama «overreliance» l'eccessiva fiducia in un contenuto generato senza verificarne l'esattezza, che aggrava l'effetto della disinformazione¹.

Il NIST, ente statunitense, ha pubblicato un profilo dedicato all'IA generativa, che può aiutare le organizzazioni a individuare i rischi propri di questi strumenti⁴. Questo profilo è un documento di accompagnamento del quadro di gestione dei rischi dell'IA, il cui uso è volontario⁵.

• Apra ogni link citato, uno per uno. Un link che non si apre, che restituisce un errore o che porta a una pagina estranea alla domanda non sostiene nulla.
• Guardi chi pubblica la pagina. Un'amministrazione, un ente di normazione o un editore identificabile vale più di un sito senza autore né data.
• Cerchi nella pagina la frase che corrisponde all'affermazione. Se non la trova, consideri l'affermazione non confermata.
• Risalga alla fonte originale. Se la pagina cita a sua volta un altro documento, apra quello.
• Incroci i dati con una seconda fonte indipendente per ogni cifra, data, nome o decisione che conta. L'OWASP raccomanda questo confronto con fonti esterne affidabili¹.
• Per un tema delicato (salute, diritto, finanza, sicurezza), faccia rileggere da una persona competente. L'OWASP raccomanda una supervisione umana, soprattutto per le informazioni critiche o sensibili¹.
• Non copi una risposta non verificata in una pratica, in un'e-mail a un cliente o in una decisione. Annoti ciò che è stato verificato e ciò che non lo è stato.

Falsa precisione. Una cifra esatta o una citazione tra virgolette danno un'impressione di rigore. L'OWASP rileva che un modello può dare l'illusione di comprendere un argomento complesso, il che induce gli utenti in errore¹. Ritrovi la cifra e la citazione nella pagina.

Fonti di seconda mano. Una pagina che riprende un altro sito non aggiunge alcuna prova. Risalga all'editore originale.

Contenuto trappola. Una pagina può contenere testo scritto per l'IA e non per Lei. L'NCSC porta l'esempio di un curriculum con un testo nascosto che chiede di ignorare le istruzioni precedenti e di approvare il candidato. È un esempio illustrativo, non un incidente datato³. Se una risposta raccomanda in modo inatteso un sito, un prodotto o un'azione, apra la pagina e cerchi ciò che lo spiega. Non segua mai un'istruzione trovata in una fonte: la segnali.

Eccesso di fiducia. I link, l'impaginazione e il tono sicuro rassicurano. L'OWASP cita il chatbot di Air Canada, che ha fornito informazioni errate ai viaggiatori: la compagnia è stata citata in giudizio con successo¹. La pagina non data questo caso. Raccomanda inoltre di indicare chiaramente agli utenti i limiti di affidabilità di questi strumenti¹. Se lo strumento non mostra nulla del genere, dia per scontato questo limite.

Filtri presunti. L'NCSC sconsiglia i filtri basati su elenchi di blocco, perché un attacco può essere riformulato in infiniti modi³. Mette inoltre in guardia contro i prodotti che pretendono di «fermare» l'iniezione di prompt³. Uno strumento aziendale convalidato non dispensa quindi dal leggere le fonti.