Allucinazione dell'IA: quando il modello inventa
Un modello linguistico prevede la parola probabile senza verificare che sia vera: può inventare fatti, riferimenti e pacchetti di codice.
In 30 secondi
- Dove succede
- In qualsiasi testo prodotto da un assistente di IA, soprattutto per le domande aperte che richiedono una risposta lunga e negli ambiti che richiedono competenza contestuale2.
- Che cosa è in gioco
- Il modello può inventare un fatto, un riferimento, una citazione o il nome di una libreria di codice, e presentarlo con sicurezza12.
- Il riflesso
- Confrontare ogni fatto importante con una fonte esterna affidabile e far rivedere da una persona le informazioni critiche prima di usarle1.
- Se è già successo
- Avvisare il destinatario del documento, correggere con una fonte affidabile e segnalare l'errore alla persona che gestisce gli strumenti di IA in azienda.
Di cosa si tratta
Un assistente di IA che scrive un riassunto, una nota legale o un elenco di riferimenti non consulta una base di fatti. Produce una sequenza di parole plausibile. Quando sbaglia, lo fa con lo stesso tono sicuro con cui risponde quando ha ragione, e nulla sullo schermo segnala la differenza.
Questo fenomeno si chiama allucinazione. Il NIST statunitense usa anche il termine «confabulazione» e osserva che nel linguaggio comune si parla di allucinazioni o di invenzioni2. Per un dipendente, la risposta di un'IA è una bozza da verificare, mai una fonte.
Domande dirette
Perché un'IA inventa?
Secondo l'OWASP, i modelli colmano le lacune dei dati di addestramento con schemi statistici, senza comprendere il contenuto. Le risposte possono quindi sembrare corrette pur essendo prive di fondamento1. Il NIST descrive lo stesso meccanismo: i modelli producono output che approssimano la distribuzione statistica dei dati di addestramento, e i grandi modelli linguistici prevedono la parola successiva in una frase2.
È un difetto raro?
Il NIST lo presenta come un risultato naturale di come sono progettati i modelli generativi2. Due rassegne della ricerca, una sulla generazione di testo in generale, l'altra sui grandi modelli linguistici, descrivono un problema studiato con attenzione. La prima riguarda il riassunto automatico, il dialogo, le domande e risposte e la traduzione automatica4. La seconda parla di contenuti plausibili ma non fattuali e di dubbi sull'affidabilità di questi modelli nella ricerca di informazioni3.
L'IA può inventare anche le proprie giustificazioni?
Sì. Il NIST indica che gli output possono contenere una logica o citazioni inventate che pretendono di spiegare la risposta. Un modello a volte fornisce passaggi di ragionamento mentre la risposta è sbagliata2. Un riferimento ben presentato, quindi, non dimostra nulla.
Il rischio dipende solo dalla macchina?
No. L'OWASP indica anche l'eccessiva fiducia: gli utenti si fidano troppo del contenuto generato, non ne verificano l'esattezza e inseriscono dati falsi in decisioni importanti1. Il NIST rileva che il rischio compare quando gli utenti credono al falso, spesso a causa del tono sicuro della risposta2.
1Come funziona1 min
Un modello linguistico non distingue ciò che «sa» da ciò che completa. Il NIST precisa che la previsione statistica può dare output esatti e coerenti, ma anche inesatti o incoerenti2. Il problema si pone soprattutto con le richieste aperte che richiedono una risposta lunga e negli ambiti che richiedono competenza contestuale2.
Le invenzioni assumono più forme. L'OWASP ne elenca quattro. La prima è l'inesattezza fattuale: il chatbot di Air Canada ha dato informazioni false ai viaggiatori e la compagnia è stata citata in giudizio con successo1. La seconda è l'affermazione infondata, di cui un esempio citato è ChatGPT che inventa false cause giudiziarie, con gravi difficoltà davanti a un tribunale1. La terza è l'illusione di competenza, per esempio i chatbot che presentano come incerti argomenti di salute che non lo sono1. La quarta è il codice pericoloso: il modello propone librerie poco sicure o inesistenti1.
Queste invenzioni possono essere sfruttate. L'OWASP descrive uno scenario in cui gli attaccanti mettono alla prova assistenti di programmazione per trovare i nomi di pacchetti spesso inventati, poi pubblicano veri pacchetti malevoli con quei nomi in repository molto usati. Gli sviluppatori che seguono il suggerimento dell'assistente li integrano nel proprio software senza saperlo1.
2Cosa fare1 min
Le misure seguenti si ispirano alle raccomandazioni dell'OWASP1.
- Confronti i fatti importanti con fonti esterne affidabili1.
- Apra ogni link e ogni riferimento citato dall'IA. Se la pagina non esiste o non dice ciò che l'IA le attribuisce, consideri il riferimento inventato. Il NIST ricorda che le citazioni inventate possono trarre in inganno2.
- Non incolli una risposta non verificata in un contratto, in una nota legale, in un documento finanziario o in una lettera a un cliente. L'OWASP chiede una revisione umana, soprattutto per le informazioni critiche o sensibili1.
- Prima di installare un pacchetto di codice proposto da un assistente, verifichi che esista e che sia legittimo. L'OWASP chiede anche pratiche di sviluppo sicuro per evitare di integrare vulnerabilità derivanti da suggerimenti errati1.
- In una catena decisionale, mantenga una persona formata che rivede il contenuto. L'OWASP insiste sulla formazione dei revisori, perché non si affidino ciecamente ai contenuti prodotti dall'IA1.
3Le trappole1 min
- La fluidità inganna. Un testo ben scritto non è un testo esatto, e il NIST rileva che il tono sicuro porta a credere al falso2.
- Gli ambiti specialistici sono i più esposti. L'OWASP cita il diritto e la salute come contesti in cui le affermazioni infondate sono particolarmente dannose1. Il NIST porta l'esempio di un riassunto di cartella clinica confabulato che potrebbe causare diagnosi sbagliate2.
- Chiedere all'IA di rileggersi non sostituisce una fonte esterna. Può giustificare una risposta falsa con un ragionamento d'apparenza logica2.
- Per causare un danno non serve alcun attaccante. L'OWASP descrive un'azienda citata in giudizio con successo per aver offerto un chatbot di diagnosi medica senza accertarne l'affidabilità. Il difetto derivava da un controllo insufficiente, non da un attacco1.
- Il rischio è difficile da quantificare. Il NIST scrive che è arduo stimare la portata e l'impatto a valle delle confabulazioni2. Il NIST ha pubblicato il proprio profilo sull'IA generativa, che aiuta le organizzazioni a individuare i rischi specifici di questa tecnologia, il 26 luglio 20245.
Scheda
- Identificativo
- CP-271
- Ala
- 4. Intelligenza artificiale
- Competenza Brain
- Verificare le risposte (verify_output)
- Riflesso Brain
- air-006
- Schema
- G2 · Mito contro realtà
- Lingue
- de, en, es, fr, it
- Fonti
- 5 fonti verificate il 3 novembre 2026
Fonti5 fonti
- OWASP, «LLM09:2025 Misinformation». https://genai.owasp.org/llmrisk/llm092025-misinformation/ (consultato il 3 novembre 2026)
- NIST, «Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile». https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf (consultato il 3 novembre 2026)
- arXiv, «A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions». https://arxiv.org/abs/2311.05232 (consultato il 3 novembre 2026)
- arXiv, «Survey of Hallucination in Natural Language Generation». https://arxiv.org/abs/2202.03629 (consultato il 3 novembre 2026)
- NIST, «AI Risk Management Framework». https://www.nist.gov/itl/ai-risk-management-framework (consultato il 3 novembre 2026)
Cita questo articolo
Brain, «Allucinazione dell'IA: quando il modello inventa», Cyberpedia, 2026. https:/
BibTeX
@misc{brain_cp271_it_2026,
author = {Brain},
title = {Allucinazione dell'IA: quando il modello inventa},
year = {2026},
howpublished = {Cyberpedia},
url = {https://startbrain.io/cyberpedia/it/articles/allucinazione-ia-fatti-inventati/},
note = {CC BY 4.0}
}