Deriva dei modelli e inquinamento del Web da parte dell'IA
Come le IA addestrate su testi generati da IA perdono diversità e come verificare un contenuto generato prima di usarlo al lavoro.
In 30 secondi
- Dove succede
- Negli strumenti di generazione di testo e di immagini e nei contenuti online che servono ad addestrarli.
- Cosa cambia per Lei
- Una risposta può sembrare credibile ed essere falsa, oppure essere solo una versione impoverita di un contenuto esistente.
- Il riflesso
- Non riutilizzi alcun testo generato senza averlo confrontato con una fonte affidabile che Lei stesso ha aperto.
- Se è già successo
- Rilegga il documento, ritrovi la fonte di ogni fatto, corregga e avvisi i destinatari se un errore è già stato inviato.
Di cosa si tratta
Gli assistenti di scrittura producono testi che altri modelli, o altri dipendenti, riutilizzano poi a loro volta. Quando questi testi generati servono ad addestrare nuovi modelli, i ricercatori hanno riscontrato difetti irreversibili. Questo effetto si chiama «Model Collapse», qui tradotto con deriva del modello1.
Questa scheda spiega il meccanismo senza entrare nelle equazioni, poi indica gesti semplici: verificare un'informazione, incrociare le fonti, riconoscere un contenuto dubbio e non riutilizzare mai così com'è un testo generato.
Domande dirette
Che cos'è la deriva del modello?
È il degrado di un modello addestrato su contenuti prodotti da altri modelli. I ricercatori hanno constatato che l'uso di contenuti generati durante l'addestramento causa difetti irreversibili: le «code» della distribuzione originale, cioè i casi rari, scompaiono. Hanno chiamato questo effetto «Model Collapse» e lo hanno osservato in autoencoder variazionali, modelli a miscela gaussiana e grandi modelli linguistici1.
Il fenomeno riguarda solo il testo?
No. Un altro gruppo ha studiato modelli generativi di immagini in cicli in cui ogni generazione si addestra sulle uscite della precedente. Senza abbastanza dati reali freschi a ogni generazione, la qualità (precisione) o la diversità (richiamo) dei modelli futuri diminuisce progressivamente. Gli autori chiamano questo stato «Model Autophagy Disorder» (MAD), per analogia con la malattia della mucca pazza3.
E per i modelli linguistici?
Uno studio accettato a NAACL 2024 (Findings) ha misurato la diversità lessicale, sintattica e semantica dopo successivi affinamenti su testo sintetico, in inglese. Rileva un calo costante della diversità delle uscite nel corso delle iterazioni, particolarmente marcato nei compiti che richiedono creatività2.
Un testo generato può essere falso senza che lo strumento «menta»?
Sì. OWASP descrive l'allucinazione: il modello colma le lacune con regolarità statistiche, senza comprendere il contenuto, e produce risposte che sembrano giuste ma non hanno alcun fondamento. Anche i pregiudizi presenti nei dati di addestramento e le informazioni incomplete vi contribuiscono5.
I dati di addestramento possono essere manomessi di proposito?
Sì. OWASP chiama avvelenamento dei dati la manipolazione dei dati di pre-addestramento, di affinamento o di rappresentazione per introdurre vulnerabilità, backdoor o pregiudizi. Il rischio è elevato con le fonti esterne, che possono contenere contenuti non verificati o dannosi4.
1Come funziona1 min
Un modello linguistico impara da grandi quantità di testo raccolte sul Web. Se una quota crescente di quel testo proviene da modelli, il successivo impara in parte da copie. Gli autori del primo studio sostengono che questo rischio vada preso sul serio per continuare a beneficiare dell'addestramento su dati raccolti su larga scala dal Web. Aggiungono che i dati derivanti da interazioni umane reali con i sistemi acquisteranno valore man mano che i contenuti generati si diffonderanno nei dati raccolti da Internet1.
L'altro lavoro stabilisce che, senza abbastanza dati reali freschi a ogni generazione, la qualità o la diversità diminuisce3. Le pagine consultate non quantificano la quota di contenuti sintetici attualmente presente sul Web, e questa scheda non avanza alcuna cifra.
2Cosa fare1 min
- Tratti una risposta generata come una bozza. OWASP parla di eccessiva fiducia (overreliance): gli utenti inseriscono dati errati in decisioni importanti senza un esame sufficiente5.
- Incroci le informazioni con fonti esterne affidabili. OWASP raccomanda di confrontare le uscite del modello con tali fonti e di prevedere una revisione umana e una verifica dei fatti per le informazioni sensibili5.
- Ritrovi l'origine di ogni fatto, cifra o citazione prima di scriverla in un documento. Se non trova alcuna fonte, tolga il fatto.
- Verifichi che un riferimento esista prima di usarlo. OWASP cita un caso in cui ChatGPT ha inventato false cause giudiziarie, con gravi conseguenze davanti a un tribunale5.
- Per il codice, non adotti senza controllo una libreria suggerita. Alcuni assistenti propongono librerie di terze parti non sicure o inesistenti5.
- Riconosca i contenuti dubbi: testo senza autore né fonte, affermazioni prive di sostegno, contraddizioni con una fonte che Lei conosce. Questi criteri sono indicazioni di buon senso di questa scheda, non un metodo tratto dalle fonti.
- Segnali il contenuto generato quando lo diffonde. OWASP raccomanda di etichettare chiaramente i contenuti generati dall'IA e di informare sui limiti di affidabilità5.
3Le insidie1 min
- Una risposta fluida non è una risposta verificata: la disinformazione di un modello appare credibile5.
- Una fonte che riprende un testo generato non è un secondo parere. Due pagine che dicono la stessa cosa possono provenire dallo stesso modello.
- Anche i modelli stessi possono venire dall'esterno. OWASP osserva che attualmente non esiste una garanzia forte sulla provenienza dei modelli pubblicati: le schede descrittive non ne forniscono alcuna sulla loro origine6.
- Un modello avvelenato può comportarsi normalmente finché un innesco non ne cambia il comportamento, il che rende il difetto difficile da individuare4.
- Le condizioni d'uso di uno strumento possono consentire l'impiego dei Suoi dati per l'addestramento. OWASP segnala questo rischio quando le condizioni e l'informativa sulla privacy sono poco chiare6. Non inserisca informazioni sensibili in uno strumento non approvato dalla Sua azienda.
- Un errore dell'IA impegna l'organizzazione anche senza un attaccante. OWASP cita il chatbot di Air Canada, le cui informazioni errate ai viaggiatori hanno causato disagi e complicazioni legali, e la compagnia è stata citata in giudizio con successo5.
Sul piano organizzativo, il NIST propone un profilo trasversale per l'IA generativa, complemento dell'AI RMF 1.0, di uso volontario8. Le linee guida dell'NCSC britannico, pubblicate il 27 novembre 2023, coprono la progettazione, lo sviluppo, la distribuzione e l'esercizio dei sistemi di IA, compresa la sicurezza della catena di fornitura7.
4Casi reali1 min
27 maggio 2023: la «maledizione della ricorsione»
Ilia Shumailov e cinque coautori inviano ad arXiv un articolo che si chiede che cosa accadrà ai futuri modelli GPT quando i grandi modelli linguistici produrranno gran parte del testo online. La loro risposta: i contenuti generati usati nell'addestramento provocano difetti irreversibili. Mostrano che l'effetto può verificarsi in più famiglie di modelli1.
4 luglio 2023: il disturbo di autofagia dei modelli
Sina Alemohammad, Richard G. Baraniuk e sei coautori inviano ad arXiv un'analisi di tre famiglie di cicli autofagici su modelli di immagini. La loro conclusione: senza abbastanza dati reali freschi, la precisione o la diversità diminuisce di generazione in generazione3.
16 novembre 2023: il calo della diversità linguistica
Yanzhu Guo e i coautori inviano ad arXiv esperimenti di affinamento ricorsivo in inglese. La diversità delle uscite cala a ogni iterazione, soprattutto nei compiti creativi2.
Scheda
- Identificativo
- CP-279
- Ala
- 4. Intelligenza artificiale
- Competenza Brain
- Capire l'IA (understand_ai)
- Riflesso Brain
- air-003
- Schema
- G2 · Mito contro realtà
- Lingue
- de, en, es, fr, it
- Fonti
- 8 fonti verificate il 3 novembre 2026
Fonti8 fonti
- arXiv, «The Curse of Recursion: Training on Generated Data Makes Models Forget», 27 maggio 2023. https://arxiv.org/abs/2305.17493 (consultato il 3 novembre 2026)
- arXiv, «The Curious Decline of Linguistic Diversity: Training Language Models on Synthetic Text», 16 novembre 2023. https://arxiv.org/abs/2311.09807 (consultato il 3 novembre 2026)
- arXiv, «Self-Consuming Generative Models Go MAD», 4 luglio 2023. https://arxiv.org/abs/2307.01850 (consultato il 3 novembre 2026)
- OWASP, «LLM04:2025 Data and Model Poisoning». https://genai.owasp.org/llmrisk/llm042025-data-and-model-poisoning/ (consultato il 3 novembre 2026)
- OWASP, «LLM09:2025 Misinformation». https://genai.owasp.org/llmrisk/llm092025-misinformation/ (consultato il 3 novembre 2026)
- OWASP, «LLM03:2025 Supply Chain». https://genai.owasp.org/llmrisk/llm032025-supply-chain/ (consultato il 3 novembre 2026)
- NCSC (Royaume-Uni), «Guidelines for secure AI system development», 27 novembre 2023. https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development (consultato il 3 novembre 2026)
- NIST, «Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile», 26 luglio 2024. https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence (consultato il 3 novembre 2026)
Cita questo articolo
Brain, «Deriva dei modelli e inquinamento del Web da parte dell'IA», Cyberpedia, 2026. https:/
BibTeX
@misc{brain_cp279_it_2026,
author = {Brain},
title = {Deriva dei modelli e inquinamento del Web da parte dell'IA},
year = {2026},
howpublished = {Cyberpedia},
url = {https://startbrain.io/cyberpedia/it/articles/deriva-modelli-inquinamento-web-contenuti-sintetici/},
note = {CC BY 4.0}
}