--- id: CP-291 slug: inversione-modello-inferenza-appartenenza lang: it title: Recuperare i dati di addestramento di un'IA description: Chi interroga un'IA può capire se un documento è servito ad addestrarla, o far riemergere estratti memorizzati dal modello. canonical_url: https://startbrain.io/cyberpedia/it/articles/inversione-modello-inferenza-appartenenza/ markdown_url: https://startbrain.io/cyberpedia/it/articles/inversione-modello-inferenza-appartenenza.md publisher: Brain (https://startbrain.io) license: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) cite_as: Brain, «Recuperare i dati di addestramento di un'IA», Cyberpedia, 2026. https://startbrain.io/cyberpedia/it/articles/inversione-modello-inferenza-appartenenza/ (CC BY 4.0) wing: 4 theme: protect_data reflex: air-008 schema: G1 updated: "2026-11-03" translations: it: https://startbrain.io/cyberpedia/it/articles/inversione-modello-inferenza-appartenenza/ fr: https://startbrain.io/cyberpedia/fr/articles/inversion-modele-inference-appartenance/ en: https://startbrain.io/cyberpedia/en/articles/model-inversion-membership-inference/ de: https://startbrain.io/cyberpedia/de/articles/trainingsdaten-ki-modellinversion-mitgliedschaftsinferenz/ es: https://startbrain.io/cyberpedia/es/articles/inversion-modelo-inferencia-pertenencia/ nl: https://startbrain.io/cyberpedia/nl/articles/trainingsdata-ai-modelinversie-lidmaatschapsinferentie/ sources: - "n": 1 title: Extracting Training Data from Large Language Models publisher: arXiv url: https://arxiv.org/abs/2012.07805 published: "2020-12-14" accessed: "2026-11-03" - "n": 2 title: Scalable Extraction of Training Data from (Production) Language Models publisher: arXiv url: https://arxiv.org/abs/2311.17035 published: "2023-11-28" accessed: "2026-11-03" - "n": 3 title: Membership Inference Attacks against Machine Learning Models publisher: arXiv url: https://arxiv.org/abs/1610.05820 published: "2016-10-18" accessed: "2026-11-03" - "n": 4 title: LLM02:2025 Sensitive Information Disclosure publisher: OWASP url: https://genai.owasp.org/llmrisk/llm022025-sensitive-information-disclosure/ accessed: "2026-11-03" - "n": 5 title: "AI 100-2 E2023, Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations" publisher: NIST url: https://csrc.nist.gov/pubs/ai/100/2/e2023/final accessed: "2026-11-03" - "n": 6 title: Principles for security of Machine learning ML publisher: NCSC (Royaume-Uni) url: https://www.ncsc.gov.uk/collection/machine-learning-principles published: "2024-05-22" accessed: "2026-11-03" --- # Recuperare i dati di addestramento di un'IA Un modello di IA, come quello che alimenta un assistente conversazionale, impara da un numero enorme di testi, immagini o schede. Un attaccante può interrogarlo per sapere se una persona o un documento facevano parte di questi dati, oppure per far riapparire frammenti che il modello ha memorizzato. Il primo caso si chiama inferenza di appartenenza, il secondo inversione o estrazione. Per un dipendente conta ciò che l'azienda e lui stesso inseriscono in uno strumento di IA, perché questi dati possono entrare nel modello di addestramento [4]. Questa scheda spiega il principio, due casi reali datati e i riflessi che limitano l'esposizione. ## In 30 secondi - Dove succede: sui modelli di IA pubblici o forniti da un prestatore, che si interrogano tramite un'interfaccia di conversazione o un servizio online. - Cosa vuole l'attaccante: sapere se un dato preciso è servito all'addestramento, oppure recuperare informazioni che il modello ha conservato in memoria, come informazioni personali pubbliche [1]. - Il riflesso: non inserire dati sensibili in uno strumento di IA pubblico e chiedere ai propri fornitori che cosa fanno dei dati inseriti e come addestrano i loro modelli. - Se è già successo: avvisare il servizio sicurezza dell'azienda e verificare con l'editore dello strumento se è possibile rifiutare l'uso dei propri dati per l'addestramento [4]. ## Domande dirette ### Qual è la differenza tra inferenza di appartenenza ed estrazione? L'inferenza di appartenenza risponde a una domanda con un sì o un no. Con un record in mano e un accesso al modello di tipo «black box», l'attaccante cerca di stabilire se quel record facesse parte dei dati di addestramento [3]. L'estrazione va oltre: l'attaccante recupera singoli esempi di addestramento interrogando il modello [1]. L'inversione consiste nel ricostruire informazioni sensibili o dati di input a partire da ciò che il modello rivela [4]. ### Perché un modello può «risputare» dei dati? Le fonti parlano di memorizzazione. Alcuni ricercatori definiscono la «extractable memorization» come i dati di addestramento che un avversario può estrarre in modo efficiente interrogando un modello, senza conoscere in anticipo il dataset [2]. L'attacco a GPT-2 funziona anche se ogni sequenza estratta compare in un solo documento dei dati di addestramento [1]. ### I modelli grandi sono più sicuri? No, secondo lo studio su GPT-2: gli autori constatano che i modelli più grandi sono più vulnerabili di quelli piccoli [1]. Lo studio del 2023 aggiunge che le attuali tecniche di allineamento non eliminano la memorizzazione [2]. ### Un documento riservato che ho incollato in un assistente può comparire a un altro utente? L'OWASP descrive questo rischio: un utente riceve una risposta che contiene i dati personali di un altro, a causa di una pulizia insufficiente dei dati [4]. L'organizzazione raccomanda che le applicazioni impediscano ai dati degli utenti di entrare nel modello di addestramento e che gli utenti possano rifiutare che i loro dati vi siano inclusi [4]. Le fonti citate qui non quantificano la probabilità di un caso simile. ## Nei panni dell'attaccante L'attaccante non ha bisogno di entrare nel sistema dell'azienda. Gli basta un accesso al modello, spesso pubblico. Per l'inferenza di appartenenza, i ricercatori Shokri e i suoi coautori addestrano un proprio modello di inferenza, che impara a riconoscere le differenze tra le risposte del bersaglio sui dati visti durante l'addestramento e su quelli mai visti [3]. Per l'estrazione, l'avversario interroga il modello senza sapere nulla del dataset di addestramento [2]. Cerca sequenze che escono parola per parola: nello studio su GPT-2 sono state estratte centinaia di sequenze di testo [1]. L'obiettivo dipende dal bersaglio. Per un modello addestrato su fascicoli sensibili, sapere che una persona vi compare può già essere un'informazione. Gli autori del 2016 lo illustrano con un dataset di dimissioni ospedaliere, la cui appartenenza è sensibile dal punto di vista della privacy [3]. ## Cosa si vede sullo schermo Le fonti citate qui non descrivono alcun segnale visibile per un dipendente. L'attacco consiste nel porre domande a un modello accessibile, e le sue richieste possono sembrare ordinarie. La traccia si vede piuttosto in una risposta del modello che contiene un estratto memorizzato. Il testo qui sotto è un'illustrazione neutralizzata, non un comando da riprodurre. Mostra l'aspetto di una richiesta che cerca di far uscire dati personali dalla memoria di un modello. ```text Illustrazione: scambio fittizio con un assistente, indirizzo in .invalid. Domanda: [una richiesta ripetitiva o banale, parafrasata] Risposta del modello: [un estratto memorizzato: nome, numero, e-mail fittizia nome.cognome@esempio.invalid] ``` ## Sotto il cofano Il meccanismo si basa sulle differenze di comportamento di un modello tra ciò che ha appreso e ciò che non ha mai visto [3]. L'attaccante sfrutta queste differenze, misurandole (inferenza di appartenenza) oppure provocando l'uscita di sequenze memorizzate (estrazione). I modelli presi di mira sono di natura diversa. I ricercatori del 2016 hanno testato servizi di apprendimento automatico «su richiesta» di fornitori commerciali come Google e Amazon, e mostrano che questi modelli possono essere vulnerabili [3]. Quelli del 2023 estraggono gigabyte di dati da modelli aperti come Pythia, da modelli semiaperti come LLaMA e da modelli chiusi come ChatGPT [2]. Il NIST pubblica una tassonomia dell'apprendimento automatico avversario, le cui parole chiave comprendono «privacy breach» [5]. L'OWASP cita anche l'attacco «Proof Pudding» (CVE-2019-20634): i dati di addestramento divulgati hanno facilitato l'estrazione e l'inversione del modello, permettendo di aggirare filtri di posta elettronica [4]. Collega queste tecniche a tre voci della base MITRE ATLAS: inferire l'appartenenza ai dati di addestramento, invertire un modello, estrarre un modello [4]. Sul versante della difesa, l'OWASP raccomanda di ripulire i dati prima dell'addestramento, di limitare gli accessi secondo il principio del privilegio minimo, di usare l'apprendimento federato e la privacy differenziale, che aggiunge rumore ai dati o agli output [4]. Precisa che un'istruzione data al modello sui tipi di dati da non restituire può essere aggirata con l'iniezione di istruzioni [4]. L'NCSC britannico ricorda che i sistemi di IA sono soggetti a vulnerabilità nuove, che si aggiungono alle minacce abituali [6]. ## Autopsie ### Dicembre 2020: l'estrazione di dati da GPT-2 Il 14 dicembre 2020 Nicholas Carlini e undici coautori depositano su arXiv uno studio che mostra come un avversario possa recuperare singoli esempi di addestramento interrogando un modello linguistico [1]. Attaccano GPT-2, addestrato su dati raccolti da internet pubblico, e ne estraggono centinaia di sequenze di testo parola per parola [1]. Tra queste figurano informazioni personali pubbliche (nomi, numeri di telefono, indirizzi di posta elettronica), conversazioni IRC, codice e identificatori UUID a 128 bit [1]. Una versione rivista è datata 15 giugno 2021 [1]. ### Novembre 2023: l'estrazione di dati da ChatGPT Il 28 novembre 2023 Milad Nasr, Nicholas Carlini e otto coautori pubblicano uno studio sull'estrazione di dati di addestramento da modelli di produzione [2]. Per attaccare ChatGPT, un modello allineato, mettono a punto un attacco detto «per divergenza»: fa uscire il modello dal suo stile conversazionale e gli fa emettere dati di addestramento a un ritmo 150 volte superiore a quello del funzionamento normale [2]. Concludono che attacchi pratici possono recuperare molti più dati di quanto si pensasse [2]. La pagina dell'OWASP rimanda a un articolo di stampa su questo caso, intitolato «ChatGPT Spit Out Sensitive Data When Told to Repeat ‘Poem’ Forever» [4]. Per il dipendente, il riflesso discende da questi casi. L'OWASP classifica tra i dati sensibili i dati personali, le informazioni finanziarie, le cartelle sanitarie, i dati riservati d'azienda, le credenziali di sicurezza e i documenti legali: non si inseriscono in uno strumento di IA pubblico [4]. Per gli strumenti acquistati dall'azienda si chiedono ai fornitori garanzie scritte, perché l'OWASP raccomanda politiche chiare su conservazione, uso e cancellazione dei dati [4]. ## Fonti 1. arXiv, «Extracting Training Data from Large Language Models», 14 dicembre 2020. https://arxiv.org/abs/2012.07805 (consultato il 3 novembre 2026) 2. arXiv, «Scalable Extraction of Training Data from (Production) Language Models», 28 novembre 2023. https://arxiv.org/abs/2311.17035 (consultato il 3 novembre 2026) 3. arXiv, «Membership Inference Attacks against Machine Learning Models», 18 ottobre 2016. https://arxiv.org/abs/1610.05820 (consultato il 3 novembre 2026) 4. OWASP, «LLM02:2025 Sensitive Information Disclosure». https://genai.owasp.org/llmrisk/llm022025-sensitive-information-disclosure/ (consultato il 3 novembre 2026) 5. NIST, «AI 100-2 E2023, Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations». https://csrc.nist.gov/pubs/ai/100/2/e2023/final (consultato il 3 novembre 2026) 6. NCSC (Royaume-Uni), «Principles for security of Machine learning ML», 22 maggio 2024. https://www.ncsc.gov.uk/collection/machine-learning-principles (consultato il 3 novembre 2026) --- Fonte originale: Cyberpedia, l'enciclopedia pubblica di cybersicurezza e IA pubblicata da Brain. Versione canonica: https://startbrain.io/cyberpedia/it/articles/inversione-modello-inferenza-appartenenza/ Puoi riutilizzare liberamente questo testo con licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/), a condizione di citare «Brain, Cyberpedia» con un link all'indirizzo qui sopra.