--- id: CP-261 slug: preaddestramento-fine-tuning-allineamento-rlhf-dpo lang: it title: Come viene addestrato e allineato un modello di IA description: "Preaddestramento, fine-tuning, RLHF e DPO: le fasi di costruzione di un assistente IA e che cosa cambiano per il suo uso al lavoro." canonical_url: https://startbrain.io/cyberpedia/it/articles/preaddestramento-fine-tuning-allineamento-rlhf-dpo/ markdown_url: https://startbrain.io/cyberpedia/it/articles/preaddestramento-fine-tuning-allineamento-rlhf-dpo.md publisher: Brain (https://startbrain.io) license: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) cite_as: Brain, «Come viene addestrato e allineato un modello di IA», Cyberpedia, 2026. https://startbrain.io/cyberpedia/it/articles/preaddestramento-fine-tuning-allineamento-rlhf-dpo/ (CC BY 4.0) wing: 4 theme: understand_ai reflex: air-001 schema: G3 updated: "2026-11-03" translations: it: https://startbrain.io/cyberpedia/it/articles/preaddestramento-fine-tuning-allineamento-rlhf-dpo/ fr: https://startbrain.io/cyberpedia/fr/articles/pre-entrainement-fine-tuning-alignement-rlhf-dpo/ en: https://startbrain.io/cyberpedia/en/articles/pretraining-fine-tuning-rlhf-dpo-alignment/ de: https://startbrain.io/cyberpedia/de/articles/training-und-alignment-von-ki-modellen-pretraining-fine-tuning-rlhf-dpo/ es: https://startbrain.io/cyberpedia/es/articles/preentrenamiento-fine-tuning-alineacion-rlhf-dpo/ nl: https://startbrain.io/cyberpedia/nl/articles/training-en-alignment-van-ai-modellen-pretraining-fine-tuning-rlhf-dpo/ sources: - "n": 1 title: Attention Is All You Need publisher: arXiv url: https://arxiv.org/abs/1706.03762 published: "2017-06-12" accessed: "2026-11-03" - "n": 2 title: Language Models are Few-Shot Learners publisher: arXiv url: https://arxiv.org/abs/2005.14165 published: "2020-05-28" accessed: "2026-11-03" - "n": 3 title: Training language models to follow instructions with human feedback publisher: arXiv url: https://arxiv.org/abs/2203.02155 published: "2022-03-04" accessed: "2026-11-03" - "n": 4 title: Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback publisher: arXiv url: https://arxiv.org/abs/2204.05862 published: "2022-04-12" accessed: "2026-11-03" - "n": 5 title: "Direct Preference Optimization: Your Language Model is Secretly a Reward Model" publisher: arXiv url: https://arxiv.org/abs/2305.18290 published: "2023-05-29" accessed: "2026-11-03" - "n": 6 title: "Constitutional AI: Harmlessness from AI Feedback" publisher: arXiv url: https://arxiv.org/abs/2212.08073 published: "2022-12-15" accessed: "2026-11-03" - "n": 7 title: "LoRA: Low-Rank Adaptation of Large Language Models" publisher: arXiv url: https://arxiv.org/abs/2106.09685 published: "2021-06-17" accessed: "2026-11-03" - "n": 8 title: "Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations" publisher: NIST url: https://csrc.nist.gov/pubs/ai/100/2/e2025/final published: "2025-03-24" accessed: "2026-11-03" - "n": 9 title: Guidelines for secure AI system development publisher: NCSC (Royaume-Uni) url: https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development published: "2023-11-27" accessed: "2026-11-03" - "n": 10 title: OWASP Top 10 for Large Language Model Applications publisher: OWASP url: https://owasp.org/projects/top-10-for-large-language-model-applications accessed: "2026-11-03" --- # Come viene addestrato e allineato un modello di IA Un assistente IA non nasce già pronto da un solo addestramento. Attraversa più fasi successive: una lettura massiccia di testi, un apprendimento su esempi di istruzioni, poi una messa a punto in base alle preferenze di chi valuta. Per un dipendente, l'interesse è pratico. Sapere come viene prodotta la risposta aiuta a stabilire quanta fiducia darle e che cosa si può affidare allo strumento. ## In 30 secondi - Dove accade: ogni volta che si interroga un assistente IA, pubblico o messo a disposizione dall'azienda. - Che cosa minaccia questi sistemi: il rapporto del NIST elenca, tra l'altro, l'avvelenamento dei dati, l'evasione e l'abuso [8]. - Il riflesso: rileggere e verificare ogni risposta prima di usarla, e non incollare dati sensibili in uno strumento senza l'autorizzazione dell'azienda. - Se è già successo: avvisare il servizio sicurezza o il referente IA, indicando lo strumento usato e la natura dei dati inseriti. Il riflesso: rileggere e verificare ogni risposta prima di usarla, e non incollare dati sensibili in uno strumento senza l'autorizzazione dell'azienda. ## Domande dirette ### Quali sono le fasi di costruzione di un assistente IA? Sono tre. Il preaddestramento dà al modello una conoscenza generale della lingua a partire da corpora di testi molto grandi. Il fine-tuning supervisionato (SFT) gli insegna a rispondere alle istruzioni, a partire da esempi di buone risposte. L'allineamento regola poi il suo comportamento in base a preferenze umane, con metodi come RLHF o DPO. ### Che cosa fa il preaddestramento? L'architettura Transformer, presentata nel 2017, si basa esclusivamente su meccanismi di attenzione [1]. Un approccio diffuso consiste nel preaddestrare un modello su un grande corpus di testi e poi affinarlo su un compito preciso [2]. GPT-3, per esempio, è un modello linguistico da 175 miliardi di parametri, dieci volte più di qualsiasi modello non sparso precedente [2]. ### Che cosa aggiunge il fine-tuning supervisionato? Nel caso di InstructGPT, i ricercatori hanno raccolto istruzioni scritte da valutatori e istruzioni inviate tramite l'API di OpenAI. Hanno raccolto dimostrazioni del comportamento desiderato e le hanno usate per affinare GPT-3 con un apprendimento supervisionato [3]. Per il dipendente, il punto da ricordare: nel caso di InstructGPT, istruzioni inviate tramite l'API di OpenAI sono servite da base per il set di dati [3]. ### Che cosa sono RLHF e DPO? L'RLHF (apprendimento per rinforzo a partire da feedback umano) aggiunge una seconda fase. I ricercatori raccolgono classifiche delle risposte del modello e le usano per affinare ulteriormente il modello supervisionato [3]. I valutatori confrontano le risposte e il sistema impara a produrre quelle che preferiscono. Altri autori hanno applicato questo metodo per ottenere assistenti utili e innocui, e indicano che questo addestramento migliora i risultati in quasi tutte le valutazioni di elaborazione del linguaggio naturale [4]. Il DPO (Direct Preference Optimization) persegue lo stesso obiettivo in modo più semplice. I suoi autori descrivono l'RLHF come una procedura complessa e spesso instabile, e propongono un metodo che la sostituisce con una semplice perdita di classificazione [5]. Secondo i suoi autori, il DPO allinea il modello alle preferenze bene quanto i metodi esistenti, o meglio [5]. ### Un'IA può anche supervisionarne un'altra? Sì, è il principio della Constitutional AI. L'unica supervisione umana è un elenco di regole o principi, e il modello produce da sé critiche e revisioni delle proprie risposte [6]. Per l'innocuità, nessuna etichetta umana identifica le risposte dannose: un modello valuta quale tra due risposte sia la migliore [6]. ### Un modello educato è un modello affidabile? No. Gli autori di InstructGPT osservano che modelli più grandi non seguono necessariamente meglio l'intento dell'utente e che possono produrre risposte false, tossiche o semplicemente inutili [3]. Anche dopo l'allineamento, InstructGPT « still makes simple mistakes » [3]. Un tono cortese e sicuro di sé non dice quindi nulla sull'esattezza del contenuto. ## Come funziona Il preaddestramento fa assorbire al modello un grande corpus di testi [2]. Gli autori del DPO sottolineano che questo addestramento è interamente non supervisionato, il che rende difficile un controllo preciso del comportamento [5]. Le due fasi successive servono a correggere questo limite. Il fine-tuning insegna le risposte attese. L'allineamento aggiunge il giudizio umano, o quello di un altro modello, sulla qualità di più risposte possibili [3][6]. Affinare completamente un modello molto grande costa caro. Il metodo LoRA congela i pesi del modello preaddestrato e aggiunge piccole matrici addestrabili. Per GPT-3 175B, riduce di 10.000 volte il numero di parametri da addestrare e di 3 volte la memoria GPU necessaria rispetto a un affinamento completo [7]. ## Cosa fate - Verificate le risposte che contano: cifre, riferimenti, nomi, estratti di regolamenti. Il modello può produrre contenuti falsi [3]. - Non incollate dati sensibili (clienti, contratti, codice interno, dati personali) in uno strumento che l'azienda non ha approvato. Nel caso di InstructGPT, istruzioni inviate tramite l'API di OpenAI sono servite da base per il set di dati [3]. - Seguite la politica d'uso dell'azienda: indica quali strumenti sono autorizzati e quali dati vi si possono inserire. - Segnalate un comportamento strano del modello o una risposta che sembra rivelare informazioni che non dovrebbero uscire. ## Le insidie Il rapporto NIST AI 100-2 E2025 stabilisce un vocabolario comune per gli attacchi contro i sistemi di apprendimento automatico. Tra le sue parole chiave figurano l'avvelenamento dei dati (data poisoning), l'evasione, l'abuso e la violazione della privacy [8]. Riguarda anche gli agenti conversazionali e i grandi modelli linguistici [8]. Da queste fasi di costruzione derivano alcune insidie: - Dati di addestramento o di affinamento manipolati possono falsare il modello. Il rapporto NIST colloca l'avvelenamento dei dati tra gli attacchi censiti [8]. - Il NIST include anche l'abuso e l'evasione tra le parole chiave del suo rapporto sugli attacchi [8]. - Informazioni riservate possono trapelare. Il NCSC britannico vuole che i sistemi di IA funzionino « without revealing sensitive data to unauthorised parties » [9]. Il progetto OWASP sulle applicazioni di modelli linguistici elenca le vulnerabilità di sicurezza più critiche di queste applicazioni [10]. Il NCSC ricorda inoltre che i sistemi di IA presentano vulnerabilità nuove, da considerare in aggiunta alle consuete minacce informatiche [9]. ## Casi reali ### Marzo 2022: un piccolo modello allineato preferito a un grande modello grezzo Nell'articolo pubblicato il 4 marzo 2022, gli autori confrontano alcuni modelli in valutazioni umane. Le risposte del modello InstructGPT da 1,3 miliardi di parametri sono preferite a quelle di GPT-3 (175 miliardi), con cento volte meno parametri [3]. Gli stessi lavori rilevano una maggiore veridicità e meno contenuti tossici [3]. Per un dipendente, la lezione è limitata: l'allineamento rende le risposte più conformi a ciò che le persone preferiscono, ma non elimina gli errori, che gli autori riconoscono ancora [3]. ## Fonti 1. arXiv, «Attention Is All You Need», 12 giugno 2017. https://arxiv.org/abs/1706.03762 (consultato il 3 novembre 2026) 2. arXiv, «Language Models are Few-Shot Learners», 28 maggio 2020. https://arxiv.org/abs/2005.14165 (consultato il 3 novembre 2026) 3. arXiv, «Training language models to follow instructions with human feedback», 4 marzo 2022. https://arxiv.org/abs/2203.02155 (consultato il 3 novembre 2026) 4. arXiv, «Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback», 12 aprile 2022. https://arxiv.org/abs/2204.05862 (consultato il 3 novembre 2026) 5. arXiv, «Direct Preference Optimization: Your Language Model is Secretly a Reward Model», 29 maggio 2023. https://arxiv.org/abs/2305.18290 (consultato il 3 novembre 2026) 6. arXiv, «Constitutional AI: Harmlessness from AI Feedback», 15 dicembre 2022. https://arxiv.org/abs/2212.08073 (consultato il 3 novembre 2026) 7. arXiv, «LoRA: Low-Rank Adaptation of Large Language Models», 17 giugno 2021. https://arxiv.org/abs/2106.09685 (consultato il 3 novembre 2026) 8. NIST, «Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations», 24 marzo 2025. https://csrc.nist.gov/pubs/ai/100/2/e2025/final (consultato il 3 novembre 2026) 9. NCSC (Royaume-Uni), «Guidelines for secure AI system development», 27 novembre 2023. https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development (consultato il 3 novembre 2026) 10. OWASP, «OWASP Top 10 for Large Language Model Applications». https://owasp.org/projects/top-10-for-large-language-model-applications (consultato il 3 novembre 2026) --- Fonte originale: Cyberpedia, l'enciclopedia pubblica di cybersicurezza e IA pubblicata da Brain. Versione canonica: https://startbrain.io/cyberpedia/it/articles/preaddestramento-fine-tuning-allineamento-rlhf-dpo/ Puoi riutilizzare liberamente questo testo con licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/), a condizione di citare «Brain, Cyberpedia» con un link all'indirizzo qui sopra.