Cyberpediadi Brain
ITDEENESFR

Come viene addestrato e allineato un modello di IA

Preaddestramento, fine-tuning, RLHF e DPO: le fasi di costruzione di un assistente IA e che cosa cambiano per il suo uso al lavoro.

In 30 secondi

Dove accade
Ogni volta che si interroga un assistente IA, pubblico o messo a disposizione dall'azienda.
Che cosa minaccia questi sistemi
Il rapporto del NIST elenca, tra l'altro, l'avvelenamento dei dati, l'evasione e l'abuso8.
Il riflesso
Rileggere e verificare ogni risposta prima di usarla, e non incollare dati sensibili in uno strumento senza l'autorizzazione dell'azienda.
Se è già successo
Avvisare il servizio sicurezza o il referente IA, indicando lo strumento usato e la natura dei dati inseriti.

Di cosa si tratta

Un assistente IA non nasce già pronto da un solo addestramento. Attraversa più fasi successive: una lettura massiccia di testi, un apprendimento su esempi di istruzioni, poi una messa a punto in base alle preferenze di chi valuta. Per un dipendente, l'interesse è pratico. Sapere come viene prodotta la risposta aiuta a stabilire quanta fiducia darle e che cosa si può affidare allo strumento.

Domande dirette

Quali sono le fasi di costruzione di un assistente IA?

Sono tre. Il preaddestramento dà al modello una conoscenza generale della lingua a partire da corpora di testi molto grandi. Il fine-tuning supervisionato (SFT) gli insegna a rispondere alle istruzioni, a partire da esempi di buone risposte. L'allineamento regola poi il suo comportamento in base a preferenze umane, con metodi come RLHF o DPO.

Che cosa fa il preaddestramento?

L'architettura Transformer, presentata nel 2017, si basa esclusivamente su meccanismi di attenzione1. Un approccio diffuso consiste nel preaddestrare un modello su un grande corpus di testi e poi affinarlo su un compito preciso2. GPT-3, per esempio, è un modello linguistico da 175 miliardi di parametri, dieci volte più di qualsiasi modello non sparso precedente2.

Che cosa aggiunge il fine-tuning supervisionato?

Nel caso di InstructGPT, i ricercatori hanno raccolto istruzioni scritte da valutatori e istruzioni inviate tramite l'API di OpenAI. Hanno raccolto dimostrazioni del comportamento desiderato e le hanno usate per affinare GPT-3 con un apprendimento supervisionato3. Per il dipendente, il punto da ricordare: nel caso di InstructGPT, istruzioni inviate tramite l'API di OpenAI sono servite da base per il set di dati3.

Che cosa sono RLHF e DPO?

L'RLHF (apprendimento per rinforzo a partire da feedback umano) aggiunge una seconda fase. I ricercatori raccolgono classifiche delle risposte del modello e le usano per affinare ulteriormente il modello supervisionato3. I valutatori confrontano le risposte e il sistema impara a produrre quelle che preferiscono. Altri autori hanno applicato questo metodo per ottenere assistenti utili e innocui, e indicano che questo addestramento migliora i risultati in quasi tutte le valutazioni di elaborazione del linguaggio naturale4.

Il DPO (Direct Preference Optimization) persegue lo stesso obiettivo in modo più semplice. I suoi autori descrivono l'RLHF come una procedura complessa e spesso instabile, e propongono un metodo che la sostituisce con una semplice perdita di classificazione5. Secondo i suoi autori, il DPO allinea il modello alle preferenze bene quanto i metodi esistenti, o meglio5.

Un'IA può anche supervisionarne un'altra?

Sì, è il principio della Constitutional AI. L'unica supervisione umana è un elenco di regole o principi, e il modello produce da sé critiche e revisioni delle proprie risposte6. Per l'innocuità, nessuna etichetta umana identifica le risposte dannose: un modello valuta quale tra due risposte sia la migliore6.

Un modello educato è un modello affidabile?

No. Gli autori di InstructGPT osservano che modelli più grandi non seguono necessariamente meglio l'intento dell'utente e che possono produrre risposte false, tossiche o semplicemente inutili3. Anche dopo l'allineamento, InstructGPT « still makes simple mistakes »3. Un tono cortese e sicuro di sé non dice quindi nulla sull'esattezza del contenuto.

1Come funziona1 min

Il preaddestramento fa assorbire al modello un grande corpus di testi2. Gli autori del DPO sottolineano che questo addestramento è interamente non supervisionato, il che rende difficile un controllo preciso del comportamento5.

Le due fasi successive servono a correggere questo limite. Il fine-tuning insegna le risposte attese. L'allineamento aggiunge il giudizio umano, o quello di un altro modello, sulla qualità di più risposte possibili36.

Affinare completamente un modello molto grande costa caro. Il metodo LoRA congela i pesi del modello preaddestrato e aggiunge piccole matrici addestrabili. Per GPT-3 175B, riduce di 10.000 volte il numero di parametri da addestrare e di 3 volte la memoria GPU necessaria rispetto a un affinamento completo7.

2Cosa fate1 min
  • Verificate le risposte che contano: cifre, riferimenti, nomi, estratti di regolamenti. Il modello può produrre contenuti falsi3.
  • Non incollate dati sensibili (clienti, contratti, codice interno, dati personali) in uno strumento che l'azienda non ha approvato. Nel caso di InstructGPT, istruzioni inviate tramite l'API di OpenAI sono servite da base per il set di dati3.
  • Seguite la politica d'uso dell'azienda: indica quali strumenti sono autorizzati e quali dati vi si possono inserire.
  • Segnalate un comportamento strano del modello o una risposta che sembra rivelare informazioni che non dovrebbero uscire.
3Le insidie1 min

Il rapporto NIST AI 100-2 E2025 stabilisce un vocabolario comune per gli attacchi contro i sistemi di apprendimento automatico. Tra le sue parole chiave figurano l'avvelenamento dei dati (data poisoning), l'evasione, l'abuso e la violazione della privacy8. Riguarda anche gli agenti conversazionali e i grandi modelli linguistici8.

Da queste fasi di costruzione derivano alcune insidie:

  • Dati di addestramento o di affinamento manipolati possono falsare il modello. Il rapporto NIST colloca l'avvelenamento dei dati tra gli attacchi censiti8.
  • Il NIST include anche l'abuso e l'evasione tra le parole chiave del suo rapporto sugli attacchi8.
  • Informazioni riservate possono trapelare. Il NCSC britannico vuole che i sistemi di IA funzionino « without revealing sensitive data to unauthorised parties »9. Il progetto OWASP sulle applicazioni di modelli linguistici elenca le vulnerabilità di sicurezza più critiche di queste applicazioni10.

Il NCSC ricorda inoltre che i sistemi di IA presentano vulnerabilità nuove, da considerare in aggiunta alle consuete minacce informatiche9.

4Casi reali1 min

Marzo 2022: un piccolo modello allineato preferito a un grande modello grezzo

Nell'articolo pubblicato il 4 marzo 2022, gli autori confrontano alcuni modelli in valutazioni umane. Le risposte del modello InstructGPT da 1,3 miliardi di parametri sono preferite a quelle di GPT-3 (175 miliardi), con cento volte meno parametri3. Gli stessi lavori rilevano una maggiore veridicità e meno contenuti tossici3. Per un dipendente, la lezione è limitata: l'allineamento rende le risposte più conformi a ciò che le persone preferiscono, ma non elimina gli errori, che gli autori riconoscono ancora3.

Scheda

Identificativo
CP-261
Ala
4. Intelligenza artificiale
Competenza Brain
Capire l'IA (understand_ai)
Riflesso Brain
air-001
Schema
G3 · Sezione anatomica
Lingue
de, en, es, fr, it
Fonti
10 fonti verificate il 3 novembre 2026
Fonti10 fonti
  1. arXiv, «Attention Is All You Need», 12 giugno 2017. https://arxiv.org/abs/1706.03762 (consultato il 3 novembre 2026)
  2. arXiv, «Language Models are Few-Shot Learners», 28 maggio 2020. https://arxiv.org/abs/2005.14165 (consultato il 3 novembre 2026)
  3. arXiv, «Training language models to follow instructions with human feedback», 4 marzo 2022. https://arxiv.org/abs/2203.02155 (consultato il 3 novembre 2026)
  4. arXiv, «Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback», 12 aprile 2022. https://arxiv.org/abs/2204.05862 (consultato il 3 novembre 2026)
  5. arXiv, «Direct Preference Optimization: Your Language Model is Secretly a Reward Model», 29 maggio 2023. https://arxiv.org/abs/2305.18290 (consultato il 3 novembre 2026)
  6. arXiv, «Constitutional AI: Harmlessness from AI Feedback», 15 dicembre 2022. https://arxiv.org/abs/2212.08073 (consultato il 3 novembre 2026)
  7. arXiv, «LoRA: Low-Rank Adaptation of Large Language Models», 17 giugno 2021. https://arxiv.org/abs/2106.09685 (consultato il 3 novembre 2026)
  8. NIST, «Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations», 24 marzo 2025. https://csrc.nist.gov/pubs/ai/100/2/e2025/final (consultato il 3 novembre 2026)
  9. NCSC (Royaume-Uni), «Guidelines for secure AI system development», 27 novembre 2023. https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development (consultato il 3 novembre 2026)
  10. OWASP, «OWASP Top 10 for Large Language Model Applications». https://owasp.org/projects/top-10-for-large-language-model-applications (consultato il 3 novembre 2026)

Cita questo articolo

Brain, «Come viene addestrato e allineato un modello di IA», Cyberpedia, 2026. https://startbrain.io/cyberpedia/it/articles/preaddestramento-fine-tuning-allineamento-rlhf-dpo/

BibTeX 
@misc{brain_cp261_it_2026,
  author = {Brain},
  title = {Come viene addestrato e allineato un modello di IA},
  year = {2026},
  howpublished = {Cyberpedia},
  url = {https://startbrain.io/cyberpedia/it/articles/preaddestramento-fine-tuning-allineamento-rlhf-dpo/},
  note = {CC BY 4.0}
}
Licenza CC BY 4.0