Cyberpediadi Brain

Finestra di contesto: la memoria di lavoro di un'IA

La finestra di contesto limita ciò che un assistente di IA legge in una volta. Che cosa legge male e i gesti semplici per usarla meglio.

In questa pagina
  1. 1In 30 secondi
  2. 2Di cosa si tratta
  3. 3Domande dirette
  4. 4Come funziona
  5. 5Cosa fa Lei
  6. 6Le trappole
  7. 7Fonti
  8. 8Cita questo articolo

In 30 secondi

Dove succede
In qualsiasi conversazione con un assistente di IA, non appena si incolla un lungo documento o si danno più istruzioni.
Che cosa succede
Il modello lavora entro un limite di testo, e anche all'interno di questo limite può usare male un'informazione collocata nel mezzo di un lungo testo[3].
Il riflesso
Dividere il compito, collocare l'istruzione all'inizio e ripeterla alla fine, poi verificare la risposta[5].
Se è già stato fatto
Riveda la risposta con il testo originale sotto gli occhi, punto per punto.

Di cosa si tratta

Quando Lei pone una domanda a un assistente di IA, questo risponde a partire dall'informazione che gli viene trasmessa: Google chiama questa informazione il contesto[2]. La quantità di testo che il modello può prendere in considerazione in una volta si chiama finestra di contesto. Google la paragona alla memoria a breve termine: una persona può trattenere solo una quantità limitata di informazione, e lo stesso vale per i modelli generativi[2].

Questa finestra si misura in token, non in pagine. I modelli recenti l'hanno ampliata molto, ma delle ricerche mostrano che una grande finestra non garantisce una lettura affidabile di tutto ciò che contiene[3][4]. Questo articolo spiega che cosa il dipendente deve ricordarne e i gesti che limitano gli errori.

Domande dirette

Che cos'è un token?

Un modello linguistico divide prima il testo in unità chiamate token: parole, gruppi di caratteri, o combinazioni di parole e punteggiatura[1]. Il metodo di suddivisione varia secondo il modello. I modelli GPT di OpenAI usano ad esempio una suddivisione in sotto-parole[1]. Microsoft osserva che le parole comuni di più sillabe stanno spesso in un solo token, mentre le parole più rare vengono spezzate in sillabe[5].

Che cos'è la finestra di contesto?

È il numero massimo di token che il modello può elaborare[1]. Questo limite è spesso espresso come una finestra combinata, che copre insieme i token in ingresso (ciò che Lei scrive) e quelli in uscita (ciò che il modello produce)[1]. Più l'ingresso è lungo, meno spazio resta per l'uscita.

Microsoft fornisce un esempio numerico: con una finestra di 100 token e una frase di nove parole suddivisa parola per parola, l'ingresso occupa nove token e ne restano 91 per l'uscita. Suddivisa carattere per carattere, la stessa frase ne occupa 34 e ne restano solo 66[1].

Quanto è grande oggi una finestra?

Secondo Google, la maggior parte dei modelli generativi creati in questi ultimi anni elaborava solo 8.000 token alla volta, poi modelli più recenti hanno accettato 32.000 o 128.000 token[2]. Google indica che Gemini accetta 1 milione di token, il che corrisponde a 8 romanzi inglesi di lunghezza media o a 50.000 righe di codice[2].

Il modello conserva in memoria ciò che ho fornito?

Gli esempi che si inseriscono in un'istruzione non modificano il modello in modo duraturo: lo orientano solo per la risposta in corso[5]. Google descrive metodi che si usavano per gestire finestre strette: abbandonare i vecchi messaggi man mano che ne arrivano di nuovi, o sostituirli con un riassunto quando la finestra sta per essere piena[2].

Una grande finestra evita gli errori?

No. Dei ricercatori hanno testato diversi modelli, tra cui Claude 3, Gemini Pro, GPT 3.5 Turbo, Llama 3 Instruct e Mistral Instruct, sull'analisi del sentimento e sulla classificazione di articoli di stampa. Riferiscono che i modelli si mostrano insufficienti di fronte alle sequenze lunghe, nonostante le loro grandi finestre[4]. Anche Google riconosce un limite: quando si cercano più informazioni precise in un contesto lungo, il modello non raggiunge la stessa esattezza che per una sola, e la prestazione può variare fortemente secondo il contesto[2].

Come funziona

Microsoft ricorda che, qualunque sia l'istruzione, il modello risponde con ciò che giudica più probabile in base ai suoi dati di addestramento, e che non segue un percorso di elaborazione distinto per le domande[5].

La posizione dell'informazione conta. Lo studio «Lost in the Middle», sottoposto a luglio 2023, ha misurato le prestazioni di modelli su due compiti: rispondere a una domanda a partire da più documenti, e ritrovare un valore associato a una chiave. Gli autori osservano che la prestazione è spesso la migliore quando l'informazione utile si trova all'inizio o alla fine del testo fornito, e che si degrada nettamente quando si trova nel mezzo, anche per modelli concepiti per i contesti lunghi[3].

Microsoft descrive da parte sua un bias di recenza: l'informazione alla fine dell'istruzione può influenzare la risposta più di quella dell'inizio[5]. Microsoft precisa anche che l'ordine degli elementi può cambiare il risultato, compreso l'ordine degli esempi dati al modello[5].

La lunghezza ha un costo. I servizi di IA generativa fatturano spesso a token, e applicano un numero massimo di token al minuto[1]. Per un'organizzazione che gestisce un assistente, l'OWASP classifica tra i rischi l'invio continuo di dati in ingresso che superano la finestra di contesto, che può provocare un consumo eccessivo di risorse e degradare il servizio[7]. L'OWASP raccomanda una validazione rigorosa dei dati in ingresso affinché non superino limiti di dimensione ragionevoli[7].

Cosa fa Lei

  • Divida il compito. Microsoft indica che i modelli linguistici riescono spesso meglio quando il compito è diviso in fasi più piccole, ad esempio estrarre prima i fatti pertinenti, poi redigere il seguito[5].
  • Collochi l'istruzione all'inizio, la ripeta alla fine. Microsoft indica che dire il compito all'inizio dell'istruzione, prima del contesto e degli esempi, può aiutare a produrre risultati migliori, e che ripetere le istruzioni alla fine vale la pena di essere provato[5]. Microsoft aggiunge che i suoi test con ChatGPT e GPT-4 hanno dato la stessa risposta con o senza la prima tecnica[5].
  • Dia al modello una via d'uscita. Microsoft suggerisce ad esempio di chiedere di rispondere «not found» se la risposta non è presente, il che può aiutare il modello a evitare una risposta falsa[5].
  • Fornisca il testo di riferimento e chieda delle citazioni. Microsoft raccomanda caldamente di dare al modello dei dati su cui basarsi quando la risposta deve poggiare su informazioni affidabili e aggiornate[5]. Chiedere delle citazioni può aiutare a ridurre la frequenza delle risposte false, e delle citazioni inserite nel testo, vicino all'affermazione, sono contromisure migliori delle citazioni a fine risposta[5].
  • Verifichi sempre. Anche con un'istruzione ben redatta, Microsoft indica che bisogna convalidare le risposte del modello, perché un'istruzione che ha funzionato bene in un caso non si generalizza necessariamente[5].

Le trappole

Il documento incollato può contenere istruzioni

Quando un assistente legge un sito web o un file, il contenuto può contenere istruzioni che il modello interpreta e che cambiano il suo comportamento: l'OWASP parla di iniezione di istruzioni indiretta[6]. In uno scenario descritto dall'OWASP, un utente chiede a un modello di riassumere una pagina web contenente istruzioni nascoste, che portano all'esfiltrazione della conversazione privata[6]. L'OWASP raccomanda di separare e identificare chiaramente il contenuto non affidabile, e di prevedere un'approvazione umana per le operazioni con privilegi[6].

Una grande finestra dà una falsa sicurezza

Google indica che, per una sola informazione cercata, si può ottenere circa il 99 % di riuscita, ma che il risultato non è lo stesso quando bisogna ritrovarne più d'una[2]. Una risposta può quindi sembrare completa pur omettendo dei punti di un testo lungo.

I consigli dipendono dal modello

Microsoft avverte che ogni modello si comporta in modo diverso e che le sue tecniche non si applicano allo stesso modo a tutti. Queste tecniche non sono raccomandate per i modelli di ragionamento come gpt-5 e la serie o[5].

Fonti

  1. Microsoft, «Understand tokens». https://learn.microsoft.com/en-us/dotnet/ai/conceptual/understanding-tokens (consultato il 14 novembre 2026)
  2. Google, «Long context | Gemini Enterprise Agent Platform | Google Cloud Documentation». https://docs.cloud.google.com/gemini-enterprise-agent-platform/models/long-context (consultato il 14 novembre 2026)
  3. arXiv, «Lost in the Middle: How Language Models Use Long Contexts», 6 luglio 2023. https://arxiv.org/abs/2307.03172 (consultato il 14 novembre 2026)
  4. arXiv, «Efficient Solutions For An Intriguing Failure of LLMs: Long Context Window Does Not Mean LLMs Can Analyze Long Sequences Flawlessly», 3 agosto 2024. https://arxiv.org/abs/2408.01866 (consultato il 14 novembre 2026)
  5. Microsoft, «Prompt engineering techniques». https://learn.microsoft.com/en-us/azure/foundry/openai/concepts/prompt-engineering (consultato il 14 novembre 2026)
  6. OWASP, «LLM01:2025 Prompt Injection», 10 aprile 2024. https://genai.owasp.org/llmrisk/llm01-prompt-injection/ (consultato il 14 novembre 2026)
  7. OWASP, «LLM10:2025 Unbounded Consumption», 10 aprile 2024. https://genai.owasp.org/llmrisk/llm102025-unbounded-consumption/ (consultato il 14 novembre 2026)