Finestra di contesto

Cos'è una finestra di contesto?

La finestra di contesto è la quantità totale di informazioni che un modello linguistico di grandi dimensioni (LLM) può "vedere" e considerare quando genera una risposta. Misurata in token (circa ¾ di una parola), la finestra di contesto include tutto ciò che il modello elabora: il prompt di sistema che definisce il comportamento dell'agente, la cronologia della conversazione con il cliente, gli eventuali documenti recuperati tramite RAG e gli strumenti e le funzioni a disposizione dell'agente.

Pensala come la memoria di lavoro dell'AI. Un modello con una finestra di contesto di 128.000 token può contenere circa 96.000 parole di informazioni contemporaneamente, l'equivalente di un romanzo intero. Un modello con una finestra di 4.000 token può contenerne circa 3.000, ovvero più o meno 6 pagine.

Perché la dimensione della finestra di contesto è importante per il servizio clienti

Nell'assistenza clienti, la dimensione della finestra di contesto incide direttamente sulla qualità delle interazioni AI. Una finestra di contesto più ampia permette all'agente di:

• Ricordare l'intera cronologia della conversazione, anche negli scambi lunghi
• Elaborare documentazione di prodotto estesa e policy dettagliate
• Tenere conto delle interazioni passate e dello storico dell'account del cliente
• Gestire domande complesse e articolate senza perdere il filo

Una finestra di contesto ridotta impone dei compromessi: il sistema deve decidere quali informazioni includere e quali scartare. Se la domanda di un cliente richiede di comprendere sia un manuale di prodotto dettagliato sia una cronologia di conversazioni di 3 mesi, una finestra di contesto limitata può far sfuggire all'agente dettagli cruciali.

Contesto tecnico: i modelli di frontiera oggi offrono finestre di contesto da 128K a 2M di token, un enorme salto rispetto alle finestre da 4K-8K token che erano lo standard nel 2023. Questa espansione ha reso concretamente possibile per gli agenti AI elaborare intere knowledge base insieme al contesto della conversazione.

Finestra di contesto vs. knowledge base

Finestra di contesto e knowledge base hanno scopi diversi. La knowledge base conserva in modo permanente tutte le informazioni di un'organizzazione. La finestra di contesto è il sottoinsieme di quelle informazioni caricato nel modello per una specifica interazione. Le tecniche di RAG e i knowledge graph colmano questo divario selezionando in modo intelligente quali informazioni della knowledge base inserire nella finestra di contesto per ogni richiesta.

Il vantaggio di Maven: gestione intelligente del contesto

Maven AGI utilizza un knowledge graph per far sì che in ogni interazione la finestra di contesto contenga le informazioni più pertinenti. Invece di riempire la finestra con tutto ciò che è disponibile, il sistema di recupero di Maven individua con precisione quali policy, dettagli dell'account e parti della cronologia contano per la richiesta in corso. Questa gestione intelligente del contesto è ciò che consente tassi di risoluzione elevati anche in conversazioni complesse e a più turni.

La prova di Maven: Mastermind ha raggiunto il 93% di risoluzione in live chat con Maven AGI gestendo il 60% di contatti in più, a dimostrazione che una gestione intelligente del contesto scala senza sacrificare l'accuratezza.

Domande frequenti

Cosa succede quando una conversazione supera la finestra di contesto?

Quando le informazioni superano la finestra di contesto, le parti più vecchie della conversazione o i documenti recuperati meno rilevanti vengono riassunti o scartati. I sistemi ben progettati preservano il contesto più importante e riassumono il resto, così l'agente non "dimentica" dettagli cruciali a metà conversazione.

Una finestra di contesto più ampia significa sempre prestazioni migliori?

Non necessariamente. Finestre di contesto più ampie consentono di includere più informazioni, ma possono anche introdurre rumore. Le ricerche mostrano che i modelli possono avere difficoltà a trovare le informazioni rilevanti quando sono sepolte a metà di un contesto molto lungo. Un recupero intelligente che inserisce nella finestra le informazioni giuste conta più della semplice dimensione della finestra.

Come si misura la dimensione della finestra di contesto?

Le finestre di contesto si misurano in token. Un token corrisponde a circa ¾ di una parola inglese. Una finestra di contesto da 128K token contiene circa 96.000 parole. La tokenizzazione varia in base al modello e alla lingua: i testi non in inglese e il codice usano in genere più token per parola.