Contextvenster

Wat is een contextvenster?

Een contextvenster is de totale hoeveelheid informatie die een large language model (LLM) kan "zien" en meenemen bij het genereren van een antwoord. Het contextvenster wordt gemeten in tokens (ongeveer ¾ van een woord) en omvat alles wat het model verwerkt: de systeemprompt die het gedrag van de agent bepaalt, de gespreksgeschiedenis met de klant, documenten die via RAG zijn opgehaald en de tools en functies die de agent tot zijn beschikking heeft.

Zie het als het werkgeheugen van de AI. Een model met een contextvenster van 128.000 tokens kan zo'n 96.000 woorden tegelijk vasthouden, vergelijkbaar met een volledige roman. Een model met een venster van 4.000 tokens kan ongeveer 3.000 woorden bevatten, zo'n 6 pagina's.

Waarom de grootte van het contextvenster belangrijk is voor klantenservice

In klantenservice heeft de grootte van het contextvenster directe invloed op de kwaliteit van AI-interacties. Met een groter contextvenster kan de agent:

• De volledige gespreksgeschiedenis onthouden, ook bij lange gesprekken met veel heen-en-weer
• Uitgebreide productdocumentatie en beleidsdetails verwerken
• Eerdere interacties en de accountgeschiedenis van de klant meenemen
• Complexe vragen met meerdere onderdelen afhandelen zonder het overzicht te verliezen

Een klein contextvenster dwingt tot keuzes: het systeem moet bepalen welke informatie erin gaat en welke eruit. Als een klantvraag zowel een gedetailleerde producthandleiding als een gespreksgeschiedenis van 3 maanden vereist, kan de agent bij een beperkt contextvenster cruciale details missen.

Technische context: moderne frontiermodellen bieden inmiddels contextvensters van 128K tot 2M tokens, een enorme sprong ten opzichte van de vensters van 4K-8K tokens die in 2023 standaard waren. Daardoor kunnen AI-agents in de praktijk complete kennisbanken verwerken naast de gesprekscontext.

Contextvenster versus kennisbank

Een contextvenster en een kennisbank hebben een ander doel. De kennisbank slaat alle informatie van een organisatie permanent op. Het contextvenster is het deel van die informatie dat voor een specifieke interactie in het model wordt geladen. Technieken als RAG en kennisgrafen overbruggen dat verschil door per vraag slim te bepalen welke informatie uit de kennisbank in het contextvenster komt.

Het voordeel van Maven: intelligent contextbeheer

Maven AGI gebruikt een kennisgraaf om ervoor te zorgen dat bij elke interactie de meest relevante informatie in het contextvenster staat. In plaats van het venster vol te proppen met alles wat beschikbaar is, bepaalt het opvraagsysteem van Maven precies welk beleid, welke accountgegevens en welke gespreksgeschiedenis ertoe doen voor de huidige vraag. Dankzij dit intelligente contextbeheer haalt Maven hoge oplossingspercentages, ook bij complexe gesprekken met meerdere beurten.

Bewijs van Maven: Mastermind behaalde 93% oplossing via livechat met Maven AGI en verwerkte daarbij 60% meer contacten. Dat bewijst dat intelligent contextbeheer schaalt zonder in te leveren op nauwkeurigheid.

Veelgestelde vragen

Wat gebeurt er als een gesprek het contextvenster overschrijdt?

Als de informatie het contextvenster overschrijdt, worden oudere delen van het gesprek of minder relevante opgehaalde documenten samengevat of weggelaten. Goed ontworpen systemen bewaren de belangrijkste context en vatten de rest samen, zodat de agent halverwege het gesprek geen cruciale details "vergeet".

Betekent een groter contextvenster altijd betere prestaties?

Niet per se. Grotere contextvensters bieden ruimte voor meer informatie, maar kunnen ook ruis toevoegen. Onderzoek laat zien dat modellen moeite kunnen hebben om relevante informatie te vinden als die midden in een zeer lange context staat. Slimme opvraging die de juiste informatie in het venster plaatst, is belangrijker dan de pure omvang van het venster.

Hoe wordt de grootte van een contextvenster gemeten?

Contextvensters worden gemeten in tokens. Een token is ongeveer ¾ van een Engels woord. Een contextvenster van 128K tokens bevat ongeveer 96.000 woorden. De tokenisatie verschilt per model en taal: niet-Engelse tekst en code gebruiken doorgaans meer tokens per woord.