Kontextfönster

Vad är ett kontextfönster?

Ett kontextfönster är den totala mängd information som en stor språkmodell (LLM) kan "se" och ta hänsyn till när den genererar ett svar. Kontextfönstret mäts i tokens (ungefär ¾ av ett ord) och omfattar allt modellen bearbetar: systemprompten som styr agentens beteende, konversationshistoriken med kunden, dokument som hämtats via RAG samt de verktyg och funktioner som agenten har tillgång till.

Se det som AI:ns arbetsminne. En modell med ett kontextfönster på 128 000 tokens kan hålla ungefär 96 000 ord information samtidigt – motsvarande en hel roman. En modell med ett fönster på 4 000 tokens rymmer cirka 3 000 ord, ungefär sex sidor.

Därför spelar kontextfönstrets storlek roll i kundtjänsten

I kundsupport påverkar kontextfönstrets storlek direkt kvaliteten på AI-interaktionerna. Ett större kontextfönster gör att agenten kan:

• Minnas hela konversationshistoriken, även i långa samtal fram och tillbaka
• Bearbeta omfattande produktdokumentation och detaljerade policyer
• Ta hänsyn till kundens tidigare interaktioner och kontohistorik
• Hantera komplexa frågor i flera delar utan att tappa tråden

Ett litet kontextfönster tvingar fram avvägningar: systemet måste välja vilken information som tas med och vilken som utelämnas. Om kundens fråga kräver förståelse av både en detaljerad produktmanual och tre månaders konversationshistorik kan ett begränsat kontextfönster göra att agenten missar viktiga detaljer.

Teknisk bakgrund: Dagens ledande modeller erbjuder kontextfönster på 128K till 2M tokens, en dramatisk ökning från de fönster på 4K–8K tokens som var standard 2023. Utvecklingen har gjort det praktiskt möjligt för AI-agenter att bearbeta hela kunskapsbaser tillsammans med konversationens kontext.

Kontextfönster jämfört med kunskapsbas

Ett kontextfönster och en kunskapsbas fyller olika syften. Kunskapsbasen lagrar all organisationens information permanent. Kontextfönstret är den del av informationen som laddas in i modellen för en specifik interaktion. Tekniker som RAG och kunskapsgrafer överbryggar glappet genom att intelligent välja vilken information ur kunskapsbasen som ska placeras i kontextfönstret för varje fråga.

Fördelen med Maven: intelligent kontexthantering

Maven AGI använder en kunskapsgraf för att se till att den mest relevanta informationen fyller kontextfönstret i varje interaktion. I stället för att fylla fönstret med allt som finns identifierar Mavens hämtningssystem exakt vilka policyer, kontouppgifter och vilken konversationshistorik som är relevanta för den aktuella frågan. Den intelligenta kontexthanteringen är det som ger hög lösningsgrad även i komplexa konversationer med många turer.

Bevis från Maven: Mastermind nådde 93 % lösningsgrad i livechatt med Maven AGI samtidigt som de hanterade 60 % fler kontakter – ett bevis på att intelligent kontexthantering skalar utan att ge avkall på träffsäkerheten.

Vanliga frågor

Vad händer när en konversation överskrider kontextfönstret?

När informationen överskrider kontextfönstret sammanfattas eller tas äldre delar av konversationen eller mindre relevanta hämtade dokument bort. Väl utformade system bevarar den viktigaste kontexten och sammanfattar resten, så att agenten inte "glömmer" viktiga detaljer mitt i samtalet.

Betyder ett större kontextfönster alltid bättre prestanda?

Inte nödvändigtvis. Större kontextfönster rymmer mer information men kan också tillföra brus. Forskning visar att modeller kan ha svårt att hitta relevant information när den ligger begravd mitt i en mycket lång kontext. Smart hämtning som placerar rätt information i fönstret är viktigare än fönstrets storlek i sig.

Hur mäts kontextfönstrets storlek?

Kontextfönster mäts i tokens. En token motsvarar ungefär ¾ av ett engelskt ord. Ett kontextfönster på 128K tokens rymmer cirka 96 000 ord. Tokeniseringen varierar mellan modeller och språk – text på andra språk än engelska och kod kräver oftast fler tokens per ord.