Fenêtre de contexte

Qu'est-ce qu'une fenêtre de contexte ?

Une fenêtre de contexte correspond à la quantité totale d'informations qu'un grand modèle de langage (LLM) peut « voir » et prendre en compte pour générer une réponse. Mesurée en tokens (environ ¾ d'un mot), elle inclut tout ce que le modèle traite : le prompt système qui définit le comportement de l'agent, l'historique de la conversation avec le client, les documents récupérés via le RAG, ainsi que les outils et fonctions mis à disposition de l'agent.

C'est en quelque sorte la mémoire de travail de l'IA. Un modèle doté d'une fenêtre de contexte de 128 000 tokens peut contenir environ 96 000 mots d'information à la fois, soit l'équivalent d'un roman entier. Un modèle avec une fenêtre de 4 000 tokens peut en contenir environ 3 000 mots, soit à peu près six pages.

Pourquoi la taille de la fenêtre de contexte compte pour le service client

Dans le support client, la taille de la fenêtre de contexte influe directement sur la qualité des interactions avec l'IA. Une fenêtre plus grande permet à l'agent de :

• Garder en mémoire tout l'historique de la conversation, même lors de longs échanges
• Traiter une documentation produit volumineuse et des politiques détaillées
• Tenir compte des interactions passées et de l'historique du compte du client
• Traiter des questions complexes en plusieurs parties sans perdre le fil

Une petite fenêtre de contexte impose des arbitrages : le système doit choisir les informations à inclure et celles à écarter. Si la question d'un client exige de comprendre à la fois un manuel produit détaillé et trois mois d'historique de conversation, une fenêtre limitée peut faire passer l'agent à côté de détails essentiels.

Contexte technique : les modèles de pointe actuels offrent des fenêtres de contexte de 128K à 2M tokens, une hausse spectaculaire par rapport aux fenêtres de 4K à 8K tokens qui étaient la norme en 2023. Cette évolution permet désormais aux agents IA de traiter des bases de connaissances entières en plus du contexte de la conversation.

Fenêtre de contexte vs base de connaissances

Une fenêtre de contexte et une base de connaissances ont des rôles différents. La base de connaissances stocke de façon permanente l'ensemble des informations d'une organisation. La fenêtre de contexte est le sous-ensemble de ces informations chargé dans le modèle pour une interaction donnée. Les techniques de RAG et de graphe de connaissances font le lien en sélectionnant intelligemment, pour chaque requête, les informations de la base de connaissances à placer dans la fenêtre de contexte.

L'avantage Maven : une gestion intelligente du contexte

Maven AGI s'appuie sur un graphe de connaissances pour que la fenêtre de contexte soit remplie des informations les plus pertinentes à chaque interaction. Plutôt que de saturer la fenêtre avec tout ce qui est disponible, le système de récupération de Maven identifie précisément les politiques, les informations de compte et l'historique de conversation utiles à la requête en cours. C'est cette gestion intelligente du contexte qui permet d'obtenir des taux de résolution élevés, même sur des conversations complexes à plusieurs tours.

Preuve Maven : Mastermind a atteint 93 % de résolution sur le chat en direct avec Maven AGI tout en traitant 60 % de contacts en plus, preuve qu'une gestion intelligente du contexte passe à l'échelle sans sacrifier la précision.

Questions fréquentes

Que se passe-t-il lorsqu'une conversation dépasse la fenêtre de contexte ?

Lorsque les informations dépassent la fenêtre de contexte, les parties les plus anciennes de la conversation ou les documents récupérés les moins pertinents sont résumés ou écartés. Les systèmes bien conçus conservent le contexte le plus important et résument le reste, afin que l'agent n'« oublie » pas de détails essentiels en cours de conversation.

Une fenêtre de contexte plus grande garantit-elle toujours de meilleures performances ?

Pas nécessairement. Une fenêtre plus grande permet d'inclure davantage d'informations, mais peut aussi introduire du bruit. Les recherches montrent que les modèles peinent parfois à retrouver une information pertinente noyée au milieu d'un contexte très long. Une récupération intelligente, qui place la bonne information dans la fenêtre, compte davantage que la taille brute de celle-ci.

Comment mesure-t-on la taille d'une fenêtre de contexte ?

Les fenêtres de contexte se mesurent en tokens. Un token correspond à environ ¾ d'un mot anglais. Une fenêtre de 128K tokens contient environ 96 000 mots. La tokenisation varie selon le modèle et la langue : les textes non anglais et le code consomment généralement plus de tokens par mot.