Ventana de contexto

¿Qué es una ventana de contexto?

Una ventana de contexto es la cantidad total de información que un modelo de lenguaje de gran tamaño (LLM) puede "ver" y tener en cuenta al generar una respuesta. Medida en tokens (aproximadamente ¾ de una palabra), la ventana de contexto incluye todo lo que procesa el modelo: el prompt del sistema que define el comportamiento del agente, el historial de la conversación con el cliente, los documentos recuperados mediante RAG y las herramientas y funciones disponibles para el agente.

Piensa en ella como la memoria de trabajo de la IA. Un modelo con una ventana de contexto de 128 000 tokens puede retener unas 96 000 palabras de información a la vez, el equivalente a una novela completa. Un modelo con una ventana de 4000 tokens puede retener unas 3000 palabras, es decir, unas 6 páginas.

Por qué importa el tamaño de la ventana de contexto en la atención al cliente

En la atención al cliente, el tamaño de la ventana de contexto influye directamente en la calidad de las interacciones con IA. Una ventana de contexto más amplia permite al agente:

• Recordar todo el historial de la conversación, incluso en intercambios largos
• Procesar documentación de productos extensa y detalles de políticas
• Tener en cuenta las interacciones anteriores del cliente y el historial de su cuenta
• Gestionar preguntas complejas de varias partes sin perder el hilo

Una ventana de contexto pequeña obliga a hacer concesiones: el sistema debe decidir qué información incluir y cuál descartar. Si la pregunta de un cliente exige comprender tanto un manual de producto detallado como su historial de conversaciones de 3 meses, una ventana de contexto limitada puede hacer que el agente pase por alto detalles críticos.

Contexto técnico: los modelos de vanguardia actuales ofrecen ventanas de contexto de 128K a 2M tokens, un aumento enorme frente a las ventanas de 4K-8K tokens que eran estándar en 2023. Esta ampliación ha hecho viable que los agentes de IA procesen bases de conocimiento completas junto con el contexto de la conversación.

Ventana de contexto frente a base de conocimiento

Una ventana de contexto y una base de conocimiento cumplen funciones distintas. La base de conocimiento almacena de forma permanente toda la información de una organización. La ventana de contexto es el subconjunto de esa información que se carga en el modelo para una interacción concreta. Las técnicas de RAG y de grafo de conocimiento cubren esa brecha al seleccionar de forma inteligente qué información de la base de conocimiento incluir en la ventana de contexto para cada consulta.

La ventaja de Maven: gestión inteligente del contexto

Maven AGI utiliza un grafo de conocimiento para garantizar que la información más relevante ocupe la ventana de contexto en cada interacción. En lugar de llenar la ventana con todo lo disponible, el sistema de recuperación de Maven identifica con precisión qué políticas, datos de la cuenta e historial de conversación son relevantes para la consulta actual. Esta gestión inteligente del contexto es lo que permite lograr altas tasas de resolución incluso en conversaciones complejas de varios turnos.

Resultados de Maven: Mastermind alcanzó un 93 % de resolución en chat en vivo con Maven AGI mientras gestionaba un 60 % más de contactos, lo que demuestra que la gestión inteligente del contexto escala sin sacrificar precisión.

Preguntas frecuentes

¿Qué ocurre cuando una conversación supera la ventana de contexto?

Cuando la información supera la ventana de contexto, las partes más antiguas de la conversación o los documentos recuperados menos relevantes se resumen o se descartan. Los sistemas bien diseñados conservan el contexto más importante y resumen el resto, para que el agente no "olvide" detalles críticos a mitad de la conversación.

¿Una ventana de contexto más grande siempre implica un mejor rendimiento?

No necesariamente. Las ventanas de contexto más amplias admiten más información, pero también pueden introducir ruido. Las investigaciones muestran que a los modelos les puede costar encontrar información relevante cuando queda enterrada en mitad de un contexto muy largo. Una recuperación inteligente que coloque la información correcta en la ventana importa más que su tamaño bruto.

¿Cómo se mide el tamaño de la ventana de contexto?

Las ventanas de contexto se miden en tokens. Un token equivale aproximadamente a ¾ de una palabra en inglés. Una ventana de contexto de 128K tokens contiene unas 96 000 palabras. La tokenización varía según el modelo y el idioma: el texto en idiomas distintos del inglés y el código suelen usar más tokens por palabra.