Janela de contexto

O que é uma janela de contexto?

A janela de contexto é a quantidade total de informações que um grande modelo de linguagem (LLM) consegue "ver" e considerar ao gerar uma resposta. Medida em tokens (cerca de ¾ de uma palavra), a janela de contexto inclui tudo o que o modelo processa: o prompt de sistema que define o comportamento do agente, o histórico da conversa com o cliente, os documentos recuperados via RAG e as ferramentas e funções disponíveis para o agente.

Pense nela como a memória de trabalho da IA. Um modelo com janela de contexto de 128.000 tokens consegue reter cerca de 96.000 palavras de informação de uma só vez, o equivalente a um romance inteiro. Um modelo com janela de 4.000 tokens comporta cerca de 3.000 palavras, ou aproximadamente 6 páginas.

Por que o tamanho da janela de contexto importa no atendimento ao cliente

No suporte ao cliente, o tamanho da janela de contexto impacta diretamente a qualidade das interações com a IA. Uma janela de contexto maior permite que o agente:

• Lembre todo o histórico da conversa, mesmo em trocas longas
• Processe documentações de produto extensas e detalhes de políticas
• Considere as interações anteriores e o histórico da conta do cliente
• Lide com perguntas complexas e com várias partes sem perder o fio da meada

Uma janela de contexto pequena obriga a fazer escolhas: o sistema precisa decidir quais informações incluir e quais descartar. Se a pergunta de um cliente exige entender tanto um manual de produto detalhado quanto o histórico de conversas dos últimos 3 meses, uma janela de contexto limitada significa que o agente pode deixar passar detalhes críticos.

Contexto técnico: os modelos de ponta atuais oferecem janelas de contexto de 128K a 2M tokens, um salto enorme em relação às janelas de 4K a 8K tokens que eram padrão em 2023. Essa expansão tornou viável que agentes de IA processem bases de conhecimento inteiras junto com o contexto da conversa.

Janela de contexto vs. base de conhecimento

A janela de contexto e a base de conhecimento têm propósitos diferentes. A base de conhecimento armazena permanentemente todas as informações de uma organização. A janela de contexto é o subconjunto dessas informações carregado no modelo para uma interação específica. As técnicas de RAG e de grafo de conhecimento fazem essa ponte, selecionando de forma inteligente quais informações da base de conhecimento colocar na janela de contexto para cada consulta.

A vantagem da Maven: gestão inteligente de contexto

A Maven AGI usa um grafo de conhecimento para garantir que as informações mais relevantes preencham a janela de contexto em cada interação. Em vez de lotar a janela com tudo o que está disponível, o sistema de recuperação da Maven identifica com precisão quais políticas, dados da conta e trechos do histórico da conversa importam para a consulta atual. É essa gestão inteligente de contexto que viabiliza altas taxas de resolução mesmo em conversas complexas, com várias trocas.

Comprovação Maven: a Mastermind alcançou 93% de resolução no chat ao vivo com a Maven AGI enquanto atendia 60% mais contatos, mostrando que a gestão inteligente de contexto escala sem sacrificar a precisão.

Perguntas frequentes

O que acontece quando uma conversa ultrapassa a janela de contexto?

Quando as informações ultrapassam a janela de contexto, as partes mais antigas da conversa ou os documentos recuperados menos relevantes são resumidos ou descartados. Sistemas bem projetados preservam o contexto mais importante e resumem o restante, para que o agente não "esqueça" detalhes críticos no meio da conversa.

Uma janela de contexto maior sempre significa melhor desempenho?

Não necessariamente. Janelas de contexto maiores comportam mais informações, mas também podem introduzir ruído. Pesquisas mostram que os modelos podem ter dificuldade para encontrar informações relevantes quando elas ficam perdidas no meio de um contexto muito longo. Uma recuperação inteligente, que coloca a informação certa na janela, importa mais do que o tamanho bruto da janela.

Como se mede o tamanho da janela de contexto?

As janelas de contexto são medidas em tokens. Um token equivale a cerca de ¾ de uma palavra em inglês. Uma janela de contexto de 128K tokens comporta aproximadamente 96.000 palavras. A tokenização varia conforme o modelo e o idioma: textos em outros idiomas que não o inglês e código costumam usar mais tokens por palavra.