Janela de contexto

O que é uma janela de contexto?

A janela de contexto é a quantidade total de informação que um modelo de linguagem de grande dimensão (LLM) consegue "ver" e considerar ao gerar uma resposta. Medida em tokens (cerca de ¾ de uma palavra), a janela de contexto inclui tudo o que o modelo processa: o prompt de sistema que define o comportamento do agente, o histórico da conversa com o cliente, os documentos recuperados através de RAG e as ferramentas e funções disponíveis para o agente.

Pense nela como a memória de trabalho da IA. Um modelo com uma janela de contexto de 128 000 tokens consegue reter cerca de 96 000 palavras de informação em simultâneo — o equivalente a um romance completo. Um modelo com uma janela de 4 000 tokens consegue reter cerca de 3 000 palavras, ou aproximadamente 6 páginas.

Porque é que o tamanho da janela de contexto é importante no apoio ao cliente

No apoio ao cliente, o tamanho da janela de contexto tem impacto direto na qualidade das interações com IA. Uma janela de contexto maior significa que o agente consegue:

• Recordar todo o histórico da conversa, mesmo em trocas longas
• Processar documentação de produto extensa e detalhes de políticas
• Ter em conta as interações anteriores do cliente e o histórico da conta
• Tratar perguntas complexas, com várias partes, sem perder o fio à meada

Uma janela de contexto pequena obriga a compromissos: o sistema tem de decidir que informação incluir e qual descartar. Se a pergunta de um cliente exigir a compreensão de um manual de produto detalhado e de um histórico de conversas de 3 meses, uma janela de contexto limitada significa que o agente pode perder detalhes críticos.

Contexto técnico: os modelos de ponta atuais oferecem janelas de contexto de 128K a 2M tokens, um aumento enorme face às janelas de 4K-8K tokens que eram a norma em 2023. Esta expansão tornou viável que os agentes de IA processem bases de conhecimento inteiras a par do contexto da conversa.

Janela de contexto vs. base de conhecimento

A janela de contexto e a base de conhecimento têm funções diferentes. A base de conhecimento armazena de forma permanente toda a informação de uma organização. A janela de contexto é o subconjunto dessa informação carregado no modelo para uma interação específica. As técnicas de RAG e de grafo de conhecimento fazem a ponte entre ambas, selecionando de forma inteligente que informação da base de conhecimento colocar na janela de contexto em cada consulta.

A vantagem Maven: gestão inteligente do contexto

A Maven AGI utiliza um grafo de conhecimento para garantir que a informação mais relevante preenche a janela de contexto em cada interação. Em vez de encher a janela com tudo o que está disponível, o sistema de recuperação da Maven identifica com precisão as políticas, os dados de conta e o histórico de conversa que importam para a consulta em causa. É esta gestão inteligente do contexto que permite elevadas taxas de resolução, mesmo em conversas complexas e com várias trocas.

Prova Maven: a Mastermind alcançou 93 % de resolução no live chat com a Maven AGI, tratando mais 60 % de contactos — demonstrando que a gestão inteligente do contexto escala sem sacrificar a precisão.

Perguntas frequentes

O que acontece quando uma conversa excede a janela de contexto?

Quando a informação excede a janela de contexto, as partes mais antigas da conversa ou os documentos recuperados menos relevantes são resumidos ou descartados. Os sistemas bem concebidos preservam o contexto mais importante e resumem o restante, para que o agente não "esqueça" detalhes críticos a meio da conversa.

Uma janela de contexto maior significa sempre melhor desempenho?

Não necessariamente. As janelas de contexto maiores permitem mais informação, mas também podem introduzir ruído. A investigação mostra que os modelos podem ter dificuldade em encontrar informação relevante quando esta está perdida a meio de um contexto muito longo. Uma recuperação inteligente que coloque a informação certa na janela é mais importante do que o tamanho bruto da janela.

Como se mede o tamanho da janela de contexto?

As janelas de contexto medem-se em tokens. Um token corresponde a cerca de ¾ de uma palavra em inglês. Uma janela de contexto de 128K tokens comporta aproximadamente 96 000 palavras. A tokenização varia consoante o modelo e a língua — o texto noutras línguas que não o inglês e o código utilizam normalmente mais tokens por palavra.