上下文窗口

什么是上下文窗口？

上下文窗口是大语言模型（LLM）在生成回复时能够“看到”并考虑的信息总量。它以 token 为单位计量（1 个 token 约为 ¾ 个英文单词），涵盖模型处理的全部内容：定义智能体行为的系统提示词、与客户的对话历史、通过 RAG 检索到的文档，以及智能体可用的工具和函数。

可以把它理解为 AI 的工作记忆。拥有 128,000 token 上下文窗口的模型可同时容纳约 96,000 个英文单词的信息，相当于一整部小说；而 4,000 token 窗口的模型只能容纳约 3,000 个单词，大约 6 页。

上下文窗口大小为何对客户服务至关重要

在客户支持中，上下文窗口的大小直接影响 AI 交互的质量。上下文窗口越大，智能体就越能够：

• 记住完整的对话历史，即便是长时间的往来交流
• 处理大量产品文档和政策细节
• 结合客户过往的交互记录和账户历史
• 应对复杂的多部分问题而不遗漏要点

上下文窗口过小则不得不有所取舍：系统必须决定保留哪些信息、舍弃哪些信息。如果客户的问题既需要理解详细的产品手册，又需要了解其 3 个月来的对话历史，有限的上下文窗口可能导致智能体遗漏关键细节。

**技术背景：**当前的前沿模型已提供 128K 到 2M token 的上下文窗口，相比 2023 年普遍的 4K-8K token 窗口大幅提升。这一扩展使 AI 智能体能够在处理对话上下文的同时，处理整个知识库。

上下文窗口与知识库的区别

上下文窗口与知识库用途不同。知识库永久存储组织的全部信息，而上下文窗口是针对某次具体交互加载到模型中的那部分信息。RAG 和知识图谱技术则在两者之间架起桥梁，针对每次查询智能地选择应将知识库中的哪些信息放入上下文窗口。

Maven 的优势：智能上下文管理

Maven AGI 利用知识图谱，确保每次交互的上下文窗口都填入最相关的信息。Maven 的检索系统不会把所有可用信息一股脑塞进窗口，而是精准识别与当前查询相关的政策、账户详情和对话历史。正是这种智能上下文管理，使其即便在复杂的多轮对话中也能实现很高的解决率。

**Maven 实证：**Mastermind 借助 Maven AGI 实现了 93% 的在线聊天解决率，同时处理的联络量增加了 60%，证明智能上下文管理能够在不牺牲准确性的前提下实现规模化。

常见问题

对话超出上下文窗口时会发生什么？

当信息超出上下文窗口时，较早的对话内容或相关性较低的检索文档会被摘要或舍弃。设计完善的系统会保留最重要的上下文并对其余内容进行摘要，避免智能体在对话中途“忘记”关键细节。

上下文窗口越大，性能就一定越好吗？

不一定。更大的上下文窗口可以容纳更多信息，但也可能引入噪音。研究表明，当相关信息埋藏在超长上下文的中间部分时，模型可能难以找到它。与单纯的窗口大小相比，将正确信息放入窗口的智能检索更为重要。

上下文窗口的大小如何计量？

上下文窗口以 token 计量。1 个 token 约为 ¾ 个英文单词，128K token 的上下文窗口约可容纳 96,000 个单词。分词方式因模型和语言而异，非英文文本和代码通常每个词会占用更多 token。