上下文視窗

什麼是上下文視窗？

上下文視窗是大型語言模型（LLM）在產生回應時，能「看到」並考量的資訊總量。上下文視窗以 token 計算（約為 ¾ 個英文單字），涵蓋模型處理的所有內容：定義代理行為的系統提示、與客戶的對話紀錄、透過 RAG 檢索到的文件，以及代理可使用的工具與函式。

您可以把它想像成 AI 的工作記憶。具備 128,000 token 上下文視窗的模型，一次可容納約 96,000 個英文單字的資訊，相當於一整本小說；4,000 token 的視窗則約可容納 3,000 個英文單字，大約 6 頁。

上下文視窗大小對客服為何重要

在客戶支援中，上下文視窗的大小直接影響 AI 互動的品質。上下文視窗越大，代理就越能：

• 記住完整的對話紀錄，即使是冗長的來回交流
• 處理大量的產品文件與政策細節
• 考量客戶過去的互動與帳戶歷史
• 處理複雜的多段式問題而不遺漏重點

上下文視窗太小就必須有所取捨：系統得決定要納入哪些資訊、捨棄哪些資訊。如果客戶的問題需要同時理解詳細的產品手冊與長達 3 個月的對話紀錄，有限的上下文視窗可能讓代理遺漏關鍵細節。

**技術背景：**現今的前沿模型已提供 128K 到 2M token 的上下文視窗，相較於 2023 年標準的 4K-8K token 視窗大幅擴增。這讓 AI 代理能在處理對話情境的同時，一併處理整個知識庫。

上下文視窗與知識庫的比較

上下文視窗與知識庫的用途不同。知識庫永久儲存組織的所有資訊；上下文視窗則是針對特定互動載入模型的部分資訊。RAG 與知識圖譜技術能為每個查詢，智慧挑選知識庫中應放入上下文視窗的資訊，串起兩者之間的落差。

Maven 的優勢：智慧情境管理

Maven AGI 運用知識圖譜，確保每次互動的上下文視窗都填入最相關的資訊。Maven 的檢索系統不會把所有可用資訊一股腦塞進視窗，而是精準找出與當前查詢相關的政策、帳戶細節與對話紀錄。正是這種智慧情境管理，讓 Maven 即使在複雜的多輪對話中也能維持高解決率。

**Maven 實證：**Mastermind 透過 Maven AGI 達成 93% 的即時聊天解決率，同時多處理 60% 的聯繫量，證明智慧情境管理能在擴大規模的同時不犧牲精準度。

常見問題

對話超出上下文視窗時會發生什麼事？

當資訊超出上下文視窗時，較早的對話內容或關聯性較低的檢索文件會被摘要或捨棄。設計良好的系統會保留最重要的情境並摘要其餘內容，讓代理不會在對話途中「忘記」關鍵細節。

上下文視窗越大，效能就一定越好嗎？

不一定。較大的上下文視窗能容納更多資訊，但也可能帶來雜訊。研究顯示，當相關資訊埋在超長情境的中段時，模型可能難以找到。能把正確資訊放進視窗的智慧檢索，比單純的視窗大小更重要。

上下文視窗大小如何計算？

上下文視窗以 token 計算。1 個 token 約為 ¾ 個英文單字。128K token 的上下文視窗約可容納 96,000 個英文單字。斷詞方式因模型與語言而異，非英文文字與程式碼通常每個字會使用較多 token。