Cửa sổ ngữ cảnh

Cửa sổ ngữ cảnh là gì?

Cửa sổ ngữ cảnh là tổng lượng thông tin mà một mô hình ngôn ngữ lớn (LLM) có thể "nhìn thấy" và xem xét khi tạo phản hồi. Được đo bằng token (khoảng ¾ một từ tiếng Anh), cửa sổ ngữ cảnh bao gồm mọi thứ mô hình xử lý: system prompt định nghĩa hành vi của tác tử, lịch sử hội thoại với khách hàng, các tài liệu được truy xuất qua RAG, cùng các công cụ và hàm mà tác tử có thể sử dụng.

Hãy hình dung đây là bộ nhớ làm việc của AI. Một mô hình có cửa sổ ngữ cảnh 128.000 token có thể chứa khoảng 96.000 từ cùng lúc — tương đương một cuốn tiểu thuyết. Một mô hình có cửa sổ 4.000 token chỉ chứa được khoảng 3.000 từ, tức chừng 6 trang.

Vì sao kích thước cửa sổ ngữ cảnh quan trọng với dịch vụ khách hàng

Trong hỗ trợ khách hàng, kích thước cửa sổ ngữ cảnh ảnh hưởng trực tiếp đến chất lượng tương tác của AI. Cửa sổ ngữ cảnh lớn hơn giúp tác tử:

• Ghi nhớ toàn bộ lịch sử hội thoại, kể cả trong những cuộc trao đổi dài
• Xử lý tài liệu sản phẩm và chi tiết chính sách dài
• Xem xét các tương tác trước đây và lịch sử tài khoản của khách hàng
• Xử lý các câu hỏi phức tạp, nhiều phần mà không bị lạc mạch

Cửa sổ ngữ cảnh nhỏ buộc hệ thống phải đánh đổi: quyết định thông tin nào được giữ lại và thông tin nào bị loại bỏ. Nếu câu hỏi của khách hàng đòi hỏi hiểu cả một tài liệu hướng dẫn sản phẩm chi tiết lẫn lịch sử hội thoại trong 3 tháng, cửa sổ ngữ cảnh hạn chế có thể khiến tác tử bỏ sót chi tiết quan trọng.

Bối cảnh kỹ thuật: Các mô hình tiên tiến hiện nay có cửa sổ ngữ cảnh từ 128K đến 2M token, tăng vượt bậc so với mức 4K-8K token phổ biến vào năm 2023. Sự mở rộng này giúp tác tử AI có thể xử lý toàn bộ cơ sở tri thức cùng với ngữ cảnh hội thoại.

Cửa sổ ngữ cảnh so với cơ sở tri thức

Cửa sổ ngữ cảnh và cơ sở tri thức phục vụ những mục đích khác nhau. Cơ sở tri thức lưu trữ lâu dài toàn bộ thông tin của tổ chức. Cửa sổ ngữ cảnh là phần thông tin được nạp vào mô hình cho một tương tác cụ thể. Các kỹ thuật RAG và đồ thị tri thức kết nối hai thành phần này bằng cách lựa chọn thông minh thông tin nào từ cơ sở tri thức sẽ được đưa vào cửa sổ ngữ cảnh cho từng truy vấn.

Lợi thế của Maven: Quản lý ngữ cảnh thông minh

Maven AGI sử dụng đồ thị tri thức để bảo đảm thông tin phù hợp nhất được đưa vào cửa sổ ngữ cảnh trong mọi tương tác. Thay vì nhồi nhét mọi thứ có sẵn, hệ thống truy xuất của Maven xác định chính xác chính sách, thông tin tài khoản và lịch sử hội thoại nào thực sự cần thiết cho truy vấn hiện tại. Chính khả năng quản lý ngữ cảnh thông minh này giúp đạt tỷ lệ giải quyết cao ngay cả với các cuộc hội thoại phức tạp, nhiều lượt.

Minh chứng từ Maven: Mastermind đạt tỷ lệ giải quyết 93% qua live chat với Maven AGI trong khi xử lý thêm 60% lượt liên hệ — cho thấy quản lý ngữ cảnh thông minh có thể mở rộng quy mô mà không đánh đổi độ chính xác.

Câu hỏi thường gặp

Điều gì xảy ra khi cuộc hội thoại vượt quá cửa sổ ngữ cảnh?

Khi thông tin vượt quá cửa sổ ngữ cảnh, các phần cũ hơn của cuộc hội thoại hoặc những tài liệu truy xuất ít liên quan sẽ được tóm tắt hoặc loại bỏ. Hệ thống được thiết kế tốt sẽ giữ lại ngữ cảnh quan trọng nhất và tóm tắt phần còn lại, để tác tử không "quên" chi tiết quan trọng giữa chừng.

Cửa sổ ngữ cảnh lớn hơn có luôn đồng nghĩa với hiệu suất tốt hơn?

Không hẳn. Cửa sổ ngữ cảnh lớn cho phép chứa nhiều thông tin hơn nhưng cũng có thể gây nhiễu. Nghiên cứu cho thấy mô hình có thể gặp khó khăn trong việc tìm thông tin liên quan khi thông tin đó nằm sâu ở giữa một ngữ cảnh rất dài. Truy xuất thông minh, đưa đúng thông tin vào cửa sổ, quan trọng hơn kích thước cửa sổ đơn thuần.

Kích thước cửa sổ ngữ cảnh được đo như thế nào?

Cửa sổ ngữ cảnh được đo bằng token. Một token tương đương khoảng ¾ một từ tiếng Anh. Cửa sổ ngữ cảnh 128K token chứa được khoảng 96.000 từ. Cách tách token khác nhau tùy mô hình và ngôn ngữ — văn bản không phải tiếng Anh và mã lập trình thường dùng nhiều token hơn cho mỗi từ.