Chúng tôi đang thử nghiệm mô hình quyết định mới của TypeSafe với những phán đoán nằm trong mọi cuộc hội thoại trên Maven, bao gồm phân loại phiếu hỗ trợ, Intelligent Fields và kiểm tra chất lượng. Trong thử nghiệm ban đầu của chúng tôi, mô hình chạy nhanh hơn khoảng 12 lần so với cách tiếp cận hiện tại ở tác vụ phân loại, và không chậm đi khi chúng tôi thêm nhiều phân loại hơn vào cùng một yêu cầu.
Một yêu cầu của khách hàng chứa nhiều hơn một quyết định
Hãy xem xét một khách hàng viết: "Hóa đơn của chúng tôi tăng gấp đôi, một nửa đội của tôi không đăng nhập được, và tôi cần khắc phục trước khi gia hạn vào ngày mai."
Giải quyết yêu cầu này đòi hỏi nhiều loại công việc: tác tử cần nhận diện vấn đề thanh toán và truy cập, hiểu mức độ khẩn cấp, kiểm tra tài khoản của khách hàng và tuân theo các chính sách phù hợp. Nếu cần nhân viên can thiệp, cuộc hội thoại phải đến đúng đội với đủ ngữ cảnh để tiếp tục.
Một phần công việc đó cần suy luận và giải thích. Một phần cần tra cứu trực tiếp. Một phần chỉ là một phán đoán tập trung: những vấn đề nào đang xuất hiện, mức độ khẩn cấp ra sao, hay khách hàng có yêu cầu gặp người thật hay không.
Nhóm cuối cùng chính là nơi Jev trở nên đáng chú ý.
Chúng tôi bắt đầu đưa Jev qua cùng quy trình đánh giá nghiêm ngặt mà chúng tôi đã xây dựng cho các mô hình giọng nói ngay khi mô hình kết thúc giai đoạn truy cập sớm, vì một tuyên bố như vậy cần được kiểm chứng dựa trên cách quy trình thực tế của khách hàng vận hành, chứ không chỉ dựa trên benchmark của nhà cung cấp.
Jev giống một bộ phân loại, nhưng có điểm khác biệt: bạn cung cấp ngữ cảnh và các câu hỏi có giới hạn; mô hình trả về lựa chọn, điểm số hoặc xác suất. Mô hình mới của TypeSafe AI được thiết kế để trả về các quyết định có cấu trúc mà phần mềm có thể sử dụng trực tiếp. Với một nền tảng doanh nghiệp như Maven, điều này mở ra cơ hội cải thiện vô số phán đoán nằm giữa yêu cầu của khách hàng và kết quả giải quyết.
Jev khác LLM ở điểm nào
TypeSafe gọi Jev là mô hình "System One". Nhà phát triển cung cấp ngữ cảnh, câu hỏi và các câu trả lời khả dĩ. Jev trả về lựa chọn, điểm số và xác suất. Nhiều câu hỏi độc lập về cùng một ngữ cảnh có thể được đánh giá song song. Mô hình không sinh văn bản tự do như LLM.
Với yêu cầu ở trên, hệ thống có thể hỏi liệu nó có chứa vấn đề thanh toán không, quyền truy cập có bị chặn không, và khách hàng có nêu thời hạn không. Mỗi câu trả lời trở thành đầu vào cho bước tiếp theo trong quy trình.
Các LLM thông thường vốn đã có thể tạo đầu ra tuân theo schema. Điểm khác biệt của Jev là một mô hình được xây dựng riêng cho loại công việc này, với khả năng sinh đầu ra song song và phương pháp huấn luyện mà TypeSafe gọi là Reinforcement Learning for Calibrated Decisions. Mục tiêu là giúp phần mềm tận dụng được mức độ không chắc chắn, đồng thời giảm độ trễ và chi phí.
Những người dùng đầu tiên cũng ghi nhận tốc độ cải thiện đáng kể ở một số tác vụ cụ thể. Trong thử nghiệm của chúng tôi, Jev phản hồi nhanh hơn khoảng 12 lần so với cách tiếp cận hiện tại. Đây mới là giai đoạn thử nghiệm nguyên mẫu, không phải benchmark, và mô hình chưa chạy trong môi trường production cho khách hàng của chúng tôi. Những bên khác cũng báo cáo con số tương tự với tác vụ của họ: Guillermo Rauch của Vercel đo được tốc độ nhanh hơn tới 18 lần ở phân vị thứ 95 trong tác vụ rà soát an toàn lệnh mà tác tử của ông thực hiện, với độ chính xác cao hơn so với bộ rà soát GPT-5.6-Luna mà nó thay thế.
Intelligent Fields là nơi phù hợp để đánh giá
Maven ra mắt Intelligent Fields vào mùa xuân năm 2026. Các đội định nghĩa những gì họ muốn biết về một cuộc hội thoại, chẳng hạn mảng sản phẩm, cảm xúc, ý định hoàn tiền hoặc tín hiệu cần chuyển cấp, và các trường dữ liệu thu được sẽ phục vụ báo cáo, định tuyến và cấu hình tác tử.
Điều làm nên giá trị của tính năng hiện nay là nó đòi hỏi rất ít từ bạn. Bạn viết định nghĩa bằng ngôn ngữ thông thường về điều mình muốn biết, và Maven đánh giá mọi cuộc hội thoại dựa trên định nghĩa đó. Không cần bộ dữ liệu huấn luyện được gán nhãn, không cần duy trì mô hình cho từng nhãn, không cần chuyên viên phân tích gắn thẻ phiếu hỗ trợ thủ công một tuần sau đó. Mỗi giá trị đi kèm điểm tin cậy và lý do đằng sau, truy cập được qua API và các giao diện phân tích, nghĩa là con người có thể kiểm tra vì sao một cuộc hội thoại bị đánh dấu là có nguy cơ rời bỏ thay vì tin nhãn một cách mù quáng.
Mỗi trường là một lượt đánh giá riêng, theo thiết kế. Sự tách biệt này giúp mỗi giá trị có điểm tin cậy và lý do riêng, thay vì một kết luận gộp chung về cuộc hội thoại mà không ai kiểm tra được.
Một mô hình quyết định như Jev khớp gọn gàng với cấu trúc đó. Các câu hỏi độc lập trên cùng một ngữ cảnh được đánh giá song song, nên một tập hợp các lượt đánh giá trường có thể được gộp vào một yêu cầu duy nhất mà vẫn trả về các câu trả lời riêng biệt, được chấm điểm riêng. Dạng đầu ra không thay đổi. Điều thay đổi là số câu hỏi có thể được xử lý cùng lúc.
Vì vậy, chúng tôi không kỳ vọng Intelligent Fields hoạt động khác đi khi dùng Jev. Nhưng chúng tôi kỳ vọng sẽ tăng hiệu suất và giảm chi phí.
| Câu hỏi về một cuộc hội thoại | Cách mô hình quyết định xử lý | Điều mà nó mang lại |
|---|---|---|
| Cuộc hội thoại liên quan đến mảng sản phẩm nào? | Chọn từ các danh mục đã định nghĩa | Phân loại nhu cầu và chọn hướng dẫn phù hợp |
| Vấn đề được báo cáo nghiêm trọng đến mức nào? | Chấm điểm theo tiêu chí rõ ràng | Ưu tiên công việc theo tác động thực tế |
| Khách hàng có yêu cầu gặp người thật không? | Ước tính khả năng nhận định đó là đúng | Hỗ trợ xử lý chuyển cấp |
| Những vấn đề nào xuất hiện trong yêu cầu này? | Đánh giá riêng từng vấn đề khả dĩ | Giữ được nhiều ý định trong cùng một cuộc hội thoại |
Đây là những phương án ánh xạ cần được đánh giá. Jev sẽ cần giữ nguyên ý nghĩa của từng trường và hành vi của mọi quy trình phụ thuộc vào trường đó. Phạm vi đầu ra hẹp hơn của mô hình cũng là yếu tố cần cân nhắc: các bản tóm tắt mở và phần giải thích bằng văn bản vẫn cần một mô hình sinh hoặc nguồn khác.
Cơ hội này đặc biệt phù hợp khi một đội muốn khai thác thêm chi tiết từ mỗi tương tác. Chi phí cho mỗi lượt đánh giá thấp hơn có thể giúp việc theo dõi thêm các vấn đề sản phẩm, lý do hủy và tín hiệu chuyển cấp trở nên khả thi, mà không biến mỗi trường mới thành một lượt gọi mô hình tốn kém.
Chúng tôi không đưa mô hình mới ra mắt vài ngày đến khách hàng doanh nghiệp
Mọi điều ở trên đều là thử nghiệm và tư duy thiết kế. Jev chưa chạy trong bất kỳ quy trình nào của khách hàng, và một mô hình mới ra mắt vài ngày sẽ không được đưa vào sử dụng cho đến khi trải qua cùng quy trình đánh giá nghiêm ngặt mà chúng tôi áp dụng cho mọi mô hình mới. Bạn có thể xem cách chúng tôi đã thử nghiệm GPT-Live-1 và các mô hình giọng nói khác. Chúng tôi đo chất lượng quyết định so với cách tiếp cận hiện tại trên các trường hợp tiêu biểu, bao gồm cả những trường hợp mơ hồ và những trường hợp thiếu ngữ cảnh then chốt, sau đó so sánh độ trễ, chi phí trên mỗi kết quả được chấp nhận và tác động đến khách hàng trước khi bất cứ thay đổi nào chạm đến hệ thống định tuyến thực tế.
Nhiều lựa chọn mô hình hơn cho công việc doanh nghiệp
Jev mở rộng các lựa chọn khi xây dựng tác tử AI cho doanh nghiệp. Hội thoại, suy luận, phân loại và xác minh có thể đòi hỏi những mô hình khác nhau.
Với Maven, cơ hội nằm ở việc đánh giá Jev tại những nơi nó có thể giúp các tính năng như Intelligent Fields hiệu quả hơn, đồng thời vẫn giữ nguyên ngữ cảnh và cơ chế kiểm soát cần thiết để giải quyết yêu cầu của khách hàng.
Hãy mang đến Maven một quy trình mà các quyết định lặp lại đang làm chậm trải nghiệm: một phiếu hỗ trợ liên tục đổi hàng đợi, một trường tốn kém để đánh giá, hay một bước kiểm tra chất lượng chạy quá muộn. Đó là nơi một mô hình mới có thể chứng minh giá trị.
Điều này có thể thực hiện nhanh chóng vì Charters, Segments và Intelligent Fields đã định nghĩa sẵn các quyết định quan trọng. Thay một lớp phán đoán nhanh hơn vào bên dưới chỉ là thay đổi cấu hình mà chúng tôi có thể thử nghiệm trong vài ngày, không phải xây dựng lại mất nhiều quý.
Trải nghiệm trên chính các cuộc hội thoại của bạn.
Yêu cầu demo cá nhân hóa miễn phí.
