Vì sao một cách tiếp cận cho mọi trường hợp không hiệu quả với mô hình AI giọng nói

Trải nghiệm giọng nói tốt nhất được thiết kế riêng

Bản demo AI giọng nói nào nghe qua loa laptop cũng ấn tượng. Âm thanh băng thông rộng, phòng yên tĩnh, người trình bày không ngắt lời. Rồi cũng mô hình đó được đưa lên đường dây điện thoại thực tế: âm thanh bị nén xuống 8 kHz, mạng cộng thêm 100 đến 200 mili giây, và một người gọi thật đọc số sê-ri 22 ký tự có 4 số 0 liên tiếp rồi chen ngang giữa chừng câu trả lời.

Khoảng cách đó là lý do chính khiến thoại vẫn là kênh mà phần lớn doanh nghiệp chưa tự động hóa. Cái khó không nằm ở việc làm cho mô hình giọng nói nghe hay trong bản demo; mà là làm cho nó hoạt động khi người gọi ngắt lời, đọc một mã định danh dài, chuyển đổi giữa các ngôn ngữ, hoặc cần tác tử thực hiện thao tác trong tài khoản của họ. Đó là lý do chúng tôi thôi tin vào các benchmark được công bố, kể cả những benchmark đo qua chính ứng dụng của nhà cung cấp, và xây dựng cách kiểm tra mô hình giọng nói theo đúng cách khách hàng trải nghiệm: qua một cuộc gọi điện thoại. Mô hình mới nhất trải qua bài kiểm tra này là GPT-Live-1 của OpenAI.

Cách Maven tiếp cận việc chọn mô hình

Maven sử dụng một tập hợp các mô hình tiên tiến nhất để vận hành trải nghiệm giọng nói cho khách hàng. Mỗi khách hàng có trường hợp sử dụng riêng: tra cứu tài khoản, mã định danh phức tạp, chẩn đoán nhiều bước, ngắt lời, yêu cầu ngôn ngữ, đặc tả triển khai và các yêu cầu cần thực hiện hành động. Một mô hình hoạt động hoàn hảo với khách hàng này có thể chỉ cho kết quả tạm được với khách hàng khác. Vì vậy, chúng tôi kiểm tra các mô hình để xác định mô hình tốt nhất cho từng trường hợp sử dụng và tiêu chí riêng của mỗi khách hàng. Chúng tôi dùng kết quả đó để quyết định mô hình nào dẫn dắt cuộc hội thoại trực tiếp, mô hình nào nên hỗ trợ ở đâu, và những biện pháp bảo vệ nào cần có trong trải nghiệm.

Chọn mô hình chỉ là quyết định đầu tiên. Cùng khung đánh giá đó còn cho chúng tôi biết cần thêm bước xác nhận ở đâu với các mã định danh phức tạp, cách ngăn khoảng lặng trong cuộc hội thoại, hoặc khi nào chuyển tác vụ khó hơn sang một lớp suy luận mạnh hơn. Mục tiêu không phải là chọn một mô hình duy nhất cho mọi trường hợp. Mà là mang lại trải nghiệm tốt nhất có thể cho khách hàng của khách hàng chúng tôi.

Đánh giá các mô hình hàng đầu trong Arena

Voice Arena là khung đánh giá mô hình có thể lặp lại của Maven. Nó đưa các mô hình ứng viên qua những cuộc gọi đi thực tế trên mạng điện thoại công cộng, sau đó chấm điểm những gì diễn ra từ góc nhìn của khách hàng. Chúng tôi áp dụng nguyên tắc đánh giá mù theo cặp và điều chỉnh cho môi trường thoại.

Mỗi lần đánh giá đều bắt đầu với cùng một bảng điểm:

• Độ trôi chảy hội thoại: tác tử nghe tự nhiên và rõ ràng đến mức nào.
• Phục hồi sau ngắt lời: tác tử có dừng lại, hiểu yêu cầu mới và phản hồi đúng hay không.
• Ghi nhận mã định danh: tác tử có nghe và xác nhận chính xác các chuỗi ký tự mà người gọi đọc to hay không.
• Thời gian đến câu trả lời hữu ích: thời gian chờ một phản hồi có nội dung, không chỉ là lời ghi nhận ban đầu.
• Độ tin cậy cuộc gọi: tác tử có hoàn thành tương tác mà không bỏ sót yêu cầu hay chuyển giao không cần thiết hay không.

Sau đó, chúng tôi bổ sung các kịch bản quan trọng với trải nghiệm giọng nói của từng khách hàng cụ thể. Một doanh nghiệp có đường dây hỗ trợ xử lý số sê-ri sản phẩm phức tạp cần bài kiểm tra áp lực khác với doanh nghiệp xử lý hoàn tiền, lịch hẹn hay câu hỏi thanh toán. Khung đánh giá giữ nhất quán, còn bảng điểm phù hợp với từng triển khai cụ thể.

Điểm nổi bật của GPT-Live-1 từ OpenAI

GPT-Live-1 đặc biệt mạnh ở khía cạnh mà hầu hết mọi người nhận ra đầu tiên: luân phiên lượt nói. Mô hình có thể xử lý giọng nói liên tục, nhờ đó phản hồi được ngay khi người gọi nói chen vào thay vì phải chờ một bộ phát hiện lượt nói riêng.

Chúng tôi đã thử nghiệm mô hình giọng nói mới nhất của OpenAI cho một khách hàng thuộc Fortune 50 với hàng triệu cuộc gọi mỗi năm, trên các trường hợp sử dụng hỗ trợ và bán hàng của họ. Bài đánh giá được thiết kế riêng để kiểm tra khả năng xử lý mã định danh sản phẩm phức tạp và chẩn đoán dài, và GPT-Live-1 dẫn đầu các mô hình được thử nghiệm ở nhiều chỉ số then chốt:

• 90% đọc lại chính xác mã service tag, tỷ lệ cao nhất trong bài kiểm tra.
• 100% phục hồi sau ngắt lời; mô hình xử lý câu hỏi mới sau mọi lần bị ngắt lời.
• Thời gian phản hồi trung vị 1.257 mili giây với yêu cầu mới, nhanh nhất trong nhóm thử nghiệm.
• Thời gian trả lời trung vị 1,7 giây, với 81% câu trả lời đến trong vòng 2 giây.

Mô hình không dẫn đầu mọi hạng mục. Tỷ lệ đọc lại chính xác số sê-ri dài là 60%, với điểm yếu chính là các số 0 lặp lại. Và 38% câu trả lời khiến người gọi phải chờ hơn 5 giây mới nhận được nội dung thực chất sau lời đáp ban đầu "Vâng". Đó không phải lý do để gạt bỏ mô hình. Đó chính là những điểm hở trong môi trường thực tế mà Arena được thiết kế để phát hiện.

GPT-Live-1 dẫn dắt tốt hơn một mô hình duy nhất cho mọi cuộc gọi

Trong trường hợp này, GPT-Live-1 là lựa chọn thuyết phục để dẫn dắt cuộc hội thoại: nhanh, phản hồi tốt và đáng tin cậy hiếm thấy khi người gọi ngắt lời. Với những thời điểm nặng về mã định danh hoặc đòi hỏi suy luận cao, hệ thống có thể cần thêm một lớp khác. Đó là lý do khách hàng chọn Maven. Chúng tôi xây dựng trải nghiệm giọng nói dựa trên bằng chứng, thay vì bắt mọi khách hàng chấp nhận những đánh đổi của một mô hình duy nhất.

Cùng chúng tôi nâng chuẩn cho kênh thoại

Khách hàng: hãy mang đến những cuộc gọi có thể làm hỏng một bản demo: mã định danh phức tạp, ngắt lời liên tục, tác vụ nhiều bước, hoặc bất cứ thứ gì không thể kết thúc bằng việc chuyển hướng. Chúng tôi sẽ đánh giá từng mô hình theo đúng điều kiện mà người gọi của bạn thực sự gặp phải.

Nhà cung cấp mô hình: nếu bạn muốn xem mô hình của mình trụ vững thế nào trên các cuộc gọi doanh nghiệp thực tế, chúng tôi muốn đưa nó vào Arena. Cả lĩnh vực càng tiến bộ, trải nghiệm giọng nói càng tốt hơn cho mọi khách hàng.