ประสบการณ์เสียงที่ดีที่สุดต้องสร้างขึ้นเฉพาะ
เดโม voice AI ทุกตัวฟังดูดีผ่านลำโพงแล็ปท็อป เสียงแบบ wideband ห้องที่เงียบ และผู้นำเสนอที่ไม่พูดแทรก แต่เมื่อโมเดลเดียวกันนั้นไปใช้งานจริงบนสายโทรศัพท์ เสียงถูกบีบอัดเหลือ 8 kHz เครือข่ายเพิ่มความหน่วงอีก 100 ถึง 200 มิลลิวินาที และผู้โทรจริงอ่านหมายเลขซีเรียล 22 ตัวอักษรที่มีเลขศูนย์ 4 ตัวติดกัน แล้วพูดแทรกกลางคำตอบ
ช่องว่างนี้คือสาเหตุหลักที่ทำให้เสียงยังคงเป็นช่องทางที่องค์กรส่วนใหญ่ยังไม่ได้ทำให้เป็นอัตโนมัติ ความยากไม่ได้อยู่ที่การทำให้โมเดลเสียงฟังดูดีในเดโม แต่อยู่ที่การทำให้มันใช้งานได้เมื่อผู้โทรพูดแทรก อ่านรหัสยาวๆ สลับภาษา หรือต้องการให้เอเจนต์ดำเนินการในบัญชีของตน นั่นคือเหตุผลที่เราเลิกเชื่อถือเบนช์มาร์กที่เผยแพร่ทั่วไป รวมถึงที่วัดผ่านแอปของผู้ให้บริการเอง และสร้างวิธีทดสอบโมเดลเสียงในแบบที่ลูกค้าได้สัมผัสจริง นั่นคือผ่านการโทรศัพท์ โมเดลล่าสุดที่ผ่านการทดสอบนี้คือ GPT-Live-1 ของ OpenAI
แนวทางการเลือกโมเดลของ Maven
Maven ใช้กลุ่มโมเดลล้ำสมัยหลายตัวเพื่อขับเคลื่อนประสบการณ์เสียงของลูกค้า เพื่อมอบประสบการณ์ที่ดีที่สุดสำหรับ use case เฉพาะของลูกค้าแต่ละราย ไม่ว่าจะเป็นการค้นหาข้อมูลบัญชี รหัสที่ซับซ้อน การวินิจฉัยหลายขั้นตอน การพูดแทรก ข้อกำหนดด้านภาษา ข้อกำหนดการติดตั้งใช้งาน และคำขอที่ต้องมีการดำเนินการ โมเดลที่ทำงานได้สมบูรณ์แบบกับลูกค้ารายหนึ่งอาจให้ผลลัพธ์เพียงพอใช้กับอีกรายหนึ่ง เราจึงทดสอบโมเดลเพื่อหาตัวที่ดีที่สุดสำหรับ use case และเกณฑ์เฉพาะของลูกค้าแต่ละราย แล้วใช้ผลลัพธ์นั้นตัดสินใจว่าโมเดลใดควรรับหน้าที่สนทนาสด จุดใดควรมีโมเดลอื่นช่วย และควรมีกลไกป้องกันใดในประสบการณ์นั้น
การเลือกโมเดลเป็นเพียงการตัดสินใจแรก กรอบการประเมินเดียวกันยังบอกเราว่าควรเพิ่มการยืนยันรหัสที่ซับซ้อนตรงไหน ป้องกันช่วงเงียบในบทสนทนาอย่างไร หรือส่งงานที่ยากกว่าไปยังเลเยอร์การใช้เหตุผลที่แข็งแกร่งกว่า เป้าหมายไม่ใช่การเลือกโมเดลเดียวมารองรับทุก use case แต่คือการมอบประสบการณ์ที่ดีที่สุดเท่าที่เป็นไปได้ให้กับลูกค้าของลูกค้าเรา
การประเมินโมเดลชั้นนำใน Arena
Voice Arena คือกรอบการประเมินโมเดลที่ทำซ้ำได้ของ Maven โดยให้โมเดลที่เข้ารับการทดสอบโทรออกจริงผ่านเครือข่ายโทรศัพท์สาธารณะ แล้วให้คะแนนสิ่งที่เกิดขึ้นจากมุมมองของลูกค้า เรานำหลักการประเมินแบบ blind และ pairwise มาปรับใช้กับระบบโทรศัพท์
การประเมินทุกครั้งเริ่มต้นด้วยสกอร์การ์ดเดียวกัน:
- ความลื่นไหลในการสนทนา: เอเจนต์ฟังดูเป็นธรรมชาติและชัดเจนเพียงใด
- การกู้คืนหลังถูกขัดจังหวะ: เอเจนต์หยุด เข้าใจคำขอใหม่ และตอบสนองต่อคำขอนั้นได้หรือไม่
- การรับรหัส: สามารถฟังและยืนยันชุดอักขระที่ผู้โทรอ่านออกเสียงจริงได้หรือไม่
- เวลาจนได้คำตอบที่เป็นประโยชน์: เวลารอจนได้คำตอบที่มีสาระ ไม่ใช่แค่การตอบรับเบื้องต้น
- ความเสถียรของการโทร: เอเจนต์ทำการโต้ตอบจนจบได้โดยไม่พลาดคำขอหรือส่งต่อโดยไม่จำเป็นหรือไม่
จากนั้นเราเพิ่มสถานการณ์ที่สำคัญต่อประสบการณ์เสียงของลูกค้ารายนั้นโดยเฉพาะ บริษัทที่สายซัพพอร์ตต้องจัดการหมายเลขซีเรียลสินค้าที่ซับซ้อน ต้องการการทดสอบภายใต้แรงกดดันที่ต่างจากบริษัทที่ดูแลเรื่องการคืนเงิน การนัดหมาย หรือคำถามด้านการเรียกเก็บเงิน กรอบการประเมินยังคงเหมือนเดิม ขณะที่สกอร์การ์ดสอดคล้องกับการใช้งานแต่ละแบบ
จุดเด่นของ GPT-Live-1 จาก OpenAI
GPT-Live-1 โดดเด่นเป็นพิเศษในด้านที่คนส่วนใหญ่สังเกตเห็นเป็นอย่างแรก นั่นคือการผลัดกันพูด โมเดลนี้ประมวลผลเสียงพูดได้อย่างต่อเนื่อง ทำให้ตอบสนองได้ทันทีเมื่อผู้โทรพูดแทรกเอเจนต์ แทนที่จะรอตัวตรวจจับการผลัดพูดแยกต่างหาก
เราทดสอบโมเดลเสียงล่าสุดของ OpenAI ให้กับลูกค้ารายหนึ่งในกลุ่ม Fortune 50 ที่มีสายโทรเข้าหลายล้านสายต่อปี โดยทดสอบกับ use case ด้านซัพพอร์ตและการขาย การประเมินนี้ออกแบบมาเพื่อวัดความสามารถของโมเดลในการจัดการรหัสสินค้าที่ซับซ้อนและการวินิจฉัยที่ยาว และ GPT-Live-1 นำหน้าโมเดลอื่นที่เราทดสอบในตัวชี้วัดสำคัญหลายด้าน:
- อ่านทวน service tag ได้ถูกต้องแม่นยำ 90% สูงที่สุดในการทดสอบ
- กู้คืนหลังถูกขัดจังหวะได้ 100% ตอบคำถามใหม่ได้ทุกครั้งหลังถูกพูดแทรก
- เวลาตอบสนองต่อคำขอใหม่มัธยฐาน 1,257 มิลลิวินาที เร็วที่สุดในชุดทดสอบ
- เวลาตอบมัธยฐาน 1.7 วินาที โดย 81% ของคำตอบมาถึงภายใน 2 วินาที
โมเดลนี้ไม่ได้นำในทุกสกอร์การ์ด การอ่านทวนหมายเลขซีเรียลยาวๆ ได้ถูกต้องแม่นยำอยู่ที่ 60% โดยมีเลขศูนย์ซ้ำเป็นจุดอ่อนหลัก และ 38% ของคำตอบทำให้ผู้โทรต้องรอนานกว่า 5 วินาทีกว่าจะได้เนื้อหาที่มีสาระ หลังการตอบรับเบื้องต้นว่า “ได้เลย” สิ่งเหล่านี้ไม่ใช่เหตุผลที่จะมองข้ามโมเดลนี้ แต่เป็นรอยต่อในการใช้งานจริงแบบที่ Arena ถูกออกแบบมาให้เผยออกมา
GPT-Live-1 เหมาะเป็นตัวนำ มากกว่าเป็นโมเดลเดียวสำหรับทุกสาย
ในกรณีนี้ GPT-Live-1 เป็นตัวเลือกที่น่าสนใจสำหรับการนำบทสนทนา: รวดเร็ว ตอบสนองดี และเสถียรเป็นพิเศษเมื่อผู้โทรพูดแทรก สำหรับช่วงที่ต้องจัดการรหัสจำนวนมากหรือต้องใช้การใช้เหตุผลสูง ระบบอาจต้องมีอีกเลเยอร์หนึ่ง นั่นคือเหตุผลที่ลูกค้ารายนี้เลือก Maven เราสร้างประสบการณ์เสียงจากหลักฐาน แทนที่จะให้ลูกค้าทุกรายต้องรับข้อแลกเปลี่ยนของโมเดลเดียว
ร่วมกันยกระดับมาตรฐานด้านเสียง
สำหรับลูกค้า: นำสายที่จะทำให้เดโมพังมาให้เรา ไม่ว่าจะเป็นรหัสที่ซับซ้อน การพูดแทรกซ้ำๆ งานหลายขั้นตอน หรืออะไรก็ตามที่ไม่สามารถจบลงด้วยการ deflect เราจะประเมินแต่ละโมเดลภายใต้สภาพที่ผู้โทรของคุณเจอจริง
สำหรับผู้ให้บริการโมเดล: หากต้องการเห็นว่าโมเดลของคุณรับมือกับการโทรจริงระดับองค์กรได้ดีเพียงใด เรายินดีนำโมเดลของคุณเข้าสู่ Arena ยิ่งวงการพัฒนาไปไกลเท่าไร ประสบการณ์เสียงก็ยิ่งดีขึ้นสำหรับลูกค้าทุกราย
ทดลองกับบทสนทนาของคุณเอง
ขอรับเดโมเฉพาะสำหรับคุณฟรี
