חוויות הקול הטובות ביותר נבנות בהתאמה אישית
כל הדגמה של Voice AI נשמעת מצוין דרך רמקול של מחשב נייד. שמע בפס רחב, חדר שקט, מציג שלא קוטע. ואז אותו מודל עולה לקו טלפון בייצור, השמע נדחס ל-8 kHz, הרשת מוסיפה עוד 100 עד 200 מילישניות, ומתקשר אמיתי מקריא מספר סידורי בן 22 תווים עם 4 אפסים רצופים וקוטע את התשובה באמצעה.
הפער הזה הוא הסיבה העיקרית לכך שקול נותר הערוץ שרוב הארגונים עדיין לא עשו לו אוטומציה. הקושי אינו לגרום למודל קול להישמע טוב בהדגמה, אלא לגרום לו לעבוד כשמתקשר קוטע, מקריא מזהה ארוך, עובר בין שפות או צריך שהסוכן יבצע פעולה בחשבון שלו. לכן הפסקנו לסמוך על מדדי ביצועים שפורסמו, כולל כאלה שנמדדו באפליקציה של הספק עצמו, ובנינו דרך לבחון מודלי קול כפי שהלקוחות חווים אותם: בשיחת טלפון. המודל החדש ביותר שעבר את המבחן הזה הוא GPT-Live-1 של OpenAI.
כך Maven ניגשת לבחירת המודל
Maven משתמשת במקבץ של מודלים מתקדמים כדי להפעיל את חוויות הקול של הלקוחות. כל לקוח מגיע עם תרחיש שימוש ייחודי – איתור חשבונות, מזהים מורכבים, אבחון רב-שלבי, קטיעות, דרישות שפה, מפרטי פריסה ובקשות שמחייבות פעולה – ומודל שעובד ללא רבב אצל לקוח אחד עשוי להניב תוצאות שוליות אצל אחר. לכן אנחנו בוחנים מודלים כדי לזהות את המתאים ביותר לתרחישי השימוש ולקריטריונים הייחודיים של כל לקוח. אנחנו משתמשים בתוצאות כדי להחליט איזה מודל ינהל את השיחה החיה, היכן מודל אחר צריך לסייע, ואילו אמצעי הגנה צריכים להיות חלק מהחוויה.
בחירת המודל היא רק ההחלטה הראשונה. אותה מסגרת הערכה מראה לנו גם היכן להוסיף אישור למזהים מורכבים, איך למנוע שתיקות מתות בשיחה, או מתי לנתב משימה קשה יותר לשכבת הסקה חזקה יותר. המטרה אינה לבחור מודל יחיד לכל תרחישי השימוש, אלא לספק את החוויה הטובה ביותר האפשרית ללקוחות של הלקוחות שלנו.
הערכת המודלים הטובים ביותר ב-Arena
Voice Arena היא מסגרת הערכת המודלים של Maven, הניתנת לשחזור. היא מעבירה מודלים מועמדים שיחות יוצאות אמיתיות ברשת הטלפון הציבורית, ואז מדרגת את מה שקרה מנקודת המבט של הלקוח. אנחנו מאמצים את המתודולוגיה של הערכה עיוורת בזוגות ומתאימים אותה לטלפוניה.
כל הערכה מתחילה באותו כרטיס ציון:
- שטף שיחה: עד כמה הסוכן נשמע טבעי וברור.
- התאוששות מקטיעות: האם הסוכן עוצר, מבין את הבקשה החדשה ומגיב אליה.
- קליטת מזהים: האם הוא מצליח לשמוע ולאשר את המחרוזות שמתקשרים מקריאים בפועל.
- זמן עד לתשובה מועילה: זמן ההמתנה לתשובה מהותית, ולא רק לאישור ראשוני.
- אמינות השיחה: האם הסוכן משלים את האינטראקציה בלי לפספס בקשות ובלי העברות מיותרות לנציג.
לאחר מכן אנחנו מוסיפים את התרחישים החשובים לחוויית הקול של הלקוח הספציפי. חברה שקו התמיכה שלה מטפל במספרים סידוריים מורכבים של מוצרים צריכה מבחן לחץ שונה מחברה שעוסקת בהחזרים, בקביעת תורים או בשאלות חיוב. המסגרת נשארת עקבית, וכרטיסי הציון מותאמים לפריסה הספציפית.
היכן GPT-Live-1 של OpenAI בלט
GPT-Live-1 היה חזק במיוחד בהיבט שרוב האנשים שמים לב אליו ראשון: חילופי התורות בשיחה. המודל מעבד דיבור באופן רציף, וכך הוא יכול להגיב כשמתקשר מדבר מעל הסוכן, במקום לחכות לגלאי תורות נפרד.
העמדנו את מודל הקול החדש ביותר של OpenAI למבחן עבור אחד מלקוחות Fortune 50 שלנו, עם מיליוני שיחות בשנה, מול תרחישי התמיכה והמכירות שלו. ההערכה הותאמה ליכולת של המודלים להתמודד עם מזהי מוצר מורכבים ואבחונים ארוכים, ו-GPT-Live-1 הוביל את המודלים שבחנו בכמה מדדים מרכזיים:
- 90% הקראה חוזרת מדויקת של תגי השירות (service tags) של הלקוח, השיעור הגבוה ביותר במבחן.
- 100% התאוששות מקטיעות: הוא התייחס לשאלה החדשה אחרי כל קטיעה.
- חציון תגובה של 1,257 מילישניות לבקשה החדשה, המהיר ביותר מבין המודלים שנבחנו.
- חציון זמן תשובה של 1.7 שניות, כאשר 81% מהתשובות הגיעו בתוך 2 שניות.
המודל לא הוביל בכל כרטיסי הציון. ההקראה החוזרת המדויקת של מספרים סידוריים ארוכים עמדה על 60%, כשאפסים חוזרים היו נקודת התורפה העיקרית שלו. ו-38% מהתשובות גרמו למתקשרים לחכות יותר מ-5 שניות לתוכן מהותי אחרי תגובה ראשונית של "בטח". אלה אינן סיבות לפסול את המודל. אלה בדיוק סוג הסדקים בייצור שה-Arena נועד לחשוף.
GPT-Live-1: מוביל מצוין, לא מודל יחיד לכל שיחה
במקרה הזה, GPT-Live-1 הוא בחירה משכנעת להובלת השיחה: הוא מהיר, קשוב ואמין במיוחד כשמתקשר קוטע. ברגעים עתירי מזהים או כאלה שדורשים הסקה מעמיקה, המערכת עשויה להזדקק לשכבה נוספת. בגלל זה הלקוח בחר ב-Maven. אנחנו בונים את חוויית הקול סביב הראיות, במקום לבקש מכל לקוח לרשת את הפשרות של מודל אחד.
עזרו לנו להעלות את הרף בקול
לקוחות: הביאו לנו את השיחות שהיו מפילות הדגמה: מזהים מורכבים, קטיעות חוזרות, משימות רב-שלביות, או כל דבר שאסור שיסתיים בהסטה. נעריך כל מודל מול התנאים שהמתקשרים שלכם מתמודדים איתם בפועל.
ספקי מודלים: אם אתם רוצים לראות איך המודל שלכם מחזיק מעמד בשיחות ארגוניות אמיתיות, נשמח להעביר אותו ב-Arena. ככל שהתחום משתפר, כך חוויית הקול משתפרת עבור כל לקוח.
ראו את זה על השיחות שלכם.
בקשו הדגמה מותאמת אישית ללא עלות.
