En iyi sesli deneyimler kişiye özel tasarlanır
Her ses yapay zekâsı demosu dizüstü bilgisayar hoparlöründen kulağa harika gelir. Geniş bant ses, sessiz bir oda, sözünüzü kesmeyen bir sunucu. Ardından aynı model canlı bir telefon hattına geçer: Ses 8 kHz'e sıkıştırılır, ağ 100 ila 200 milisaniye daha ekler ve gerçek bir arayan, art arda 4 sıfır içeren 22 karakterlik bir seri numarasını okurken yanıtın ortasında söze girer.
Sesin hâlâ çoğu kurumun henüz otomatikleştirmediği kanal olmasının temel nedeni bu açık. Zorluk, bir ses modelinin demoda iyi duyulmasını sağlamak değil; arayan söze girdiğinde, uzun bir tanımlayıcı okuduğunda, diller arasında geçiş yaptığında veya ajanın hesabında bir işlem yapmasına ihtiyaç duyduğunda modelin çalışmasını sağlamak. Bu yüzden tedarikçinin kendi uygulaması üzerinden ölçülenler dahil yayımlanmış benchmark'lara güvenmeyi bıraktık ve ses modellerini müşterilerin deneyimlediği şekilde, yani bir telefon görüşmesinde test etmenin bir yolunu geliştirdik. Bu testten geçen en yeni model OpenAI'ın GPT-Live-1'i.
Maven model seçimine nasıl yaklaşıyor?
Maven, müşterilerinin sesli deneyimlerini güçlendirmek için bir dizi son teknoloji model kullanır. Her müşterinin kendine özgü kullanım senaryolarında (hesap sorgulamaları, karmaşık tanımlayıcılar, çok adımlı teşhisler, kesintiler, dil gereksinimleri, dağıtım spesifikasyonları ve aksiyon gerektiren talepler) en iyi deneyimi sunmak gerekir; bir müşteri için kusursuz çalışan bir model, bir diğerinde vasat sonuçlar verebilir. Bu nedenle modelleri test ederek her müşterinin kendi kullanım senaryoları ve özgün kriterleri için en iyisini belirleriz. Bu sonuçlara dayanarak canlı konuşmayı hangi modelin yürüteceğine, nerede başka bir modelin destek olacağına ve deneyime hangi güvenlik önlemlerinin ekleneceğine karar veririz.
Model seçimi yalnızca ilk karardır. Aynı değerlendirme çerçevesi, karmaşık tanımlayıcılar için nerede doğrulama eklememiz, konuşmadaki sessiz kalma anlarına karşı nerede önlem almamız veya daha zor bir görevi nerede daha güçlü bir akıl yürütme katmanına yönlendirmemiz gerektiğini de gösterir. Amaç tüm kullanım senaryolarına hizmet edecek tek bir model seçmek değil. Müşterilerimizin müşterilerine mümkün olan en iyi deneyimi sunmaktır.
En iyi modelleri Arena'da değerlendirmek
Voice Arena, Maven'ın tekrarlanabilir model değerlendirme çerçevesidir. Aday modelleri genel telefon şebekesi üzerinden gerçek giden aramalarla test eder, ardından yaşananları müşterinin bakış açısından puanlar. Kör ve ikili karşılaştırmalı değerlendirme disiplinini alıp telefoni ortamına uyarlıyoruz.
Her değerlendirme aynı puan kartıyla başlar:
- Konuşma akıcılığı: Ajanın ne kadar doğal ve net duyulduğu.
- Kesinti toparlama: Ajanın durup yeni talebi anlayıp anlamadığı ve ona yanıt verip vermediği.
- Tanımlayıcı yakalama: Arayanların gerçekte sesli okuduğu dizileri duyup doğrulayabilmesi.
- Faydalı yanıt süresi: Yalnızca ilk onay değil, içerikli bir yanıt için beklenen süre.
- Arama güvenilirliği: Ajanın talepleri kaçırmadan veya önlenebilir devirler olmadan etkileşimi tamamlayıp tamamlamadığı.
Ardından o müşterinin sesli deneyimi için önemli olan senaryoları ekleriz. Destek hattı karmaşık ürün seri numaralarıyla ilgilenen bir şirketin ihtiyaç duyduğu stres testi, iadeler, randevular veya fatura sorularıyla ilgilenen bir şirketinkinden farklıdır. Çerçeve sabit kalırken puan kartları ilgili dağıtıma göre şekillenir.
OpenAI'ın GPT-Live-1'i nerede öne çıktı?
GPT-Live-1, çoğu kişinin ilk fark ettiği alanda özellikle güçlüydü: söz sırası yönetimi. Model konuşmayı kesintisiz işleyebiliyor; bu sayede ayrı bir söz sırası algılayıcısını beklemek yerine, arayan ajanın sözünü kestiğinde yanıt verebiliyor.
OpenAI'ın en yeni ses modelini, yılda milyonlarca arama alan Fortune 50 müşterilerimizden biri için destek ve satış kullanım senaryolarında test ettik. Değerlendirme, modellerin karmaşık ürün tanımlayıcıları ve uzun teşhislerle çalışma becerisine göre uyarlandı ve GPT-Live-1, test ettiğimiz modeller arasında birçok temel ölçütte birinci oldu:
- Servis etiketlerinde %90 birebir geri okuma; testteki en yüksek oran.
- %100 kesinti toparlama; her kesintiden sonra yeni soruyu ele aldı.
- Yeni talebe 1.257 milisaniye medyan yanıt süresi; test ortamındaki en hızlı sonuç.
- 1,7 saniye medyan yanıt süresi; yanıtların %81'i 2 saniye içinde geldi.
Model her puan kartında birinci olmadı. Uzun seri numaralarında birebir geri okuma oranı %60'ta kaldı; ana zayıflığı art arda gelen sıfırlardı. Ayrıca yanıtların %38'inde arayanlar, ilk “Tabii” yanıtının ardından içerikli bir cevap için 5 saniyeden fazla bekledi. Bunlar modeli göz ardı etmek için gerekçe değil. Arena'nın ortaya çıkarmak üzere tasarlandığı türden canlı ortam zaafları.
GPT-Live-1 her arama için tek model olmaktan çok, öncü model olarak daha iyi
Bu örnekte GPT-Live-1, konuşmayı yönetmek için güçlü bir seçenek: hızlı, duyarlı ve arayan söze girdiğinde alışılmadık derecede güvenilir. Tanımlayıcı yoğun veya akıl yürütme gerektiren anlarda ise sistemin başka bir katmana ihtiyacı olabilir. Müşterimizin Maven'ı seçmesinin nedeni de bu. Her müşteriden tek bir modelin ödünleşimlerini kabullenmesini istemek yerine, sesli deneyimi kanıtlara dayanarak kurguluyoruz.
Seste çıtayı yükseltmemize yardımcı olun
Müşteriler: Bir demoyu bozabilecek aramaları bize getirin: karmaşık tanımlayıcılar, tekrarlanan kesintiler, çok adımlı görevler veya deflection ile sonlanamayacak her şey. Her modeli, arayanlarınızın gerçekte karşılaştığı koşullara göre değerlendirelim.
Model sağlayıcıları: Modelinizin gerçek kurumsal aramalarda nasıl performans gösterdiğini görmek istiyorsanız, onu Arena'da test etmek isteriz. Alan ne kadar gelişirse, sesli deneyim de her müşteri için o kadar iyileşir.
Kendi konuşmalarınız üzerinde görün.
Size özel ücretsiz demo talep edin.
