Piyasadaki her kurumsal yapay zekâ ajanı platformu yüksek bir çözüm oranı bildiriyor. Yeterince tedarikçi sunumu okuduğunuzda rakamlar birbirine karışmaya başlıyor. Kategorinin şu anki sessiz sorunu da bu: Herkes aynı türden sonucu iddia ettiğinde alıcılar hiçbirine inanmaz olur ve en önemli olması gereken rakam arka plandaki gürültüde kaybolur.
Tek bir istisna var. Bir rakam, müşteri onu kendi koşullarında, karşısında kendi müşterileriyle bizzat ürettiği anda pazarlama olmaktan çıkar. Bir tedarikçinin, ajanlarının sorunların çoğunu çözdüğünü söylemesiyle bir alıcının testi yürütüp sorunlarının çoğunun çözüldüğünü görmesi arasındaki fark budur.
Thumbtack testi kendisi yaptı
Thumbtack ekibi, karar vermeden önce önde gelen yapay zekâ ajanı platformlarını aynı canlı destek trafiği üzerinde ölçerek doğrudan karşılaştırmalı bir kıyaslama yaptı. Maven, karşılaştırmadaki tüm rakiplerinden %15'ten fazla daha yüksek CSAT puanlarıyla öne çıktı.
Üzerinde durmaya değer ayrıntı, testi kimin yaptığı. Bu, Maven'ın kendisi hakkında bildirdiği bir rakam değildi; Thumbtack'in kendi hacmi üzerinde, kendi memnuniyet referansına göre ölçtüğü bir sonuçtu. Testteki platformlar koşulları belirleyemedi. Koşulları alıcı belirledi.
Alıcının yürüttüğü test neden daha ağır basar
Tedarikçi demosu kontrollü bir ortamdır. Sorular bellidir, veriler temizdir, zorlu uç durumlar sessizce dışarıda bırakılır. Bunların hiçbiri, bir tatil hafta sonunda saat 23.00'te sinirli bir müşteri senaryonun hiç öngörmediği bir şey sorduğunda platformun nasıl davrandığını size söylemez.
Müşteri kıyaslaması bu kontrolü ortadan kaldırır. Gerçek destek talepleri, müşteriler hangi biçimde gönderirse o biçimde gelir. Memnuniyeti, hangi tedarikçinin kazandığını umursamayan insanlar puanlar. Platform ya sorunu çözer ve müşteriyi memnun bırakır ya da bırakmaz.
En güçlü CX ekiplerini diğerlerinden ayıran da budur. Bir kurumsal yapay zekâ ajanı seçerken yalnızca özellik listelerine veya analist tablolarına bakmazlar. Önem verdikleri sonucu, yani otonom çözümü ve müşteri memnuniyetini tanımlar, ardından herhangi bir şey imzalamadan önce bunu kendi trafikleri üzerinde ölçerler.
Clio'da da aynı örüntü
Bu şekilde çalışan tek alıcı Thumbtack değil. Hukuk teknolojisi şirketi Clio, 32 tedarikçiyi değerlendirdi, listeyi 10'dan fazla tedarikçinin doğrudan yarıştığı bir karşılaştırmaya indirdi ve ardından Maven'ı seçti. Dağıtım %80 otonom çözüme ulaştı ve canlı desteği 4 kat hızlandırdı.
Farklı sektörlerde, çok farklı destek profillerine sahip 2 şirket bağımsız değerlendirmeler yaptı ve aynı noktaya vardı. Tek bir sonuç tesadüf olabilir. 2 sonuç ise bir örüntüdür. Her iki sonuç da bir tedarikçinin sözüne güvenmeye dayanmıyordu.
Bu sizin değerlendirmeniz için ne anlama geliyor
Şu anda yapay zekâ ajanı platformlarını değerlendiriyorsanız, çıkarılacak ders Maven'dan çok yöntemle ilgili. Bunu doğru yapan alıcıların 4 ortak noktası var.
- Demodan önce metriği tanımlayın. Her tedarikçiyi aynı tanıma göre değerlendirin. Saptırmayı (deflection) sessizce çözüm sayan bir oran, aynı rakam değildir.
- Özenle seçilmiş örneklerle değil, canlı trafikle test edin. Bir platformun en karmaşık destek taleplerinizi nasıl ele aldığı, canlı ortamdaki davranışını öngören tek göstergedir.
- Memnuniyeti gerçek referans değerinize göre puanlayın. CSAT artışı ancak müşterilerinizin bugün yaşadığı deneyime göre bir anlam taşır.
- Parlak bir sunum yerine ölçülmüş doğrudan karşılaştırmaya ağırlık verin. En iyi sunuma sahip tedarikçiyle en iyi sonuçları veren tedarikçi her zaman aynı şirket değildir.
Böyle bir değerlendirme yürüttüğünüzde pazarlama iddiaları kendiliğinden ayıklanır. Yalnızca kontrollü koşullarda başarılı olan platformlar, gerçek müşteri desteği trafiği gelmeye başladığında bunu hızla belli eder.
Müşterilerin gerçekten hissettiği metrik
Thumbtack ve Clio'nun ölçtüğü şey, kaç görüşmenin insandan uzaklaştırılabildiği değildi. Kaç müşteri sorununun gerçekten çözüldüğü ve insanların sonrasında ne hissettiğiydi. Bu tür bir rakam ayakta kalır, çünkü müşteriler onu doğrudan hisseder. Yanlış yaptığınızda maliyet gerçek bir yerde ortaya çıkar: memnuniyet puanlarında, tekrar eden işlerde, bir kez sarsıldığında yeniden inşa edilmesi zaman alan güvende.
Tedarikçi iddialarını ayıklamaya çalışan bir CX lideri için her iki şirketten çıkan ders aynı. Kısa listeye almaya değer platformlar; sizin trafiğinizde, sizin standartlarınıza göre ve sonucu sizin müşterilerinizin puanladığı şekilde ölçülmeyi kabul edenlerdir. Bunun dışındaki her şey yalnızca bir iddiadır.
Kendi konuşmalarınız üzerinde görün.
Size özel ücretsiz demo talep edin.
