Därför fungerar inte en universallösning för röst-AI-modeller

De bästa röstupplevelserna är skräddarsydda

Varje demo av röst-AI låter bra genom en laptophögtalare. Bredbandsljud, ett tyst rum och en presentatör som inte avbryter. Sedan kopplas samma modell till en riktig telefonlinje: ljudet komprimeras till 8 kHz, nätverket lägger till ytterligare 100 till 200 millisekunder och en verklig kund läser upp ett serienummer på 22 tecken med fyra nollor i rad och avbryter mitt i svaret.

Det gapet är den främsta anledningen till att röst fortfarande är den kanal som de flesta företag ännu inte har automatiserat. Svårigheten ligger inte i att få en röstmodell att låta bra i en demo, utan i att få den att fungera när en kund avbryter, läser upp en lång identifierare, växlar mellan språk eller behöver att agenten utför något i kontot. Därför slutade vi lita på publicerade benchmarks, även sådana som mäts i leverantörens egen app, och byggde ett sätt att testa röstmodeller så som kunderna upplever dem: i ett telefonsamtal. Den senaste modellen att gå igenom testet är OpenAI:s GPT-Live-1.

Så resonerar Maven kring modellvalet

Maven använder ett kluster av ledande modeller för att driva kundernas röstupplevelser. Varje kund har sina unika användningsfall – kontouppslag, komplexa identifierare, felsökning i flera steg, avbrott, språkkrav, driftsättningskrav och förfrågningar som kräver en åtgärd – och en modell som fungerar felfritt för en kund kan ge mediokra resultat för en annan. Därför testar vi modellerna för att hitta den bästa för varje kunds specifika användningsfall och kriterier. Resultaten avgör vilken modell som ska föra samtalet, var en annan modell bör bidra och vilka skyddsmekanismer som hör hemma i upplevelsen.

Modellvalet är bara det första beslutet. Samma utvärderingsramverk visar också var vi bör lägga till bekräftelse av komplexa identifierare, skydda mot tystnad i samtalet eller skicka en svårare uppgift vidare till ett starkare resonemangslager. Målet är inte att välja en enda modell för alla användningsfall. Det är att leverera bästa möjliga upplevelse för våra kunders kunder.

Utvärdering av de bästa modellerna i Arena

Voice Arena är Mavens repeterbara ramverk för modellutvärdering. Kandidatmodellerna får genomföra riktiga utgående samtal över det publika telefonnätet, och sedan bedöms resultatet ur kundens perspektiv. Vi lånar metodiken från blinda parvisa utvärderingar och anpassar den för telefoni.

Varje utvärdering börjar med samma bedömningsmall:

• Samtalsflyt: hur naturlig och tydlig agenten låter.
• Återhämtning vid avbrott: om agenten slutar prata, förstår den nya förfrågan och svarar på den.
• Inhämtning av identifierare: om den kan uppfatta och bekräfta de teckensträngar som kunder faktiskt läser upp.
• Tid till användbart svar: väntetiden till ett substantiellt svar, inte bara en första bekräftelse.
• Samtalstillförlitlighet: om agenten slutför interaktionen utan missade förfrågningar eller onödiga överlämningar.

Sedan lägger vi till de scenarier som är viktiga för just den kundens röstupplevelse. Ett företag vars supportlinje hanterar komplexa produktserienummer behöver ett annat stresstest än ett som hanterar återbetalningar, bokningar eller fakturafrågor. Ramverket är detsamma, medan bedömningsmallarna anpassas efter den specifika driftsättningen.

Där OpenAI:s GPT-Live-1 stack ut

GPT-Live-1 var särskilt stark på det som de flesta märker först: turtagning. Modellen bearbetar tal kontinuerligt, vilket gör att den kan reagera när en kund pratar i mun på agenten i stället för att vänta på en separat turdetektor.

Vi testade OpenAI:s senaste röstmodell för en av våra Fortune 50-kunder med miljontals samtal per år inom support och försäljning. Utvärderingen var inriktad på modellernas förmåga att hantera komplexa produktidentifierare och långa felsökningar, och GPT-Live-1 ledde bland de testade modellerna på flera viktiga mått:

• 90 % exakt återläsning av kundens servicetaggar, den högsta andelen i testet.
• 100 % återhämtning vid avbrott – den besvarade den nya frågan efter varje avbrott.
• 1 257 millisekunders mediansvarstid på den nya förfrågan, den snabbaste i testet.
• 1,7 sekunders mediansvarstid, där 81 % av svaren kom inom två sekunder.

Modellen ledde inte på alla punkter. Exakt återläsning av långa serienummer låg på 60 %, med upprepade nollor som största svaghet. Och vid 38 % av svaren fick kunden vänta mer än fem sekunder på något substantiellt efter ett inledande ”Visst”. Det är inga skäl att avfärda modellen. Det är just den sortens svagheter i drift som Arena är byggd för att synliggöra.

GPT-Live-1 gör sig bättre som ledande modell än som enda modell för alla samtal

I det här fallet är GPT-Live-1 ett starkt val för att leda samtalet: den är snabb, lyhörd och ovanligt pålitlig när en kund avbryter. I moment med många identifierare eller tunga resonemang kan systemet behöva ytterligare ett lager. Därför valde kunden Maven. Vi bygger röstupplevelsen utifrån belägg, i stället för att låta varje kund ärva en enskild modells kompromisser.

Hjälp oss höja ribban för röst

Kunder: ge oss de samtal som skulle få en demo att haverera – komplexa identifierare, upprepade avbrott, uppgifter i flera steg eller allt som inte får sluta i en avledning. Vi utvärderar varje modell mot de förhållanden som dina kunder faktiskt möter.

Modellleverantörer: om du vill se hur din modell klarar sig i riktiga företagssamtal vill vi gärna köra den genom Arena. Ju bättre fältet blir, desto bättre blir röstupplevelsen för alla kunder.