De beste spraakervaringen zijn maatwerk
Elke demo van voice AI klinkt prima via een laptopspeaker. Breedbandaudio, een stille ruimte, een presentator die niet onderbreekt. Daarna gaat datzelfde model live op een telefoonlijn: de audio wordt teruggebracht tot 8 kHz, het netwerk voegt nog eens 100 tot 200 milliseconden toe, en een echte beller leest een serienummer van 22 tekens met 4 opeenvolgende nullen voor en valt halverwege het antwoord in de rede.
Die kloof is de belangrijkste reden dat telefonie nog altijd het kanaal is dat de meeste grote organisaties nog niet hebben geautomatiseerd. De moeilijkheid zit niet in een spraakmodel dat goed klinkt in een demo, maar in een model dat blijft werken wanneer een beller onderbreekt, een lange code voorleest, van taal wisselt of wil dat de agent iets in zijn account regelt. Daarom zijn we gestopt met vertrouwen op gepubliceerde benchmarks, ook die via de eigen app van een leverancier zijn gemeten, en hebben we een manier ontwikkeld om spraakmodellen te testen zoals klanten ze ervaren: in een telefoongesprek. Het nieuwste model dat die test heeft doorlopen, is GPT-Live-1 van OpenAI.
Hoe Maven het model kiest
Maven gebruikt een cluster van geavanceerde modellen voor de spraakervaringen van klanten. Elke klant heeft een eigen use case: accountopzoekingen, complexe codes, diagnoses in meerdere stappen, onderbrekingen, taaleisen, implementatievereisten en verzoeken waarvoor een actie nodig is. Een model dat bij de ene klant vlekkeloos werkt, kan bij een andere klant matige resultaten opleveren. Daarom testen we modellen om voor elke klant het beste model te vinden voor diens specifieke use cases en criteria. Op basis van die resultaten bepalen we welk model het live gesprek voert, waar een ander model bijspringt en welke waarborgen in de ervaring thuishoren.
De modelkeuze is pas de eerste beslissing. Hetzelfde evaluatiekader laat ons ook zien waar we een bevestiging moeten toevoegen voor complexe codes, stiltes in het gesprek moeten voorkomen of een lastigere taak moeten doorsturen naar een sterkere redeneerlaag. Het doel is niet om één model te kiezen voor alle use cases. Het doel is de best mogelijke ervaring te leveren voor de klanten van onze klanten.
De beste modellen beoordelen in de Arena
De Voice Arena is het herhaalbare evaluatiekader van Maven voor modellen. Kandidaat-modellen voeren echte uitgaande gesprekken via het openbare telefoonnet, waarna we vanuit het perspectief van de klant beoordelen wat er gebeurde. We lenen de discipline van blinde, paarsgewijze evaluatie en passen die aan voor telefonie.
Elke evaluatie begint met dezelfde scorekaart:
- Gespreksvaardigheid: hoe natuurlijk en duidelijk de agent klinkt.
- Herstel na onderbreking: of de agent stopt, het nieuwe verzoek begrijpt en erop reageert.
- Herkenning van codes: of de agent de reeksen die bellers daadwerkelijk voorlezen kan verstaan en bevestigen.
- Tijd tot een bruikbaar antwoord: hoe lang je wacht op een inhoudelijk antwoord, niet alleen op een eerste bevestiging.
- Betrouwbaarheid van het gesprek: of de agent de interactie afrondt zonder verzoeken te missen of onnodig door te verbinden.
Daarna voegen we de scenario's toe die ertoe doen voor de spraakervaring van die specifieke klant. Een bedrijf waarvan de supportlijn complexe serienummers van producten verwerkt, vraagt om een andere stresstest dan een bedrijf dat terugbetalingen, afspraken of factuurvragen afhandelt. Het kader blijft gelijk, terwijl de scorekaarten aansluiten op de specifieke implementatie.
Waar GPT-Live-1 van OpenAI uitblonk
GPT-Live-1 was bijzonder sterk op een punt dat de meeste mensen als eerste opvalt: de beurtwisseling. Het model verwerkt spraak doorlopend, waardoor het kan reageren wanneer een beller door de agent heen praat, in plaats van te wachten op een aparte beurtdetector.
We hebben het nieuwste spraakmodel van OpenAI getest voor een van onze Fortune 50-klanten, die jaarlijks miljoenen gesprekken voert, op hun use cases voor support en sales. Hun evaluatie richtte zich op hoe goed modellen omgaan met complexe productcodes en lange diagnoses, en GPT-Live-1 scoorde op meerdere kernpunten het best van de geteste modellen:
- 90% exacte herhaling van hun servicetags, het hoogste percentage in de test.
- 100% herstel na onderbrekingen: na elke onderbreking ging het in op de nieuwe vraag.
- 1.257 milliseconden mediane reactietijd op het nieuwe verzoek, de snelste in de test.
- 1,7 seconden mediane antwoordtijd, waarbij 81% van de antwoorden binnen 2 seconden kwam.
Het model scoorde niet op elke scorekaart het best. De exacte herhaling van lange serienummers lag op 60%, met herhaalde nullen als grootste zwakte. En bij 38% van de antwoorden moesten bellers na een eerste 'Zeker' meer dan 5 seconden wachten op iets inhoudelijks. Dat zijn geen redenen om het model af te schrijven. Het zijn precies het soort zwakke plekken in productie die de Arena moet blootleggen.
GPT-Live-1 als leidend model, niet als enig model voor elk gesprek
In dit geval is GPT-Live-1 een overtuigende keuze om het gesprek te leiden: het is snel, reageert direct en is opvallend betrouwbaar wanneer een beller onderbreekt. Voor momenten met veel codes of zwaar redeneerwerk kan het systeem een extra laag nodig hebben. Daarom kozen ze voor Maven. We bouwen de spraakervaring op basis van bewijs, in plaats van elke klant op te zadelen met de compromissen van een enkel model.
Help ons de lat voor voice hoger te leggen
Klanten: leg ons de gesprekken voor waar een demo op stukloopt: complexe codes, herhaalde onderbrekingen, taken in meerdere stappen of alles wat niet mag eindigen in een doorverwijzing. We beoordelen elk model onder de omstandigheden waar jouw bellers echt mee te maken hebben.
Modelaanbieders: wil je zien hoe jouw model standhoudt in echte zakelijke gesprekken? Dan zetten we het graag in de Arena. Hoe beter het veld wordt, hoe beter de spraakervaring voor elke klant.
Zie het op je eigen gesprekken.
Vraag een gratis demo op maat aan.
