Elk enterprise AI-agentplatform op de markt meldt een hoog oplospercentage. Lees genoeg presentaties van leveranciers en de cijfers gaan in elkaar over. Dat is het stille probleem van deze categorie: als iedereen hetzelfde soort resultaat claimt, geloven kopers er niets meer van, en verdwijnt het cijfer dat er het meest toe zou moeten doen in de ruis.
Er is één uitzondering. Een cijfer is geen marketing meer zodra een klant het zelf meet, onder eigen omstandigheden, met eigen klanten aan de andere kant. Dat is het verschil tussen een leverancier die zegt dat zijn agents de meeste vragen oplossen, en een koper die de test doet en ziet dat de meeste vragen worden opgelost.
Thumbtack deed de test zelf
Voordat het zich vastlegde, vergeleek het team van Thumbtack de toonaangevende AI-agentplatforms rechtstreeks met elkaar, elk gemeten op hetzelfde live supportverkeer. Maven scoorde een CSAT die meer dan 15% hoger lag dan die van elke andere concurrent in de vergelijking.
Het detail dat ertoe doet: wie de test uitvoerde. Dit was geen cijfer dat Maven over zichzelf rapporteerde, maar een resultaat dat Thumbtack mat, op het volume van Thumbtack, afgezet tegen de eigen tevredenheidsbaseline van Thumbtack. De platforms in de test konden de omstandigheden niet regisseren. De koper deed dat.
Waarom een test door de koper zwaarder weegt
Een demo van een leverancier is een gecontroleerde omgeving. De vragen zijn bekend, de data is schoon en lastige randgevallen worden stilletjes weggelaten. Niets daarvan vertelt je hoe een platform zich gedraagt als een gefrustreerde klant om 23.00 uur in een feestweekend iets vraagt wat het script nooit had voorzien.
Een benchmark door de klant haalt die controle weg. Echte tickets komen binnen in welke vorm klanten ze ook sturen. Tevredenheid wordt beoordeeld door mensen die het niet uitmaakt welke leverancier wint. Het platform lost het probleem op en laat een tevreden klant achter, of niet.
Dat is ook wat de sterkste CX-teams onderscheidt van de rest. Zij kiezen een enterprise AI-agent niet alleen op basis van featurelijstjes of analistenkwadranten. Ze bepalen welke uitkomst ze belangrijk vinden, autonome oplossing en klanttevredenheid, en meten die op hun eigen verkeer voordat ze iets tekenen.
Bij Clio herhaalt het patroon zich
Thumbtack is niet de enige koper die zo te werk gaat. Legal-techbedrijf Clio beoordeelde 32 leveranciers, bracht het veld terug tot een rechtstreekse vergelijking van meer dan 10 partijen en koos daarna voor Maven. De implementatie bereikte 80% autonome oplossing en maakte de live support 4 keer sneller.
Twee bedrijven, in verschillende sectoren, met heel verschillende supportprofielen, voerden onafhankelijke evaluaties uit en kwamen op hetzelfde uit. Eén resultaat is toeval. Twee is een patroon. Geen van beide uitkomsten hing af van het woord van een leverancier.
Wat dit betekent voor je eigen evaluatie
Ben je op dit moment AI-agentplatforms aan het evalueren? Dan gaat de les minder over Maven en meer over methode. Kopers die het goed doen, hebben vier dingen gemeen.
- Bepaal de metric vóór de demo. Houd elke leverancier aan dezelfde definitie. Een oplospercentage dat stilletjes deflectie meetelt, is niet hetzelfde cijfer.
- Test op live verkeer, niet op zorgvuldig gekozen voorbeelden. Alleen hoe een platform je rommeligste tickets afhandelt, voorspelt hoe het in productie presteert.
- Beoordeel tevredenheid ten opzichte van je echte baseline. Een hogere CSAT betekent alleen iets in vergelijking met wat je klanten vandaag ervaren.
- Laat een gemeten vergelijking zwaarder wegen dan een gelikte pitch. De leverancier met de beste presentatie en de leverancier met de beste resultaten zijn niet altijd hetzelfde bedrijf.
Voer zo'n evaluatie uit en de marketingclaims vallen vanzelf op hun plek. Platforms die alleen in gecontroleerde omstandigheden presteren, laten dat snel zien zodra echt klantenserviceverkeer binnenkomt.
De metric die klanten echt voelen
Thumbtack en Clio maten niet hoeveel gesprekken bij een mens weggehouden konden worden. Ze maten hoeveel klantproblemen daadwerkelijk werden opgelost, en hoe mensen zich daarna voelden. Zo'n cijfer houdt stand omdat klanten het direct voelen. Zit je ernaast, dan zie je de kosten op plekken die ertoe doen: tevredenheidsscores, terugkerende klanten en vertrouwen dat maar langzaam herstelt als het eenmaal is beschadigd.
Voor een CX-leider die door leveranciersclaims heen moet, is de les van beide bedrijven dezelfde. De platforms die op je shortlist horen, zijn degene die bereid zijn zich te laten meten op jouw verkeer, volgens jouw normen, met jouw klanten die het resultaat beoordelen. Al het andere blijft gewoon een claim.
Zie het op je eigen gesprekken.
Vraag een gratis demo op maat aan.
