Varje plattform för AI-agenter på marknaden redovisar en hög lösningsgrad. Läs tillräckligt många leverantörspresentationer så flyter siffrorna ihop. Det är kategorins tysta problem just nu: när alla påstår samma sorts resultat slutar köparna tro på något av det, och den siffra som borde betyda mest blir till bakgrundsbrus.
Det finns ett undantag. En siffra slutar vara marknadsföring i samma ögonblick som kunden tar fram den själv, under egna förutsättningar, med sina egna kunder i andra änden. Det är skillnaden mellan att en leverantör säger att dess agenter löser de flesta ärenden och att en köpare kör testet och får de flesta ärenden lösta.
Thumbtack gjorde testet själva
Innan beslutet körde Thumbtack en direkt jämförelse av de ledande plattformarna för AI-agenter och mätte var och en mot samma skarpa supporttrafik. Maven fick mer än 15 % högre CSAT än samtliga konkurrenter i jämförelsen.
Det värt att stanna vid är vem som genomförde testet. Det här var inte en siffra som Maven rapporterade om sig själv – det var ett resultat som Thumbtack mätte, på Thumbtacks volym, mot Thumbtacks egen nöjdhetsnivå. Plattformarna i testet fick inte styra förutsättningarna. Det gjorde köparen.
Därför väger ett köparlett test tyngre
En leverantörsdemo är en kontrollerad miljö. Frågorna är kända, datan är ren och de besvärliga specialfallen har diskret lämnats utanför. Inget av det säger hur en plattform beter sig när en frustrerad kund frågar något som manuset aldrig förutsåg, klockan 23 en långhelg.
Ett kundlett test tar bort den kontrollen. Riktiga ärenden kommer in i den form kunderna skickar dem. Nöjdheten bedöms av människor som inte bryr sig om vilken leverantör som vinner. Antingen löser plattformen problemet och kunden blir nöjd, eller så gör den det inte.
Det är också det som skiljer de starkaste CX-teamen från resten. De väljer inte en AI-agent för företag enbart utifrån funktionslistor eller analytikerrapporter. De definierar det resultat de bryr sig om – självständig lösningsgrad och kundnöjdhet – och mäter det sedan på sin egen trafik innan de skriver på något.
Mönstret upprepas hos Clio
Thumbtack är inte den enda köparen som arbetar så. Clio, företaget inom juridisk teknik, utvärderade 32 leverantörer, begränsade fältet till en direkt jämförelse mellan fler än 10 och valde sedan Maven. Införandet gav 80 % självständig lösningsgrad och gjorde den bemannade supporten fyra gånger snabbare.
Två företag i olika branscher, med väldigt olika supportprofiler, gjorde oberoende utvärderingar och landade på samma ställe. Ett resultat kan vara en slump. Två är ett mönster. Inget av utfallen byggde på att ta leverantörens ord för det.
Vad det betyder för din egen utvärdering
Om du utvärderar plattformar för AI-agenter just nu handlar lärdomen mindre om Maven och mer om metod. Köparna som gör rätt har fyra saker gemensamt.
- Definiera måttet före demon. Håll alla leverantörer till samma definition. En lösningsgrad som i tysthet räknar in avledning är inte samma siffra.
- Testa på skarp trafik, inte på utvalda exempel. Hur en plattform hanterar dina stökigaste ärenden är det enda beteende som förutsäger hur den fungerar i drift.
- Mät nöjdheten mot din verkliga utgångsnivå. En CSAT-ökning betyder bara något i förhållande till vad dina kunder upplever i dag.
- Ge en uppmätt direkt jämförelse mer vikt än en polerad pitch. Leverantören med den bästa presentationen och leverantören med de bästa resultaten är inte alltid samma företag.
Gör en sådan utvärdering så sorterar marknadsföringspåståendena ut sig själva. Plattformar som bara presterar under kontrollerade förhållanden avslöjar det snabbt när riktig kundsupporttrafik börjar strömma in.
Måttet som kunderna faktiskt märker
Det Thumbtack och Clio mätte var inte hur många samtal som kunde styras bort från en människa. Det var hur många kundproblem som faktiskt blev lösta, och hur kunderna kände sig efteråt. Den sortens siffra håller eftersom kunderna märker den direkt. Blir det fel syns kostnaden där det verkligen gör ont: nöjdhetsmått, återkommande affärer och ett förtroende som tar lång tid att bygga upp igen när det väl har rubbats.
För en CX-chef som sorterar bland leverantörernas påståenden är lärdomen från båda företagen densamma. Plattformarna som är värda att ta med på kortlistan är de som är villiga att mätas på din trafik, efter dina krav, med dina kunder som bedömer resultatet. Allt annat är fortfarande bara påståenden.
Se det på dina egna konversationer.
Begär en kostnadsfri, personlig demo.
