Ogni piattaforma enterprise di agenti AI sul mercato dichiara un tasso di risoluzione elevato. Basta leggere qualche presentazione dei fornitori e i numeri iniziano a confondersi. È questo il problema silenzioso della categoria oggi: quando tutti dichiarano lo stesso tipo di risultato, i buyer smettono di crederci, e il dato che dovrebbe contare di più si perde nel rumore di fondo.
C'è un'eccezione. Un numero smette di essere marketing nel momento in cui è il cliente stesso a produrlo, alle sue condizioni, con i suoi clienti dall'altra parte. È la differenza tra un fornitore che afferma che i suoi agenti risolvono la maggior parte dei problemi e un buyer che conduce il test e vede risolta la maggior parte dei problemi.
Thumbtack ha condotto il test in prima persona
Prima di prendere un impegno, il team di Thumbtack ha eseguito un benchmark diretto tra le principali piattaforme di agenti AI, misurandole tutte sullo stesso traffico di supporto reale. Maven ha ottenuto punteggi CSAT superiori di oltre il 15% rispetto a ogni concorrente del confronto.
Il dettaglio su cui vale la pena soffermarsi è chi ha condotto il test. Non si trattava di un numero dichiarato da Maven su se stessa, ma di un risultato misurato da Thumbtack, sui volumi di Thumbtack, rispetto alla baseline di soddisfazione di Thumbtack. Le piattaforme in gara non hanno potuto preparare le condizioni. Le ha decise il buyer.
Perché un test condotto dal buyer pesa di più
Una demo del fornitore è un ambiente controllato. Le domande sono note, i dati sono puliti, i casi limite scomodi vengono lasciati fuori senza dirlo. Nulla di tutto questo ti dice come si comporta una piattaforma quando un cliente frustrato chiede qualcosa che il copione non aveva previsto, alle 23 di un weekend festivo.
Un benchmark del cliente elimina quel controllo. I ticket reali arrivano nella forma in cui i clienti li inviano. La soddisfazione viene valutata da persone a cui non importa quale fornitore vinca. La piattaforma o risolve il problema e lascia il cliente soddisfatto, oppure no.
È anche questo che distingue i migliori team CX dagli altri. Non scelgono un agente AI enterprise basandosi solo su checklist di funzionalità o griglie degli analisti. Definiscono il risultato che conta per loro, risoluzione autonoma e soddisfazione del cliente, e poi lo misurano sul proprio traffico prima di firmare qualsiasi cosa.
Lo schema si ripete con Clio
Thumbtack non è l'unico buyer a lavorare in questo modo. Clio, azienda di tecnologia legale, ha valutato 32 fornitori, ha ristretto il campo a un confronto diretto tra più di 10 e poi ha scelto Maven. Il deployment ha raggiunto l'80% di risoluzione autonoma e ha reso il supporto dal vivo 4 volte più veloce.
2 aziende, in settori diversi, con profili di supporto molto differenti, hanno condotto valutazioni indipendenti e sono arrivate alla stessa conclusione. Un risultato può essere un caso. 2 sono uno schema. Nessuno dei due esiti si è basato sulla parola di un fornitore.
Cosa significa per la tua valutazione
Se stai valutando piattaforme di agenti AI in questo momento, la lezione riguarda meno Maven e più il metodo. I buyer che fanno la scelta giusta hanno 4 cose in comune.
- Definiscono la metrica prima della demo. Applicano a ogni fornitore la stessa definizione. Un tasso di risoluzione che include silenziosamente la deflection non è lo stesso numero.
- Testano sul traffico reale, non su campioni selezionati. Il modo in cui una piattaforma gestisce i tuoi ticket più complicati è l'unico comportamento che predice la produzione.
- Valutano la soddisfazione rispetto alla baseline reale. Un aumento del CSAT ha senso solo rispetto a ciò che i tuoi clienti vivono oggi.
- Danno più peso a un confronto diretto misurato che a un pitch impeccabile. Il fornitore con la presentazione migliore e quello con i risultati migliori non sono sempre la stessa azienda.
Conduci una valutazione del genere e le promesse di marketing si chiariscono da sole. Le piattaforme che funzionano solo in condizioni controllate lo mostrano in fretta quando il vero traffico di assistenza clienti inizia ad arrivare.
La metrica che i clienti percepiscono davvero
Ciò che Thumbtack e Clio hanno misurato non era quante conversazioni si potessero allontanare da un operatore umano, ma quanti problemi dei clienti venissero effettivamente risolti e come si sentissero le persone dopo. Un numero del genere regge perché i clienti lo percepiscono direttamente. Se sbagli, il costo si manifesta in modo concreto: punteggi di soddisfazione, clienti che non tornano, una fiducia lenta da ricostruire una volta persa.
Per un leader CX che deve orientarsi tra le promesse dei fornitori, la lezione delle 2 aziende è la stessa. Le piattaforme da mettere in shortlist sono quelle disposte a farsi misurare sul tuo traffico, secondo i tuoi standard, con i tuoi clienti a valutare il risultato. Tutto il resto resta solo una promessa.
Mettilo alla prova sulle tue conversazioni.
Richiedi una demo personalizzata gratuita.
