Todas as plataformas empresariais de agentes de IA do mercado anunciam taxas de resolução elevadas. Depois de ler apresentações de fornecedores suficientes, os números começam a confundir-se. É esse o problema silencioso da categoria neste momento: quando todos afirmam obter o mesmo tipo de resultado, os compradores deixam de acreditar em qualquer um deles, e o indicador que deveria importar mais perde-se no ruído de fundo.
Há uma exceção. Um número deixa de ser marketing no momento em que é o próprio cliente a produzi-lo, nas suas próprias condições, com os seus próprios clientes do outro lado. É essa a diferença entre um fornecedor afirmar que os seus agentes resolvem a maioria das questões e um comprador fazer o teste e ver a maioria das questões resolvida.
A Thumbtack fez o teste por conta própria
Antes de se comprometer, a equipa da Thumbtack realizou um benchmark comparativo direto das principais plataformas de agentes de IA, avaliando cada uma com o mesmo tráfego real de suporte. A Maven obteve pontuações de CSAT mais de 15 % superiores às de todos os concorrentes na comparação.
O pormenor que merece atenção é quem conduziu o teste. Não foi um número que a Maven divulgou sobre si própria — foi um resultado medido pela Thumbtack, com o volume da Thumbtack e face à referência de satisfação da própria Thumbtack. As plataformas testadas não puderam preparar as condições. Quem o fez foi o comprador.
Porque é que um teste conduzido pelo comprador tem mais peso
Uma demonstração de um fornecedor é um ambiente controlado. As perguntas são conhecidas, os dados estão limpos e os casos-limite incómodos ficam discretamente de fora. Nada disso revela como uma plataforma se comporta quando um cliente frustrado pergunta algo que o guião nunca previu, às 23h de um fim de semana prolongado.
Um benchmark feito pelo cliente elimina esse controlo. Os pedidos reais chegam na forma que os clientes entenderem. A satisfação é avaliada por pessoas a quem é indiferente qual o fornecedor que ganha. A plataforma ou resolve a questão e deixa o cliente satisfeito, ou não.
É também isto que distingue as melhores equipas de CX das restantes. Não escolhem um agente de IA empresarial apenas com base em listas de funcionalidades ou grelhas de analistas. Definem o resultado que lhes interessa — resolução autónoma e satisfação do cliente — e medem-no no seu próprio tráfego antes de assinar o que quer que seja.
O padrão repete-se com a Clio
A Thumbtack não é o único comprador a trabalhar assim. A Clio, empresa de tecnologia jurídica, avaliou 32 fornecedores, reduziu a lista a uma comparação direta entre mais de 10 e acabou por escolher a Maven. A implementação atingiu 80 % de resolução autónoma e tornou o suporte ao vivo quatro vezes mais rápido.
Duas empresas, de setores diferentes e com perfis de suporte muito distintos, realizaram avaliações independentes e chegaram ao mesmo ponto. Um resultado pode ser um acaso. Dois são um padrão. Nenhum dos resultados dependeu de confiar na palavra de um fornecedor.
O que isto significa para a sua avaliação
Se está a avaliar plataformas de agentes de IA neste momento, a lição tem menos a ver com a Maven e mais com o método. Os compradores que acertam têm quatro práticas em comum.
- Definir a métrica antes da demonstração. Aplique a mesma definição a todos os fornecedores. Uma taxa de resolução que inclui discretamente o desvio não é o mesmo número.
- Testar com tráfego real, não com amostras selecionadas. A forma como uma plataforma lida com os seus pedidos mais complicados é o único comportamento que antecipa o que acontecerá em produção.
- Avaliar a satisfação face à sua referência real. Uma melhoria do CSAT só tem significado em relação ao que os seus clientes vivem hoje.
- Dar mais peso a uma comparação direta medida do que a uma apresentação polida. O fornecedor com a melhor apresentação e o fornecedor com os melhores resultados nem sempre são a mesma empresa.
Faça uma avaliação deste tipo e as alegações de marketing ficam rapidamente esclarecidas. As plataformas que só funcionam em condições controladas revelam-no depressa assim que começam a receber tráfego real de suporte ao cliente.
A métrica que os clientes realmente sentem
O que a Thumbtack e a Clio mediram não foi quantas conversas podiam ser afastadas de um humano. Foi quantos problemas dos clientes foram efetivamente resolvidos e como as pessoas se sentiram depois. Este tipo de número é sólido porque os clientes o sentem diretamente. Se falhar, o custo manifesta-se em algo concreto: pontuações de satisfação, repetição de negócio e uma confiança que demora a reconstruir depois de abalada.
Para um líder de CX a analisar as alegações dos fornecedores, a lição das duas empresas é a mesma. As plataformas que merecem estar na lista final são as que aceitam ser medidas no seu tráfego, segundo os seus critérios, com os seus clientes a avaliar o resultado. Tudo o resto continua a ser apenas uma alegação.
Veja-o nas suas próprias conversas.
Peça uma demonstração personalizada gratuita.
