Toda plataforma corporativa de agentes de IA do mercado divulga uma alta taxa de resolução. Leia apresentações de fornecedores suficientes e os números começam a se confundir. Esse é o problema silencioso da categoria hoje: quando todos afirmam o mesmo tipo de resultado, os compradores deixam de acreditar em qualquer um deles, e o número que mais deveria importar vira ruído de fundo.
Há uma exceção. Um número deixa de ser marketing no momento em que o próprio cliente o produz, nas suas próprias condições, com os seus próprios clientes do outro lado. Essa é a diferença entre um fornecedor dizer que seus agentes resolvem a maioria dos problemas e um comprador fazer o teste e ver a maioria dos problemas resolvida.
A Thumbtack fez o teste por conta própria
Antes de fechar contrato, a equipe da Thumbtack conduziu um benchmark comparativo das principais plataformas de agentes de IA, avaliando cada uma com o mesmo tráfego real de suporte. A Maven saiu com pontuações de CSAT mais de 15% superiores às de todos os concorrentes da comparação.
O detalhe que merece atenção é quem conduziu o teste. Não foi um número que a Maven divulgou sobre si mesma, e sim um resultado medido pela Thumbtack, com o volume da Thumbtack, em relação à linha de base de satisfação da própria Thumbtack. As plataformas testadas não puderam definir as condições. Quem definiu foi o comprador.
Por que um teste conduzido pelo comprador tem mais peso
Uma demo de fornecedor é um ambiente controlado. As perguntas são conhecidas, os dados estão limpos e os casos extremos incômodos ficam discretamente de fora. Nada disso mostra como a plataforma se comporta quando um cliente frustrado pergunta algo que o roteiro nunca previu, às 23h de um feriado prolongado.
Um benchmark feito pelo cliente elimina esse controle. Os tickets reais chegam do jeito que os clientes os enviam. A satisfação é avaliada por pessoas que não se importam com qual fornecedor vai vencer. A plataforma resolve o problema e deixa o cliente satisfeito, ou não.
É também isso que separa as melhores equipes de CX das demais. Elas não escolhem um agente de IA corporativo apenas com base em checklists de funcionalidades ou quadrantes de analistas. Elas definem o resultado que importa, resolução autônoma e satisfação do cliente, e medem isso no próprio tráfego antes de assinar qualquer coisa.
O padrão se repete com a Clio
A Thumbtack não é o único comprador que trabalha assim. A Clio, empresa de tecnologia jurídica, avaliou 32 fornecedores, reduziu a lista a uma disputa direta entre mais de 10 e então escolheu a Maven. A implantação alcançou 80% de resolução autônoma e deixou o suporte ao vivo 4 vezes mais rápido.
2 empresas, de setores diferentes e com perfis de suporte muito distintos, fizeram avaliações independentes e chegaram ao mesmo lugar. 1 resultado pode ser acaso. 2 já formam um padrão. Nenhum dos resultados dependeu de confiar na palavra de um fornecedor.
O que isso significa para a sua avaliação
Se você está avaliando plataformas de agentes de IA agora, a lição tem menos a ver com a Maven e mais com o método. Os compradores que acertam fazem 4 coisas em comum.
- Defina a métrica antes da demo. Aplique a mesma definição a todos os fornecedores. Uma taxa de resolução que contabiliza deflexão sem avisar não é o mesmo número.
- Teste com tráfego real, não com amostras selecionadas. A forma como a plataforma lida com seus tickets mais complicados é o único comportamento que antecipa o que acontece em produção.
- Avalie a satisfação em relação à sua linha de base real. Um aumento de CSAT só faz sentido em comparação com o que seus clientes vivenciam hoje.
- Dê mais peso a uma comparação medida do que a um pitch bem produzido. O fornecedor com a melhor apresentação e o fornecedor com os melhores resultados nem sempre são a mesma empresa.
Faça uma avaliação assim e as promessas de marketing se resolvem sozinhas. Plataformas que só funcionam em condições controladas deixam isso claro rapidamente quando o tráfego real de suporte ao cliente começa a chegar.
A métrica que os clientes realmente sentem
O que a Thumbtack e a Clio mediram não foi quantas conversas poderiam ser desviadas de um atendente humano. Foi quantos problemas dos clientes foram de fato resolvidos e como as pessoas se sentiram depois. Esse tipo de número se sustenta porque os clientes o sentem diretamente. Se você errar, o custo aparece em algo concreto: nas pontuações de satisfação, na recompra e na confiança, que demora a ser reconstruída depois que se perde.
Para um líder de CX que precisa filtrar as promessas dos fornecedores, a lição das 2 empresas é a mesma. As plataformas que merecem entrar na sua lista são as que aceitam ser medidas no seu tráfego, pelos seus critérios, com os seus clientes avaliando o resultado. Todo o resto continua sendo apenas promessa.
Veja nas suas próprias conversas.
Solicite uma demonstração personalizada gratuita.
