As melhores experiências de voz são feitas sob medida
Toda demonstração de IA de voz soa ótima no alto-falante de um notebook. Áudio de banda larga, uma sala silenciosa, um apresentador que não interrompe. Depois, esse mesmo modelo vai para uma linha telefônica em produção: o áudio é comprimido para 8 kHz, a rede acrescenta mais 100 a 200 milissegundos e um cliente de verdade dita um número de série de 22 caracteres com 4 zeros seguidos e interrompe a resposta no meio.
Essa diferença é o principal motivo de a voz continuar sendo o canal que a maioria das empresas ainda não automatizou. A dificuldade não está em fazer um modelo de voz soar bem em uma demonstração; está em fazê-lo funcionar quando o cliente interrompe, dita um identificador longo, alterna entre idiomas ou precisa que o agente execute uma ação na conta dele. Por isso deixamos de confiar em benchmarks publicados, inclusive os medidos no próprio app do fornecedor, e criamos uma forma de testar modelos de voz do jeito que os clientes os vivenciam: em uma ligação telefônica. O modelo mais recente a passar por esse teste é o GPT-Live-1 da OpenAI.
Como a Maven aborda a escolha do modelo
A Maven usa um conjunto de modelos de ponta para impulsionar as experiências de voz dos clientes. Cada cliente tem um caso de uso próprio: consultas de conta, identificadores complexos, diagnósticos de várias etapas, interrupções, requisitos de idioma, especificações de implantação e solicitações que exigem uma ação. Um modelo que funciona perfeitamente para um cliente pode ter resultados apenas razoáveis para outro. Por isso, testamos os modelos para identificar o melhor para os casos de uso e os critérios específicos de cada cliente. Usamos esses resultados para decidir qual modelo deve conduzir a conversa ao vivo, onde outro modelo deve ajudar e quais salvaguardas devem fazer parte da experiência.
A escolha do modelo é só a primeira decisão. O mesmo framework de avaliação também mostra onde adicionar confirmação para identificadores complexos, evitar silêncios na conversa ou direcionar uma tarefa mais difícil para uma camada de raciocínio mais robusta. O objetivo não é escolher um único modelo para todos os casos de uso. É oferecer a melhor experiência possível aos clientes dos nossos clientes.
Avaliando os melhores modelos no Arena
O Voice Arena é o framework de avaliação de modelos replicável da Maven. Ele submete os modelos candidatos a chamadas reais de saída pela rede telefônica pública e depois avalia o que aconteceu do ponto de vista do cliente. Adotamos o rigor da avaliação cega e em pares e o adaptamos para a telefonia.
Toda avaliação começa com o mesmo scorecard:
- Fluência conversacional: quão natural e claro o agente soa.
- Recuperação após interrupções: se o agente para, entende a nova solicitação e responde a ela.
- Captura de identificadores: se ele consegue ouvir e confirmar as sequências que os clientes realmente ditam.
- Tempo até uma resposta útil: o tempo de espera por uma resposta substancial, e não só por uma confirmação inicial.
- Confiabilidade da chamada: se o agente conclui a interação sem perder solicitações nem fazer transferências evitáveis.
Em seguida, acrescentamos os cenários que importam para a experiência de voz de cada cliente. Uma empresa cuja linha de suporte lida com números de série complexos exige um teste de estresse diferente de outra que trata de reembolsos, agendamentos ou dúvidas de cobrança. O framework continua o mesmo, enquanto os scorecards se ajustam a cada implantação.
Onde o GPT-Live-1 da OpenAI se destacou
O GPT-Live-1 foi especialmente forte no aspecto que a maioria das pessoas percebe primeiro: a alternância de turnos. O modelo processa a fala de forma contínua, o que permite responder quando o cliente fala por cima do agente, sem depender de um detector de turno separado.
Colocamos o modelo de voz mais recente da OpenAI à prova para um de nossos clientes da Fortune 50, que recebe milhões de chamadas por ano, nos seus casos de uso de suporte e vendas. A avaliação foi adaptada à capacidade dos modelos de lidar com identificadores de produto complexos e diagnósticos longos, e o GPT-Live-1 liderou entre os modelos testados em várias métricas importantes:
- 90% de repetição exata das service tags, a maior taxa do teste.
- 100% de recuperação após interrupções; ele respondeu à nova pergunta depois de todas as interrupções.
- 1.257 milissegundos de resposta mediana à nova solicitação, o mais rápido da bancada de testes.
- 1,7 segundo de tempo mediano de resposta, com 81% das respostas chegando em até 2 segundos.
O modelo não liderou todos os scorecards. A repetição exata de números de série longos ficou em 60%, com os zeros repetidos como principal ponto fraco. E 38% das respostas fizeram o cliente esperar mais de 5 segundos por algo substancial depois de um “Claro” inicial. Não são motivos para descartar o modelo. São justamente o tipo de falha em produção que o Arena foi criado para expor.
O GPT-Live-1 funciona melhor como protagonista do que como modelo único para todas as chamadas
Nesse caso, o GPT-Live-1 é uma ótima escolha para conduzir a conversa: é rápido, responsivo e excepcionalmente confiável quando o cliente interrompe. Para momentos com muitos identificadores ou que exigem mais raciocínio, o sistema pode precisar de outra camada. Foi por isso que eles escolheram a Maven. Construímos a experiência de voz com base em evidências, em vez de pedir que cada cliente herde as limitações de um único modelo.
Ajude-nos a elevar o padrão da voz
Clientes: tragam as chamadas que derrubariam uma demonstração: identificadores complexos, interrupções repetidas, tarefas de várias etapas ou qualquer situação que não possa terminar em deflexão. Vamos avaliar cada modelo nas condições que os seus clientes realmente enfrentam.
Provedores de modelos: se vocês querem ver como o seu modelo se sai em chamadas corporativas reais, queremos colocá-lo no Arena. Quanto melhor o mercado ficar, melhor será a experiência de voz para todos os clientes.
Veja nas suas próprias conversas.
Solicite uma demonstração personalizada gratuita.
