Porque é que uma abordagem única não funciona com modelos de IA de voz

As melhores experiências de voz são feitas à medida

Qualquer demonstração de IA de voz soa bem no altifalante de um portátil. Áudio de banda larga, uma sala silenciosa, um apresentador que não interrompe. Depois, esse mesmo modelo vai para uma linha telefónica em produção: o áudio é comprimido para 8 kHz, a rede acrescenta mais 100 a 200 milissegundos e um cliente real lê um número de série de 22 caracteres com 4 zeros seguidos e interrompe a meio da resposta.

Essa diferença é o principal motivo pelo qual a voz continua a ser o canal que a maioria das empresas ainda não automatizou. A dificuldade não está em pôr um modelo de voz a soar bem numa demonstração; está em fazê-lo funcionar quando um cliente interrompe, lê um identificador longo, muda de idioma ou precisa que o agente execute uma ação na sua conta. Foi por isso que deixámos de confiar em benchmarks publicados, incluindo os medidos na própria aplicação do fornecedor, e criámos uma forma de testar modelos de voz tal como os clientes os vivem: numa chamada telefónica. O modelo mais recente a passar por esse teste é o GPT-Live-1 da OpenAI.

Como a Maven aborda a escolha do modelo

A Maven utiliza um conjunto de modelos de ponta para suportar as experiências de voz dos clientes. Para oferecer a melhor experiência em cada caso de utilização — consultas de conta, identificadores complexos, diagnósticos com vários passos, interrupções, requisitos linguísticos, especificações de implementação e pedidos que exigem uma ação —, há que ter em conta que um modelo que funciona na perfeição para um cliente pode ter resultados marginais para outro. Por isso, testamos os modelos para identificar o melhor para os casos de utilização e os critérios específicos de cada cliente. Usamos esses resultados para decidir que modelo deve conduzir a conversa em direto, onde outro modelo deve ajudar e que salvaguardas devem fazer parte da experiência.

A escolha do modelo é apenas a primeira decisão. O mesmo enquadramento de avaliação indica-nos também onde acrescentar confirmação para identificadores complexos, evitar silêncios na conversa ou encaminhar uma tarefa mais difícil para uma camada de raciocínio mais robusta. O objetivo não é escolher um único modelo para todos os casos de utilização. É oferecer a melhor experiência possível aos clientes dos nossos clientes.

Avaliar os melhores modelos na Arena

A Voice Arena é o enquadramento de avaliação de modelos repetível da Maven. Submete os modelos candidatos a chamadas reais efetuadas através da rede telefónica pública e avalia o que aconteceu do ponto de vista do cliente. Inspiramo-nos no rigor da avaliação cega e comparativa aos pares e adaptamo-lo à telefonia.

Cada avaliação começa com a mesma grelha:

• Fluência conversacional: quão natural e claro soa o agente.
• Recuperação de interrupções: se o agente para, compreende o novo pedido e lhe responde.
• Captura de identificadores: se consegue ouvir e confirmar as sequências que os clientes realmente leem em voz alta.
• Tempo até uma resposta útil: o tempo de espera por uma resposta substantiva, e não apenas por uma confirmação inicial.
• Fiabilidade da chamada: se o agente conclui a interação sem falhar pedidos nem fazer transferências evitáveis.

Depois, acrescentamos os cenários relevantes para a experiência de voz desse cliente em concreto. Uma empresa cuja linha de apoio lida com números de série de produtos complexos precisa de um teste de esforço diferente de outra que trata reembolsos, marcações ou questões de faturação. O enquadramento mantém-se, enquanto as grelhas se ajustam à implementação específica.

Onde o GPT-Live-1 da OpenAI se destacou

O GPT-Live-1 foi particularmente forte no aspeto que a maioria das pessoas nota primeiro: a alternância de vez na conversa. O modelo processa a fala de forma contínua, o que lhe permite reagir quando o cliente fala por cima do agente, em vez de esperar por um detetor de turnos separado.

Pusemos o mais recente modelo de voz da OpenAI à prova para um dos nossos clientes Fortune 50, com milhões de chamadas por ano, nos seus casos de utilização de apoio e vendas. A avaliação centrou-se na capacidade dos modelos para lidar com identificadores de produto complexos e diagnósticos longos, e o GPT-Live-1 liderou os modelos testados em várias métricas-chave:

• 90 % de repetição exata das etiquetas de serviço, a taxa mais alta do teste.
• 100 % de recuperação de interrupções: respondeu à nova pergunta após todas as interrupções.
• 1 257 milissegundos de mediana de resposta ao novo pedido, o mais rápido do teste.
• 1,7 segundos de mediana de tempo de resposta, com 81 % das respostas a chegar em menos de 2 segundos.

O modelo não liderou em todas as métricas. A repetição exata de números de série longos ficou nos 60 %, sendo os zeros repetidos o seu principal ponto fraco. E 38 % das respostas obrigaram o cliente a esperar mais de 5 segundos por algo substantivo após um «Claro» inicial. Não são motivos para descartar o modelo. São exatamente o tipo de fragilidades em produção que a Arena foi concebida para expor.

O GPT-Live-1 conduz melhor quando não é o único modelo em todas as chamadas

Neste caso, o GPT-Live-1 é uma escolha convincente para conduzir a conversa: é rápido, reativo e invulgarmente fiável quando o cliente interrompe. Para momentos com muitos identificadores ou que exigem mais raciocínio, o sistema pode precisar de outra camada. Foi por isso que este cliente escolheu a Maven. Construímos a experiência de voz com base nas evidências, em vez de pedir a cada cliente que herde as limitações de um único modelo.

Ajude-nos a elevar a fasquia da voz

Clientes: tragam-nos as chamadas que fariam falhar uma demonstração: identificadores complexos, interrupções repetidas, tarefas com vários passos ou qualquer situação que não possa terminar numa deflexão. Avaliaremos cada modelo nas condições que os vossos clientes realmente enfrentam.

Fornecedores de modelos: se querem ver como o vosso modelo se comporta em chamadas empresariais reais, queremos submetê-lo à Arena. Quanto melhor ficar o setor, melhor será a experiência de voz para todos os clientes.