Por qué un enfoque único no funciona con los modelos de IA de voz

Las mejores experiencias de voz se diseñan a medida

Cualquier demo de IA de voz suena genial por el altavoz de una laptop. Audio de banda ancha, una sala silenciosa, un presentador que no interrumpe. Luego ese mismo modelo pasa a una línea telefónica en producción: el audio se comprime a 8 kHz, la red añade otros 100 a 200 milisegundos y una persona real dicta un número de serie de 22 caracteres con 4 ceros seguidos e interrumpe a mitad de la respuesta.

Esa brecha es la principal razón por la que la voz sigue siendo el canal que la mayoría de las empresas aún no ha automatizado. Lo difícil no es lograr que un modelo de voz suene bien en una demo, sino que funcione cuando quien llama interrumpe, dicta un identificador largo, cambia de idioma o necesita que el agente realice una acción en su cuenta. Por eso dejamos de fiarnos de los benchmarks publicados, incluidos los medidos en la propia app del proveedor, y creamos una forma de probar los modelos de voz tal como los viven los clientes: en una llamada telefónica. El modelo más reciente en pasar por esa prueba es GPT-Live-1 de OpenAI.

Cómo aborda Maven la elección del modelo

Maven utiliza un conjunto de modelos de vanguardia para impulsar las experiencias de voz de sus clientes. Cada cliente tiene un caso de uso propio: consultas de cuenta, identificadores complejos, diagnósticos de varios pasos, interrupciones, requisitos lingüísticos, especificaciones de implementación y solicitudes que exigen una acción. Un modelo que funciona a la perfección para un cliente puede dar resultados mediocres para otro. Por eso probamos los modelos para identificar el mejor para los casos de uso y criterios concretos de cada cliente. Con esos resultados decidimos qué modelo debe llevar la conversación en vivo, dónde debe ayudar otro modelo y qué salvaguardas debe incluir la experiencia.

La selección del modelo es solo la primera decisión. El mismo marco de evaluación también nos indica dónde añadir confirmaciones para identificadores complejos, cómo evitar silencios en una conversación o cuándo derivar una tarea más difícil a una capa de razonamiento más potente. El objetivo no es elegir un único modelo para todos los casos de uso, sino ofrecer la mejor experiencia posible a los clientes de nuestros clientes.

Evaluar los mejores modelos en el Arena

Voice Arena es el marco de evaluación de modelos de Maven, diseñado para ser repetible. Somete a los modelos candidatos a llamadas salientes reales en la red telefónica pública y luego puntúa lo ocurrido desde el punto de vista del cliente. Tomamos el rigor de la evaluación ciega por pares y lo adaptamos a la telefonía.

Toda evaluación parte de la misma tarjeta de puntuación:

• Fluidez conversacional: qué tan natural y claro suena el agente.
• Recuperación ante interrupciones: si el agente se detiene, entiende la nueva solicitud y responde a ella.
• Captura de identificadores: si puede oír y confirmar las cadenas que quienes llaman dictan en voz alta.
• Tiempo hasta una respuesta útil: la espera hasta una respuesta sustancial, no solo hasta un primer acuse de recibo.
• Fiabilidad de la llamada: si el agente completa la interacción sin pasar por alto solicitudes ni hacer transferencias evitables.

Después añadimos los escenarios relevantes para la experiencia de voz de ese cliente en particular. Una empresa cuya línea de soporte gestiona números de serie de producto complejos necesita una prueba de estrés distinta a la de otra que atiende reembolsos, citas o preguntas de facturación. El marco se mantiene, y las tarjetas de puntuación se ajustan a cada implementación.

Dónde destacó GPT-Live-1 de OpenAI

GPT-Live-1 fue especialmente sólido en el aspecto que la mayoría nota primero: la toma de turnos. El modelo procesa el habla de forma continua, lo que le permite responder cuando quien llama habla por encima del agente, sin esperar a un detector de turnos independiente.

Pusimos a prueba el modelo de voz más reciente de OpenAI para uno de nuestros clientes de Fortune 50, con millones de llamadas al año, en sus casos de uso de soporte y ventas. Su evaluación se centró en la capacidad de los modelos para trabajar con identificadores de producto complejos y diagnósticos largos, y GPT-Live-1 encabezó los modelos probados en varias métricas clave:

• 90 % de repetición exacta de sus etiquetas de servicio, la tasa más alta de la prueba.
• 100 % de recuperación ante interrupciones: abordó la nueva pregunta tras cada interrupción.
• Mediana de 1257 milisegundos de respuesta a la nueva solicitud, la más rápida del banco de pruebas.
• Mediana de 1,7 segundos de tiempo de respuesta, con el 81 % de las respuestas en menos de 2 segundos.

El modelo no lideró todas las métricas. La repetición exacta de números de serie largos fue del 60 %, con los ceros repetidos como su principal debilidad. Y en el 38 % de las respuestas, quienes llamaban tuvieron que esperar más de 5 segundos para obtener algo sustancial tras un «Claro» inicial. No son motivos para descartar el modelo. Son justo el tipo de fisuras de producción que el Arena está diseñado para revelar.

GPT-Live-1 funciona mejor como modelo principal que como único modelo para todas las llamadas

En este caso, GPT-Live-1 es una opción convincente para llevar la conversación: es rápido, receptivo y excepcionalmente fiable cuando quien llama interrumpe. En los momentos con muchos identificadores o que exigen más razonamiento, el sistema puede necesitar otra capa. Por eso este cliente eligió a Maven. Construimos la experiencia de voz a partir de la evidencia, en lugar de pedir a cada cliente que herede las limitaciones de un solo modelo.

Ayúdanos a elevar el listón de la voz

Clientes: tráenos las llamadas que harían fracasar una demo: identificadores complejos, interrupciones repetidas, tareas de varios pasos o cualquier caso que no pueda terminar en una desviación. Evaluaremos cada modelo en las condiciones que enfrentan realmente quienes te llaman.

Proveedores de modelos: si quieres ver cómo se comporta tu modelo en llamadas empresariales reales, queremos ponerlo a prueba en el Arena. Cuanto mejor sea el sector, mejor será la experiencia de voz para cada cliente.