Pourquoi une approche unique ne fonctionne pas avec les modèles d'IA vocale

Les meilleures expériences vocales sont conçues sur mesure

Toutes les démos d'IA vocale sonnent bien sur un haut-parleur d'ordinateur portable. Audio large bande, pièce silencieuse, présentateur qui n'interrompt pas. Puis ce même modèle passe sur une ligne téléphonique en production : l'audio est compressé à 8 kHz, le réseau ajoute encore 100 à 200 millisecondes, et un vrai appelant dicte un numéro de série de 22 caractères comportant quatre zéros consécutifs, en coupant la parole au milieu de la réponse.

Cet écart explique avant tout pourquoi la voix reste le canal que la plupart des entreprises n'ont pas encore automatisé. La difficulté n'est pas de faire bonne impression en démo avec un modèle vocal ; c'est de le faire fonctionner quand un appelant l'interrompt, dicte un long identifiant, change de langue ou a besoin que l'agent agisse sur son compte. C'est pourquoi nous avons cessé de nous fier aux benchmarks publiés, y compris ceux mesurés via l'application de l'éditeur, et avons conçu une méthode pour tester les modèles vocaux tels que les clients les vivent : au téléphone. Le dernier modèle soumis à ce test est GPT-Live-1 d'OpenAI.

Comment Maven aborde le choix du modèle

Maven s'appuie sur un ensemble de modèles de pointe pour alimenter les expériences vocales de ses clients. Chaque client a son propre cas d'usage : consultations de compte, identifiants complexes, diagnostics en plusieurs étapes, interruptions, exigences linguistiques, contraintes de déploiement, demandes nécessitant une action. Un modèle qui fonctionne parfaitement pour un client peut donner des résultats médiocres pour un autre. Nous testons donc les modèles afin d'identifier le meilleur pour les cas d'usage et les critères propres à chaque client. Ces résultats nous permettent de décider quel modèle doit mener la conversation en direct, où un autre modèle doit intervenir en appui et quels garde-fous intégrer à l'expérience.

Le choix du modèle n'est que la première décision. Le même cadre d'évaluation nous indique aussi où ajouter une confirmation pour les identifiants complexes, comment éviter les blancs dans la conversation ou quand confier une tâche plus difficile à une couche de raisonnement plus puissante. L'objectif n'est pas de choisir un modèle unique pour tous les cas d'usage. C'est d'offrir la meilleure expérience possible aux clients de nos clients.

Évaluer les meilleurs modèles dans l'Arena

La Voice Arena est le cadre d'évaluation de modèles reproductible de Maven. Elle soumet les modèles candidats à de vrais appels sortants sur le réseau téléphonique public, puis évalue le résultat du point de vue du client. Nous reprenons la rigueur de l'évaluation à l'aveugle par paires et l'adaptons à la téléphonie.

Chaque évaluation commence par la même grille :

• Fluidité conversationnelle : le naturel et la clarté de l'agent.
• Reprise après interruption : la capacité de l'agent à s'arrêter, comprendre la nouvelle demande et y répondre.
• Saisie des identifiants : la capacité à entendre et confirmer les chaînes de caractères que les appelants dictent réellement.
• Délai de réponse utile : le temps d'attente avant une réponse substantielle, et pas seulement un premier accusé de réception.
• Fiabilité des appels : la capacité de l'agent à mener l'interaction à terme sans manquer de demandes ni effectuer de transferts évitables.

Nous ajoutons ensuite les scénarios qui comptent pour l'expérience vocale de chaque client. Une entreprise dont la ligne de support traite des numéros de série complexes requiert un test de résistance différent de celle qui gère des remboursements, des rendez-vous ou des questions de facturation. Le cadre reste le même, tandis que les grilles sont adaptées au déploiement concerné.

Les points forts de GPT-Live-1 d'OpenAI

GPT-Live-1 s'est particulièrement distingué sur l'aspect que la plupart des gens remarquent en premier : l'alternance des tours de parole. Le modèle traite la parole en continu, ce qui lui permet de réagir lorsqu'un appelant parle en même temps que l'agent, sans attendre un détecteur de tour de parole distinct.

Nous avons mis le nouveau modèle vocal d'OpenAI à l'épreuve pour l'un de nos clients du Fortune 50, qui traite des millions d'appels par an, sur ses cas d'usage de support et de vente. Son évaluation portait sur la capacité des modèles à gérer des identifiants produits complexes et de longs diagnostics, et GPT-Live-1 est arrivé en tête des modèles testés sur plusieurs indicateurs clés :

• 90 % de restitution exacte des numéros de service, le meilleur taux du test.
• 100 % de reprise après interruption : il a traité la nouvelle question après chaque interruption.
• 1 257 millisecondes de délai médian de réponse à la nouvelle demande, le plus rapide du banc d'essai.
• 1,7 seconde de délai médian de réponse, avec 81 % des réponses livrées en moins de deux secondes.

Le modèle n'a pas dominé toutes les grilles. La restitution exacte des longs numéros de série atteignait 60 %, les zéros répétés constituant sa principale faiblesse. Et dans 38 % des cas, les appelants ont attendu plus de cinq secondes une réponse substantielle après un premier « Bien sûr ». Ce ne sont pas des raisons d'écarter le modèle. Ce sont précisément les failles de production que l'Arena est conçue pour révéler.

GPT-Live-1 : un excellent modèle principal, plutôt qu'un modèle unique pour tous les appels

Dans ce cas, GPT-Live-1 est un choix convaincant pour mener la conversation : il est rapide, réactif et d'une fiabilité remarquable lorsqu'un appelant l'interrompt. Pour les moments riches en identifiants ou exigeants en raisonnement, le système peut nécessiter une couche supplémentaire. C'est pour cela que ce client a choisi Maven. Nous construisons l'expérience vocale à partir des preuves, au lieu d'imposer à chaque client les compromis d'un seul modèle.

Aidez-nous à élever le niveau de la voix

Clients : apportez-nous les appels qui feraient échouer une démo : identifiants complexes, interruptions répétées, tâches en plusieurs étapes, ou tout ce qui ne peut pas se terminer par une déflexion. Nous évaluerons chaque modèle dans les conditions que vos appelants rencontrent réellement.

Fournisseurs de modèles : si vous voulez savoir comment votre modèle se comporte sur de vrais appels en entreprise, nous souhaitons le faire passer par l'Arena. Plus le niveau général progresse, meilleure devient l'expérience vocale pour chaque client.