Perché un approccio unico non funziona con i modelli di voice AI

Le migliori esperienze vocali sono costruite su misura

Ogni demo di voice AI suona benissimo dall'altoparlante di un portatile. Audio a banda larga, una stanza silenziosa, un presentatore che non interrompe. Poi lo stesso modello finisce su una linea telefonica in produzione: l'audio viene compresso a 8 kHz, la rete aggiunge altri 100-200 millisecondi e un chiamante reale legge un numero di serie di 22 caratteri con 4 zeri consecutivi, interrompendo a metà della risposta.

È questo divario il motivo principale per cui la voce resta il canale che la maggior parte delle aziende non ha ancora automatizzato. La difficoltà non sta nel far suonare bene un modello vocale in una demo, ma nel farlo funzionare quando un chiamante interrompe, legge un identificativo lungo, passa da una lingua all'altra o ha bisogno che l'agente esegua un'azione sul suo account. Per questo abbiamo smesso di fidarci dei benchmark pubblicati, compresi quelli misurati tramite l'app del vendor stesso, e abbiamo creato un modo per testare i modelli vocali così come li vivono i clienti: in una telefonata. L'ultimo modello a passare questo test è GPT-Live-1 di OpenAI.

Come Maven affronta la scelta del modello

Maven usa un insieme di modelli all'avanguardia per alimentare le esperienze vocali dei clienti. Ogni cliente ha casi d'uso specifici: ricerche sull'account, identificativi complessi, diagnosi in più passaggi, interruzioni, requisiti linguistici, specifiche di deployment e richieste che implicano un'azione. Un modello che funziona alla perfezione per un cliente può dare risultati mediocri per un altro. Per questo testiamo i modelli per individuare il migliore per i casi d'uso e i criteri di ciascun cliente. Usiamo questi risultati per decidere quale modello deve gestire la conversazione dal vivo, dove deve intervenire un altro modello e quali salvaguardie inserire nell'esperienza.

La scelta del modello è solo la prima decisione. Lo stesso framework di valutazione ci dice anche dove aggiungere una conferma per gli identificativi complessi, come evitare i silenzi nella conversazione o quando indirizzare un'attività più difficile a un livello di ragionamento più potente. L'obiettivo non è scegliere un unico modello per tutti i casi d'uso, ma offrire la migliore esperienza possibile ai clienti dei nostri clienti.

Valutare i modelli migliori nell'Arena

La Voice Arena è il framework di valutazione dei modelli di Maven, ripetibile e strutturato. Sottopone i modelli candidati a vere chiamate in uscita sulla rete telefonica pubblica, poi valuta quanto accaduto dal punto di vista del cliente. Prendiamo il rigore della valutazione cieca a coppie e lo adattiamo alla telefonia.

Ogni valutazione parte dalla stessa scheda:

• Fluidità conversazionale: quanto l'agente suona naturale e chiaro.
• Recupero dalle interruzioni: se l'agente si ferma, capisce la nuova richiesta e risponde.
• Acquisizione degli identificativi: se riesce a sentire e confermare le stringhe che i chiamanti leggono davvero ad alta voce.
• Tempo alla risposta utile: l'attesa per una risposta concreta, non solo per una conferma iniziale.
• Affidabilità della chiamata: se l'agente porta a termine l'interazione senza perdere richieste né passaggi a un operatore evitabili.

Aggiungiamo poi gli scenari che contano per l'esperienza vocale di quel cliente specifico. Un'azienda il cui servizio di assistenza gestisce seriali di prodotto complessi richiede uno stress test diverso da una che si occupa di rimborsi, appuntamenti o domande sulla fatturazione. Il framework resta lo stesso, mentre le schede di valutazione si adattano al singolo deployment.

Dove GPT-Live-1 di OpenAI si è distinto

GPT-Live-1 si è dimostrato particolarmente forte nell'aspetto che la maggior parte delle persone nota per primo: l'alternanza dei turni. Il modello elabora il parlato in modo continuo e può quindi rispondere quando un chiamante parla sopra l'agente, senza dover attendere un rilevatore di turno separato.

Abbiamo messo alla prova il modello vocale più recente di OpenAI per uno dei nostri clienti Fortune 50, con milioni di chiamate all'anno, sui suoi casi d'uso di assistenza e vendita. La valutazione era calibrata sulla capacità dei modelli di gestire identificativi di prodotto complessi e diagnosi lunghe, e GPT-Live-1 ha superato gli altri modelli testati su diversi parametri chiave:

• 90% di ripetizione esatta dei service tag, il tasso più alto del test.
• 100% di recupero dalle interruzioni: ha risposto alla nuova domanda dopo ogni interruzione.
• 1.257 millisecondi di risposta mediana alla nuova richiesta, il valore più veloce del test.
• 1,7 secondi di tempo di risposta mediano, con l'81% delle risposte entro 2 secondi.

Il modello non è stato il migliore su tutti i parametri. La ripetizione esatta dei seriali lunghi si è fermata al 60%, con gli zeri ripetuti come principale punto debole. E nel 38% dei casi i chiamanti hanno atteso più di 5 secondi per una risposta concreta dopo un iniziale "Certo". Non sono motivi per scartare il modello. Sono proprio il tipo di criticità in produzione che l'Arena è pensata per far emergere.

GPT-Live-1 funziona meglio come guida che come modello unico per ogni chiamata

In questo caso, GPT-Live-1 è una scelta convincente per guidare la conversazione: è veloce, reattivo e particolarmente affidabile quando un chiamante interrompe. Nei momenti ricchi di identificativi o che richiedono ragionamento, il sistema può aver bisogno di un ulteriore livello. Ecco perché il cliente ha scelto Maven. Costruiamo l'esperienza vocale sulla base delle evidenze, invece di chiedere a ogni cliente di ereditare i compromessi di un unico modello.

Aiutaci ad alzare l'asticella della voce

Clienti: portaci le chiamate che farebbero saltare una demo: identificativi complessi, interruzioni ripetute, attività in più passaggi o qualsiasi cosa non possa concludersi con una deflection. Valuteremo ogni modello nelle condizioni che i tuoi chiamanti affrontano davvero.

Provider di modelli: se vuoi vedere come si comporta il tuo modello su vere chiamate enterprise, vogliamo metterlo alla prova nell'Arena. Più il settore migliora, migliore diventa l'esperienza vocale per ogni cliente.