Warum ein Einheitsansatz bei Voice-KI-Modellen nicht funktioniert

Die besten Voice-Erlebnisse sind maßgeschneidert

Jede Voice-KI-Demo klingt über einen Laptop-Lautsprecher großartig. Breitband-Audio, ein ruhiger Raum, ein Präsentator, der nicht unterbricht. Dann kommt dasselbe Modell auf eine produktive Telefonleitung: Das Audio wird auf 8 kHz komprimiert, das Netz fügt weitere 100 bis 200 Millisekunden hinzu, und ein echter Anrufer liest eine 22-stellige Seriennummer mit 4 aufeinanderfolgenden Nullen vor und unterbricht mitten in der Antwort.

Diese Lücke ist der Hauptgrund, warum Voice nach wie vor der Kanal ist, den die meisten Unternehmen noch nicht automatisiert haben. Die Schwierigkeit liegt nicht darin, ein Sprachmodell in einer Demo gut klingen zu lassen, sondern darin, dass es funktioniert, wenn ein Anrufer unterbricht, eine lange Kennung vorliest, zwischen Sprachen wechselt oder eine Aktion in seinem Konto benötigt. Deshalb verlassen wir uns nicht mehr auf veröffentlichte Benchmarks, auch nicht auf solche, die in der App eines Anbieters gemessen wurden, und haben eine Methode entwickelt, Sprachmodelle so zu testen, wie Kunden sie erleben: am Telefon. Das neueste Modell, das diesen Test durchlaufen hat, ist OpenAIs GPT-Live-1.

Wie Maven an die Modellauswahl herangeht

Maven nutzt einen Verbund modernster Modelle für die Voice-Erlebnisse seiner Kunden. Jeder Kunde hat eigene Anwendungsfälle: Kontoabfragen, komplexe Kennungen, mehrstufige Diagnosen, Unterbrechungen, sprachliche Anforderungen, Deployment-Vorgaben und Anfragen, die eine Aktion erfordern. Ein Modell, das bei einem Kunden einwandfrei funktioniert, liefert bei einem anderen womöglich nur mäßige Ergebnisse. Deshalb testen wir Modelle, um für die individuellen Anwendungsfälle und Kriterien jedes Kunden das beste zu finden. Anhand dieser Ergebnisse entscheiden wir, welches Modell das Live-Gespräch führt, wo ein weiteres Modell unterstützen sollte und welche Schutzmechanismen in das Erlebnis gehören.

Die Modellauswahl ist nur die erste Entscheidung. Dasselbe Evaluierungs-Framework zeigt uns auch, wo wir Bestätigungen für komplexe Kennungen ergänzen, Gesprächspausen verhindern oder eine schwierigere Aufgabe an eine leistungsstärkere Reasoning-Ebene weiterleiten sollten. Ziel ist nicht, ein einziges Modell für alle Anwendungsfälle zu wählen, sondern den Kunden unserer Kunden das bestmögliche Erlebnis zu bieten.

Die besten Modelle in der Arena evaluieren

Die Voice Arena ist Mavens wiederholbares Framework zur Modellevaluierung. Kandidatenmodelle führen echte ausgehende Anrufe über das öffentliche Telefonnetz, und das Ergebnis wird aus Sicht des Kunden bewertet. Wir übernehmen die Methodik blinder, paarweiser Vergleiche und passen sie an die Telefonie an.

Jede Evaluierung beginnt mit derselben Scorecard:

• Gesprächsfluss: wie natürlich und verständlich der Agent klingt.
• Recovery nach Unterbrechungen: ob der Agent innehält, die neue Anfrage versteht und darauf antwortet.
• Erfassung von Kennungen: ob er die Zeichenfolgen, die Anrufer tatsächlich vorlesen, richtig hört und bestätigt.
• Zeit bis zur hilfreichen Antwort: die Wartezeit bis zu einer substanziellen Antwort, nicht nur bis zu einer ersten Bestätigung.
• Gesprächszuverlässigkeit: ob der Agent die Interaktion abschließt, ohne Anfragen zu übergehen oder vermeidbare Übergaben auszulösen.

Anschließend ergänzen wir die Szenarien, die für das Voice-Erlebnis des jeweiligen Kunden relevant sind. Ein Unternehmen, dessen Support-Hotline komplexe Produkt-Seriennummern verarbeitet, braucht einen anderen Stresstest als eines, das Erstattungen, Termine oder Abrechnungsfragen bearbeitet. Das Framework bleibt konsistent, die Scorecards passen sich dem konkreten Deployment an.

Wo OpenAIs GPT-Live-1 herausragte

GPT-Live-1 war besonders stark in einem Bereich, der den meisten zuerst auffällt: beim Sprecherwechsel. Das Modell verarbeitet Sprache kontinuierlich und kann daher reagieren, wenn ein Anrufer dem Agenten ins Wort fällt, statt auf einen separaten Turn-Detector zu warten.

Wir haben OpenAIs neuestes Sprachmodell für einen unserer Fortune-50-Kunden mit Millionen Anrufen pro Jahr anhand seiner Support- und Vertriebs-Anwendungsfälle getestet. Die Evaluierung konzentrierte sich darauf, wie gut die Modelle mit komplexen Produktkennungen und langen Diagnosen umgehen, und GPT-Live-1 lag bei mehreren zentralen Kennzahlen vor den anderen getesteten Modellen:

• 90 % exakte Wiedergabe der Service-Tags, die höchste Quote im Test.
• 100 % Recovery nach Unterbrechungen; nach jeder Unterbrechung ging es auf die neue Frage ein.
• 1.257 Millisekunden Median-Reaktionszeit auf die neue Anfrage, die schnellste im Testfeld.
• 1,7 Sekunden Median-Antwortzeit, wobei 81 % der Antworten innerhalb von 2 Sekunden kamen.

Das Modell führte nicht bei jeder Scorecard. Die exakte Wiedergabe langer Seriennummern lag bei 60 %, wobei wiederholte Nullen die größte Schwäche waren. Und bei 38 % der Antworten mussten Anrufer nach einem ersten „Gerne“ mehr als 5 Sekunden auf eine substanzielle Antwort warten. Das sind keine Gründe, das Modell abzulehnen. Es sind genau die Schwachstellen im Produktivbetrieb, die die Arena aufdecken soll.

GPT-Live-1 als Lead-Modell statt ein Modell für jeden Anruf

In diesem Fall ist GPT-Live-1 eine überzeugende Wahl für die Gesprächsführung: schnell, reaktionsstark und ungewöhnlich zuverlässig, wenn ein Anrufer unterbricht. Für Momente mit vielen Kennungen oder hohem Reasoning-Aufwand braucht das System unter Umständen eine weitere Ebene. Genau deshalb hat sich der Kunde für Maven entschieden. Wir gestalten das Voice-Erlebnis auf Basis von Fakten, statt jedem Kunden die Kompromisse eines einzelnen Modells aufzuzwingen.

Helfen Sie uns, die Messlatte für Voice höher zu legen

Kunden: Bringen Sie uns die Anrufe, an denen jede Demo scheitern würde: komplexe Kennungen, wiederholte Unterbrechungen, mehrstufige Aufgaben oder alles, was nicht mit einer Deflection enden darf. Wir evaluieren jedes Modell unter den Bedingungen, mit denen Ihre Anrufer tatsächlich konfrontiert sind.

Modellanbieter: Wenn Sie sehen möchten, wie sich Ihr Modell bei echten Enterprise-Anrufen schlägt, schicken wir es gern durch die Arena. Je besser das Feld wird, desto besser wird das Voice-Erlebnis für jeden Kunden.