音声AIモデルに画一的なアプローチが通用しない理由

最高の音声体験はカスタムで作られる

音声AIのデモは、どれもノートPCのスピーカー越しなら素晴らしく聞こえます。広帯域の音声、静かな部屋、話を遮らないプレゼンター。ところが同じモデルを本番の電話回線に載せると、音声は8 kHzまで圧縮され、ネットワークでさらに100〜200ミリ秒の遅延が加わり、実際の発信者はゼロが4つ連続する22文字のシリアル番号を読み上げ、回答の途中で割り込んできます。

このギャップこそが、音声が多くの企業でいまだ自動化されていないチャネルであり続ける最大の要因です。難しいのは、音声モデルをデモでよく聞こえるようにすることではありません。発信者が割り込んだり、長い識別子を読み上げたり、言語を切り替えたり、アカウント上での操作をエージェントに求めたりしたときに、きちんと機能させることです。だからこそ私たちは、ベンダー自身のアプリで測定されたものも含め、公開ベンチマークを鵜呑みにするのをやめ、顧客が実際に体験する形、つまり電話で音声モデルをテストする仕組みを構築しました。そのテストを受けた最新のモデルが、OpenAIのGPT-Live-1です。

Mavenのモデル選定の考え方

Mavenは、最先端の複数のモデルを組み合わせて顧客の音声体験を支えています。アカウント照会、複雑な識別子、複数ステップの診断、割り込み、言語要件、導入仕様、アクションを伴うリクエストなど、顧客ごとのユースケースに最適な体験を提供するためです。ある顧客では完璧に機能するモデルが、別の顧客ではいまひとつの結果に終わることもあります。そこで私たちはモデルをテストし、各顧客の個別のユースケースと独自の基準に最適なモデルを見極めます。その結果をもとに、どのモデルにリアルタイムの会話を担わせるか、どこで別のモデルに補助させるか、体験にどのようなセーフガードを組み込むかを決めています。

モデル選定は最初の判断にすぎません。同じ評価フレームワークによって、複雑な識別子に確認ステップを加えるべき箇所、会話の無音状態を防ぐべき箇所、より難しいタスクを強力な推論レイヤーに回すべき箇所もわかります。目指すのは、あらゆるユースケースに対応する単一のモデルを選ぶことではありません。顧客のその先にいるお客様に、可能な限り最高の体験を届けることです。

Arenaで最高のモデルを評価する

Voice Arenaは、Mavenの再現性のあるモデル評価フレームワークです。候補となるモデルに公衆電話網で実際の発信通話を行わせ、その結果を顧客の視点から採点します。ブラインドかつペアワイズで評価する手法を取り入れ、電話向けに最適化しています。

すべての評価は、同じスコアカードから始まります。

• 会話の流暢さ：エージェントの話し方がどれだけ自然で明瞭か。
• 割り込みからの回復：エージェントが話を止め、新しいリクエストを理解し、それに応答できるか。
• 識別子の聞き取り：発信者が実際に読み上げる文字列を聞き取り、確認できるか。
• 有用な回答までの時間：最初の相づちではなく、中身のある回答までの待ち時間。
• 通話の信頼性：リクエストの聞き漏らしや不要な引き継ぎなしに、やり取りを完了できるか。

そのうえで、その顧客の音声体験にとって重要なシナリオを加えます。複雑な製品シリアル番号を扱うサポート窓口と、返金、予約、請求に関する問い合わせを扱う窓口とでは、必要なストレステストが異なります。フレームワークは一貫させつつ、スコアカードは個々の導入に即したものにしています。

OpenAIのGPT-Live-1が際立った点

GPT-Live-1は、多くの人が最初に気づく要素であるターンテイキング（話者交替）で特に優れていました。このモデルは音声を連続的に処理できるため、別個のターン検出器を待つことなく、発信者がエージェントの発話に重ねて話したときにも応答できます。

私たちは、年間数百万件の通話を抱えるFortune 50企業の顧客1社のサポートおよびセールスのユースケースで、OpenAIの最新音声モデルをテストしました。この評価は複雑な製品識別子や長い診断への対応力に重点を置いたもので、GPT-Live-1はテストしたモデルの中で、いくつかの主要指標でトップとなりました。

• サービスタグの完全一致の復唱率は90%で、テスト中最高。
• 割り込みからの回復率は100%。すべての割り込みの後、新しい質問に対応しました。
• 新しいリクエストへの応答時間の中央値は1,257ミリ秒で、テストしたモデルの中で最速。
• 回答時間の中央値は1.7秒で、回答の81%が2秒以内に届きました。

とはいえ、すべてのスコアカードでトップだったわけではありません。長いシリアル番号の完全一致の復唱率は60%で、連続するゼロが主な弱点でした。また、回答の38%では、最初に「承知しました」と応答した後、中身のある回答まで発信者を5秒以上待たせていました。これらはモデルを退ける理由ではありません。Arenaが明らかにするよう設計されている、本番環境ならではの継ぎ目です。

GPT-Live-1は、あらゆる通話を1つのモデルで担うよりも優れたリード役

このケースでは、GPT-Live-1は会話をリードするモデルとして有力な選択肢です。高速で応答性が高く、発信者が割り込んだときの信頼性も際立っています。一方、識別子が多い場面や高度な推論が必要な場面では、別のレイヤーが必要になる場合があります。だからこそ、この顧客はMavenを選びました。私たちは、すべての顧客に1つのモデルのトレードオフを押し付けるのではなく、エビデンスに基づいて音声体験を構築します。

音声の水準を一緒に引き上げましょう

お客様へ： 複雑な識別子、繰り返される割り込み、複数ステップのタスク、ディフレクションで終わらせられない用件など、デモでは通用しないような通話をお寄せください。発信者が実際に直面する条件のもとで、各モデルを評価します。

モデルプロバイダーの皆様へ： 自社モデルが実際のエンタープライズの通話でどこまで通用するかを確かめたい方は、ぜひArenaでテストさせてください。分野全体のレベルが上がるほど、すべての顧客にとって音声体験はより良いものになります。