最好的語音體驗都是量身打造的
每一場語音 AI 展示透過筆電喇叭聽起來都很棒：寬頻音訊、安靜的房間、一位不會打斷的講者。但同一個模型一旦上線到正式的電話線路，音訊被壓縮到 8 kHz，網路又增加 100 到 200 毫秒的延遲，而真實的來電者會念出一串含有 4 個連續零的 22 字元序號，還在回答說到一半時插話。
這道落差，正是語音至今仍是多數企業尚未自動化的管道的主因。難處不在於讓語音模型在展示中聽起來很好，而在於當來電者插話、念出冗長的識別碼、切換語言，或需要代理在其帳戶中執行操作時，模型依然能正常運作。因此，我們不再信任公開的基準測試，包括透過廠商自家應用程式測得的結果，而是建立了一套以客戶實際體驗方式測試語音模型的方法：透過電話。最新接受這項測試的模型是 OpenAI 的 GPT-Live-1。
Maven 如何選擇模型
Maven 運用一組尖端模型，為客戶打造語音體驗。每位客戶的使用情境各不相同：帳戶查詢、複雜識別碼、多步驟診斷、中途插話、語言需求、部署規格，以及需要執行操作的請求。對某位客戶完美運作的模型，對另一位客戶可能成效有限。因此，我們會測試各個模型，找出最適合每位客戶個別使用情境與獨特條件的模型，並依據測試結果決定由哪個模型主導即時對話、哪裡需要其他模型協助，以及體驗中應納入哪些防護機制。
選擇模型只是第一個決策。同一套評估框架也會告訴我們，哪裡需要加入複雜識別碼的確認步驟、如何避免對話出現冷場，或何時將較困難的任務轉交給更強的推理層。我們的目標不是挑選一個模型來應付所有使用情境，而是為客戶的客戶提供最好的體驗。
在 Arena 中評估最佳模型
Voice Arena 是 Maven 可重複執行的模型評估框架。它讓候選模型透過公共電話網路撥出真實電話，再從客戶的角度為通話結果評分。我們借鏡盲測、成對比較的評估方法，並針對電話環境加以調整。
每次評估都從同一份評分表開始：
- 對話流暢度：代理聽起來有多自然、清楚。
- 中斷恢復：代理是否能停下來、理解新的請求並做出回應。
- 識別碼擷取：能否聽清並確認來電者實際念出的字串。
- 取得有效回答的時間：等待實質回應的時間，而不只是初步的應答。
- 通話可靠度：代理是否能完成互動，不漏掉請求、不出現可避免的轉接。
接著，我們會加入對該客戶語音體驗至關重要的情境。客服專線需處理複雜產品序號的企業，所需的壓力測試與處理退款、預約或帳單問題的企業截然不同。框架保持一致，評分表則依各部署情境量身調整。
OpenAI GPT-Live-1 的突出之處
GPT-Live-1 在多數人最先注意到的面向上表現特別出色：輪流對話。這個模型能持續處理語音，因此當來電者與代理同時說話時，它能直接回應，而不必等待另一個輪替偵測器判斷。
我們為一位每年處理數百萬通電話的 Fortune 50 客戶，針對其支援與銷售使用情境測試了 OpenAI 最新的語音模型。這次評估著重於模型處理複雜產品識別碼與冗長診斷的能力，而 GPT-Live-1 在多項關鍵指標上領先所有受測模型：
- 服務標籤的精確複誦率達 90%，為本次測試最高。
- 100% 中斷恢復率；每次被打斷後都能回應新的問題。
- 針對新請求的回應時間中位數為 1,257 毫秒，為受測模型中最快。
- 回答時間中位數為 1.7 秒，81% 的回答在 2 秒內送達。
這個模型並非每項指標都領先。長序號的精確複誦率為 60%，重複的零是其主要弱點。此外，有 38% 的回答在先說出「好的」之後，讓來電者等待超過 5 秒才得到實質內容。這些不是否定該模型的理由，而正是 Arena 設計來揭露的正式環境縫隙。
讓 GPT-Live-1 主導，勝過用單一模型應付所有通話
在這個案例中，GPT-Live-1 是主導對話的理想選擇：速度快、反應靈敏，而且在來電者插話時格外可靠。至於需要大量處理識別碼或密集推理的時刻，系統可能需要另一層支援。這正是客戶選擇 Maven 的原因。我們以實證為基礎打造語音體驗，而不是要求每位客戶全盤接受單一模型的取捨。
與我們一起提升語音標準
客戶：帶來那些會讓展示破功的通話：複雜識別碼、反覆插話、多步驟任務，或任何不能以分流收場的情境。我們會依照您的來電者實際面對的條件評估每個模型。
**模型供應商：**如果您想了解您的模型在真實企業電話中的表現，歡迎讓我們將它送進 Arena。整體領域越進步，每位客戶的語音體驗就越好。
用您自己的對話實際體驗。
申請免費的專屬展示。
