최고의 음성 경험은 맞춤형으로 만들어집니다
모든 음성 AI 데모는 노트북 스피커로 들으면 훌륭하게 들립니다. 광대역 오디오, 조용한 방, 말을 끊지 않는 발표자. 그런데 같은 모델이 실제 전화 회선에 올라가면 오디오는 8 kHz로 압축되고, 네트워크는 100~200밀리초의 지연을 더하며, 실제 발신자는 0이 4개 연속된 22자리 시리얼 번호를 읽다가 답변 도중에 끼어듭니다.
이 격차가 바로 음성이 대부분의 기업이 아직 자동화하지 못한 채널로 남아 있는 주된 이유입니다. 어려운 것은 음성 모델이 데모에서 좋게 들리게 만드는 일이 아닙니다. 발신자가 끼어들거나, 긴 식별 번호를 읽거나, 언어를 바꾸거나, 계정에서 조치를 취해 주기를 원할 때도 제대로 작동하게 만드는 일입니다. 그래서 저희는 벤더 자체 앱에서 측정한 결과를 포함해 공개된 벤치마크를 더 이상 신뢰하지 않고, 고객이 실제로 경험하는 방식, 즉 전화 통화로 음성 모델을 테스트하는 방법을 직접 만들었습니다. 이 테스트를 거친 최신 모델은 OpenAI의 GPT-Live-1입니다.
Maven의 모델 선택 방식
Maven은 여러 최첨단 모델을 조합해 고객의 음성 경험을 구현합니다. 계정 조회, 복잡한 식별 번호, 다단계 진단, 끼어들기, 언어 요구사항, 배포 사양, 조치가 필요한 요청 등 고객마다 고유한 사용 사례가 있기 때문에, 한 고객에게 완벽하게 작동하는 모델이 다른 고객에게는 미미한 결과를 낼 수도 있습니다. 그래서 저희는 각 고객의 개별 사용 사례와 고유한 기준에 가장 적합한 모델을 찾기 위해 모델을 테스트합니다. 그 결과를 바탕으로 어떤 모델이 실시간 대화를 맡을지, 어디에서 다른 모델이 보조할지, 어떤 안전장치를 경험에 포함할지 결정합니다.
모델 선택은 첫 번째 결정일 뿐입니다. 같은 평가 프레임워크를 통해 복잡한 식별 번호에 확인 절차를 어디에 추가할지, 대화 중 침묵을 어떻게 방지할지, 더 어려운 작업을 더 강력한 추론 계층으로 언제 넘길지도 판단합니다. 목표는 모든 사용 사례에 하나의 모델을 고르는 것이 아닙니다. 고객의 고객에게 가능한 최고의 경험을 제공하는 것입니다.
Arena에서 최고의 모델 평가하기
Voice Arena는 Maven의 반복 가능한 모델 평가 프레임워크입니다. 후보 모델이 공중 전화망에서 실제 발신 통화를 수행하게 한 뒤, 그 결과를 고객의 관점에서 평가합니다. 블라인드 쌍대 비교 평가 방식을 차용해 전화 환경에 맞게 적용했습니다.
모든 평가는 동일한 평가표로 시작합니다.
- 대화 유창성: 에이전트의 말이 얼마나 자연스럽고 명확한가.
- 끼어들기 복구: 에이전트가 말을 멈추고 새로운 요청을 이해해 응답하는가.
- 식별 번호 인식: 발신자가 실제로 소리 내어 읽는 문자열을 듣고 확인할 수 있는가.
- 유용한 답변까지의 시간: 첫 응답이 아니라 실질적인 답변이 나오기까지의 대기 시간.
- 통화 신뢰성: 요청을 놓치거나 불필요한 인계 없이 상호작용을 완료하는가.
여기에 해당 고객의 음성 경험에 중요한 시나리오를 추가합니다. 복잡한 제품 시리얼 번호를 다루는 지원 센터는 환불, 예약, 청구 문의를 처리하는 곳과는 다른 스트레스 테스트가 필요합니다. 프레임워크는 일관되게 유지하면서, 평가표는 각 배포 환경에 맞게 구성합니다.
OpenAI GPT-Live-1이 두각을 나타낸 부분
GPT-Live-1은 대부분의 사람이 가장 먼저 알아차리는 부분인 대화 순서 주고받기에서 특히 강했습니다. 이 모델은 음성을 연속적으로 처리할 수 있어, 별도의 턴 감지기를 기다리지 않고 발신자가 에이전트의 말에 끼어들 때 바로 응답할 수 있습니다.
저희는 연간 수백만 건의 통화를 처리하는 Fortune 50 고객사의 지원 및 영업 사용 사례를 대상으로 OpenAI의 최신 음성 모델을 테스트했습니다. 이 평가는 복잡한 제품 식별 번호와 긴 진단 과정을 처리하는 모델의 능력에 맞춰 설계됐으며, GPT-Live-1은 여러 핵심 지표에서 테스트한 모델 중 선두를 차지했습니다.
- 서비스 태그 정확 복창률 90%로, 테스트 중 가장 높은 수치.
- 끼어들기 복구율 100%로, 모든 끼어들기 후 새로운 질문에 응답.
- 새로운 요청에 대한 응답 시간 중앙값 1,257밀리초로, 테스트 모델 중 가장 빠른 수치.
- 답변 시간 중앙값 1.7초, 답변의 81%가 2초 이내에 도착.
모든 항목에서 선두였던 것은 아닙니다. 긴 시리얼 번호의 정확 복창률은 60%였으며, 반복되는 0이 주된 약점이었습니다. 또한 답변의 38%는 첫 "네" 응답 이후 실질적인 내용이 나오기까지 발신자를 5초 이상 기다리게 했습니다. 이것이 모델을 배제할 이유는 아닙니다. Arena가 드러내도록 설계된 실제 운영 환경의 틈새가 바로 이런 부분입니다.
모든 통화를 하나의 모델로 처리하는 것보다 GPT-Live-1이 대화를 이끄는 편이 낫습니다
이 사례에서 GPT-Live-1은 대화를 이끄는 모델로 매력적인 선택입니다. 빠르고, 반응성이 뛰어나며, 발신자가 끼어들 때 보기 드물게 안정적입니다. 식별 번호가 많거나 추론이 집중적으로 필요한 순간에는 다른 계층이 필요할 수 있습니다. 이 고객사가 Maven을 선택한 이유가 여기에 있습니다. 저희는 모든 고객에게 한 모델의 장단점을 그대로 떠안기는 대신, 근거를 바탕으로 음성 경험을 구축합니다.
음성의 기준을 함께 높여 주십시오
고객 여러분: 복잡한 식별 번호, 반복되는 끼어들기, 다단계 작업, 디플렉션으로 끝나서는 안 되는 모든 상황 등 데모라면 무너질 만한 통화를 가져와 주십시오. 발신자가 실제로 마주하는 조건에서 각 모델을 평가해 드리겠습니다.
모델 제공업체 여러분: 귀사의 모델이 실제 기업 통화에서 얼마나 잘 버티는지 확인하고 싶다면, Arena에서 테스트해 보겠습니다. 업계 전체가 발전할수록 모든 고객의 음성 경험도 더 좋아집니다.
귀사의 실제 대화로 확인하세요.
맞춤형 무료 데모를 신청하세요.
