시장의 모든 엔터프라이즈 AI 에이전트 플랫폼이 높은 해결률을 내세웁니다. 벤더 자료를 여러 개 읽다 보면 숫자들이 서로 구분되지 않기 시작합니다. 이것이 지금 이 시장의 조용한 문제입니다. 모두가 비슷한 결과를 주장하면 구매자는 어떤 것도 믿지 않게 되고, 가장 중요해야 할 수치는 배경 소음 속으로 묻혀 버립니다.
예외가 하나 있습니다. 고객이 자신의 조건에서, 자신의 고객을 상대로 직접 만들어 낸 숫자는 더 이상 마케팅이 아닙니다. 벤더가 자사 에이전트가 대부분의 문제를 해결한다고 말하는 것과, 구매자가 직접 테스트해 대부분의 문제가 해결되는 것을 확인하는 것은 전혀 다른 이야기입니다.
Thumbtack은 직접 테스트했습니다
Thumbtack 팀은 계약에 앞서 주요 AI 에이전트 플랫폼을 직접 비교하는 벤치마크를 진행하며, 각 플랫폼을 동일한 실제 지원 트래픽으로 측정했습니다. 그 결과 Maven은 비교 대상인 모든 경쟁사보다 CSAT 점수가 15% 이상 높았습니다.
주목할 점은 누가 테스트를 진행했느냐입니다. 이는 Maven이 스스로 발표한 수치가 아니라, Thumbtack이 자사의 문의량으로, 자사의 만족도 기준에 대비해 측정한 결과입니다. 테스트에 참여한 플랫폼들은 조건을 연출할 수 없었습니다. 조건을 정한 것은 구매자였습니다.
구매자가 직접 한 테스트가 더 무게를 갖는 이유
벤더 데모는 통제된 환경입니다. 질문은 미리 알려져 있고, 데이터는 깨끗하며, 곤란한 예외 상황은 슬그머니 빠져 있습니다. 연휴 주말 밤 11시에 불만을 품은 고객이 스크립트가 전혀 예상하지 못한 질문을 했을 때 플랫폼이 어떻게 대응하는지는 데모로 알 수 없습니다.
고객 벤치마크는 이러한 통제를 걷어 냅니다. 실제 티켓은 고객이 보내는 그대로의 형태로 들어옵니다. 만족도는 어느 벤더가 이기든 상관없는 사람들이 평가합니다. 플랫폼은 문제를 해결해 고객을 만족시키거나, 그렇지 못하거나 둘 중 하나입니다.
이것이 최고의 CX 팀과 나머지를 가르는 지점이기도 합니다. 이들은 기능 체크리스트나 애널리스트 평가표만으로 엔터프라이즈 AI 에이전트를 고르지 않습니다. 자율 해결과 고객 만족도처럼 중요하게 여기는 성과를 먼저 정의하고, 계약 전에 자사 트래픽으로 이를 측정합니다.
Clio에서도 같은 패턴이 반복됩니다
이렇게 접근한 구매자는 Thumbtack만이 아닙니다. 리걸 테크 기업 Clio는 32개 벤더를 평가하고, 10개 이상으로 후보를 좁혀 직접 비교 테스트를 진행한 뒤 Maven을 선택했습니다. 도입 결과 자율 해결률 80%를 달성했고, 실시간 지원 속도는 4배 빨라졌습니다.
서로 다른 산업에서 전혀 다른 지원 환경을 가진 두 기업이 독립적으로 평가를 진행해 같은 결론에 도달했습니다. 결과가 하나라면 우연일 수 있지만, 둘이라면 패턴입니다. 어느 쪽도 벤더의 말만 믿고 내린 결과가 아니었습니다.
여러분의 평가에 주는 시사점
지금 AI 에이전트 플랫폼을 평가하고 있다면, 핵심은 Maven보다 방법에 있습니다. 평가를 제대로 하는 구매자에게는 4가지 공통점이 있습니다.
- 데모 전에 지표를 정의합니다. 모든 벤더에 동일한 정의를 적용하십시오. 디플렉션을 슬쩍 포함한 해결률은 같은 숫자가 아닙니다.
- 선별된 샘플이 아닌 실제 트래픽으로 테스트합니다. 가장 까다로운 티켓을 플랫폼이 어떻게 처리하는지가 운영 환경에서의 성능을 예측하는 유일한 기준입니다.
- 실제 기준선에 대비해 만족도를 평가합니다. CSAT 상승은 고객이 현재 경험하는 수준과 비교할 때만 의미가 있습니다.
- 세련된 피치보다 측정된 직접 비교 결과를 중시합니다. 가장 좋은 자료를 가진 벤더와 가장 좋은 결과를 내는 벤더가 항상 같은 회사는 아닙니다.
이렇게 평가하면 마케팅 주장은 저절로 걸러집니다. 통제된 조건에서만 성과를 내는 플랫폼은 실제 고객 지원 트래픽이 들어오기 시작하면 금세 드러납니다.
고객이 실제로 체감하는 지표
Thumbtack과 Clio가 측정한 것은 얼마나 많은 대화를 상담원에게서 떼어 낼 수 있느냐가 아니었습니다. 실제로 얼마나 많은 고객 문제가 해결되었는지, 그리고 고객이 그 뒤에 어떻게 느꼈는지였습니다. 이런 숫자는 고객이 직접 체감하기 때문에 신뢰할 수 있습니다. 이를 놓치면 그 대가는 만족도 점수, 재구매, 그리고 한번 무너지면 회복이 더딘 신뢰처럼 실질적인 곳에서 나타납니다.
벤더의 주장을 검토하는 CX 리더에게 두 기업이 주는 교훈은 같습니다. 최종 후보에 올릴 가치가 있는 플랫폼은 여러분의 트래픽으로, 여러분의 기준에 따라, 여러분의 고객이 결과를 평가하는 방식의 측정을 기꺼이 받아들이는 플랫폼입니다. 그 외의 것은 여전히 주장일 뿐입니다.
귀사의 실제 대화로 확인하세요.
맞춤형 무료 데모를 신청하세요.
