2024년 2월, Klarna CEO는 회사의 AI가 고객 서비스 상담원 700명분의 일을 하고 있다고 발표했습니다. 이 발언은 거의 모든 경제 매체에 실렸습니다. “AI가 지식 노동을 대체하고 있다”는 주장의 단골 인용구가 되었고, AI 도입에 신중했던 CX 리더들은 이사회로부터 왜 같은 일을 하지 않느냐는 질문을 받게 되었습니다.
2025년 5월, Klarna는 조용히 사람을 다시 채용하기 시작했습니다. 2026년 초에는 재채용이 본격적으로 진행되었고, CEO는 회사가 비용을 품질보다 우선시했으며 그 대가를 고객 만족도로 치르고 있다고 공개적으로 인정했습니다.
언론은 이를 AI가 충분히 뛰어나지 않았다는 이야기로 다뤘습니다. 이는 잘못된 해석입니다. AI는 설계된 그대로 정확히 작동했습니다. 그것이 진짜 문제이며, 여기서 얻을 교훈은 대부분의 사람들이 헤드라인에서 읽어낸 것보다 범위는 좁지만 훨씬 유용합니다.
이 실수가 남긴 인적 비용에 대해서는 올해 초 다룬 바 있습니다. 이번 글은 다른 주제, 즉 이 모든 일을 가능하게 만든 측정의 문제를 다룹니다.
모두가 잘못된 것을 측정했습니다
Klarna가 처음 발표했을 때 핵심 수치는 컨테인먼트(containment), 즉 AI가 사람에게 넘기기 전에 흡수한 고객 대화의 수였습니다. 인용에 따라 전체 상호작용의 3분의 2에서 4분의 3에 달했습니다. 인상적인 수치입니다. 하지만 고객의 문제가 실제로 해결되었는지와는 거의 아무런 관련이 없습니다.
컨테인먼트는 AI가 대화를 붙잡고 있었는지를 측정합니다. 같은 문제로 지원팀에 두 번 연락한 고객도 AI가 두 번 모두 처리했다면 컨테인먼트 2건으로 집계됩니다. 잘못된 답변을 받아들이고 포기한 고객도 집계됩니다. 너무 불만스러워 카드 결제에 이의를 제기한 고객도 집계됩니다. 이 지표는 처리량을 담았을 뿐, 결과에 대해서는 아무것도 말해주지 않았습니다.
Klarna의 AI는 측정되는 기준 그대로 정확히 일하고 있었습니다. 문제는 측정 방식이었습니다. 이 차이는 지금 AI 벤더를 평가하는 모든 CX 리더에게 매우 중요합니다.
Klarna의 처리량 지표가 움직이기 전에 CSAT 점수가 먼저 하락했습니다. 컨테인먼트와 자율 해결이 서로 반대 방향으로 움직이고 있었다면 당연히 예상되는 결과입니다. 신호는 분명히 있었습니다. 하지만 경영진이 실제로 보는 수치에 드러날 만큼 결과가 나빠질 때까지 아무도 그 격차를 알아차리지 못했습니다.
애초에 컨테인먼트가 기본 지표가 된 이유
해결(resolution)은 정의하기가 더 어렵습니다. 업계가 컨테인먼트를 기본값으로 삼은 가장 큰 이유입니다. 고객의 문제가 실제로 해결되었는가? 이 질문에 답하려면 문제가 무엇이었는지, 답변이 그 문제를 다뤘는지, 고객이 다시 연락했는지를 알아야 합니다. 컨테인먼트는 사람 없이 끝난 대화 수만 세면 됩니다.
현재 시장에서 버티고 있는 기업들은 처음부터 이 어려운 질문을 중심으로 측정 체계를 구축했습니다. 같은 고객이 같은 문제로 14일 이내에 티켓을 다시 여는지를 보는 재문의율은 가장 명확한 해결 신호이지만, 대화 안이 아니라 대화 간에 추적해야 하기 때문에 대부분의 도입 사례에서 빠져 있습니다. 전체 평균보다 상호작용 단위의 CSAT가 더 중요합니다. 에스컬레이션을 AI 에이전트의 지식이 부족한 지점에 대한 지속적인 데이터로 다루면, 대부분의 팀이 생각하는 것보다 훨씬 큰 가치를 얻을 수 있습니다.
엔터프라이즈 도입 사례 전반에 걸친 Maven의 데이터는 이 패턴을 그대로 보여줍니다. 컨테인먼트 지표로 운영하는 고객은 개선이 정체됩니다. 첫 문의 해결률, 디플렉션 대비 해결 비율, 재문의 빈도로 운영하는 고객은 피드백 루프가 실제 결과와 연결되어 있기 때문에 계속 개선됩니다.
측정 문제를 치명적으로 만든 구조적 결정
Klarna는 품질 저하가 데이터에 드러나기도 전에 인력을 줄였습니다. 논리 자체는 타당해 보였습니다. AI가 처리량을 감당하고 있으니 인력 규모를 줄일 수 있다는 것이었죠. 하지만 품질 문제는 천천히 누적됩니다. CSAT에 먼저 나타나고, 이어 재문의, 이탈, 그리고 정의상 후행 지표인 매출 수치에 나타납니다. 신호가 보일 무렵에는 회복을 감당할 여력이 이미 사라진 뒤였습니다.
“AI가 실패했다”는 서사에서 놓치는 Klarna 이야기의 핵심이 바로 이것입니다. 기술은 실패하지 않았습니다. 실패한 것은 도입 구조, 구체적으로는 AI가 문제를 단순히 붙잡아 두는 것이 아니라 실제로 해결하고 있는지 검증하기 전에 인력을 줄이기로 한 결정이었습니다.
이런 문제를 피한 도입 사례들은 인력을 먼저 줄이지 않았습니다. 인력 구조를 재편했습니다. 지원팀은 에스컬레이션 처리, 품질 검토, 고객 성공 업무처럼 AI가 결코 대신할 수 없는 판단력이 필요한 역할로 이동했습니다. 인력 감축은 인력 감축을 먼저 생각해서가 아니라 이러한 재편의 결과로 이루어졌습니다. 미묘한 차이처럼 보이지만, 결과는 전혀 미묘하지 않습니다.
Klarna 이후 엔터프라이즈 구매자는 어떻게 달라졌나
이 사례는 이미 구매 과정에서 일어나고 있던 변화를 가속했습니다. 오늘날 구매를 결정하는 엔터프라이즈 CX 리더들은 컨테인먼트가 아니라 첫 문의 해결률을 묻습니다. AI가 얼마나 자주 맞는지뿐 아니라 틀렸을 때 무슨 일이 일어나는지를 묻습니다. 통제된 환경에서의 데모 정확도가 아니라 실제 운영 환경의 재문의 데이터를 원합니다.
이 변화는 거래 주기에서 구체적으로 드러납니다. 실제 고객 데이터로 이런 질문에 답할 수 있는 벤더는 더 빠르게 계약을 진행합니다. 여전히 컨테인먼트 수치를 앞세우는 벤더는 더 까다로운 질문과 더 긴 검토 과정을 거치고 있습니다. “증명해 보라”는 기준이 높아졌고, Klarna가 그 큰 이유입니다.
성공한 도입 사례는 실제로 어떤 모습일까
Clio는 Maven을 도입하기 전 32개 AI 벤더를 평가하고 10개를 스트레스 테스트했습니다. 현재 채팅 문의의 80%를 자율적으로 해결하고 있으며, 이전 시스템보다 전체 티켓을 60% 더 많이 처리하고 있습니다. 지원팀은 줄어들지 않았고, 더 가치 있는 업무로 이동했습니다. 이들이 추적하는 지표는 디플렉션이 아니라 해결입니다. 전체 사례 보기.
규제가 엄격한 해외 결제 분야의 Papaya Pay는 90%의 자율 해결률에 도달했습니다. 모든 상호작용은 감사 가능해야 하고, 모든 에스컬레이션은 추적 가능해야 하며, SOC 2, HIPAA, PCI-DSS 기준을 충족해야 한다는 컴플라이언스 요건이 대부분의 도입 사례가 건너뛰는 해결 중심의 원칙을 갖추게 했습니다. 이 원칙은 제약이 아니라 강점이었습니다.
두 사례 모두 사람을 얼마나 줄일 수 있는지부터 묻지 않았습니다. 둘 다 “해결”이 실제로 무엇을 의미하는지부터 물었습니다.
지금 AI 벤더를 평가하고 있다면 해야 할 일무엇이든 도입하기 전에 해결을 정의하십시오. 첫 문의 해결, 14일 이내 재문의 없음, 특정 작업 완료 등 “해결”이 무엇을 의미하는지 정하고, 첫날부터 이를 성공 기준으로 삼으십시오. 벤더가 이를 어떻게 측정할지 설명하지 못한다면 그것이 곧 답입니다. 디플렉션 vs. 해결 가이드에서 설정 방법을 자세히 안내합니다.
재문의율을 핵심 지표로 추적하십시오. 기본 CSAT와 함께 대시보드에 배치하십시오. 이를 AI 에이전트의 지식 베이스와 동작에 대한 피드백 루프로 활용하십시오. 같은 고객이 같은 문제로 계속 돌아온다면, 그것은 새 티켓이 아니라 해결 실패입니다.
에스컬레이션 데이터를 워크플로 단계가 아닌 신호로 다루십시오. 모든 에스컬레이션은 AI의 지식이나 권한이 부족한 지점을 알려줍니다. 가장 빠르게 개선되는 팀은 이 데이터를 지속적으로 활용합니다. 엔터프라이즈 AI 에이전트 플랫폼이라면 이를 힘들게 찾아낼 필요 없이 쉽게 확인할 수 있게 해야 합니다.
처음부터 통합 채널 커버리지를 요구하십시오. 전화한 뒤 이메일을 보내고 다시 채팅을 여는 고객이 같은 말을 반복할 필요가 없어야 합니다. 결과 수치를 끌어올리는 것은 데모에서만 좋아 보이는 단일 채널 자동화가 아니라 채팅, 음성, 이메일 전반의 통합 해결입니다.
대규모로 품질을 검증하기 전에는 인력을 줄이지 마십시오. 인력 전환은 기술 도입 이후가 아니라 기술 도입과 함께 설계하십시오. 상담원은 에스컬레이션 처리, 품질 검토, 예외 관리로 역할이 바뀌지만, 이 전환은 당연히 일어날 것이라 가정할 것이 아니라 설계되어야 합니다.
앞으로의 방향
2029년까지 고객 서비스 상호작용의 80%에 AI가 관여할 것이라는 Gartner의 전망은 여전히 달성 가능해 보입니다. 지난 2년은 목적지를 바꾸지 않았습니다. 다만 어떤 길이 그곳으로 이어지고, 어떤 길이 공개적인 방향 전환과 재채용 발표로 이어지는지를 분명히 보여주었습니다.
80%의 자율 해결에 도달하는 기업은 무엇이든 도입하기 전에 해결을 올바르게 정의하고, AI가 그 정의에 책임지게 하며, 처음부터 인력 전환을 계획에 포함한 기업일 것입니다. 컨테인먼트에 최적화하고, 인력을 일찍 줄이고, 결과 대신 대화 수를 측정한 기업은 반면교사의 사례로 남게 될 것입니다.
Klarna 사례는 AI 역량에 대한 경고가 아닙니다. 역량 있는 시스템이 잘못된 목표를 향할 때 어떤 일이 벌어지는지에 대한 경고입니다.
AI 고객 서비스 솔루션을 검토 중이며 실제로 중요한 지표로 비교할 수 있는 프레임워크가 필요하다면, 디플렉션 vs. 해결 가이드에서 설득력 있는 비즈니스 케이스를 만드는 방법을 자세히 안내합니다. 또는 데모 예약을 통해 Maven의 해결 수치가 현재 운영 중인 시스템과 어떻게 비교되는지 확인해 보십시오.
귀사의 실제 대화로 확인하세요.
맞춤형 무료 데모를 신청하세요.
