Langsung ke konten
Masuk The Agentic List 2026Pelajari lebih lanjut
Maven AGI
Demo

Thought Leadership

2 Tahun Setelah Langkah Mundur AI Klarna: Masalah Pengukuran yang Luput Dibicarakan

Angka utamanya adalah containment: berapa banyak percakapan pelanggan yang diserap AI sebelum sampai ke manusia. Inilah yang seharusnya Anda ukur.

6 menit baca

Containment rate yang diukur AI Klarna naik 76%, sementara kepuasan pelanggan turun 22 poin dalam periode yang sama.

Pada Februari 2024, CEO Klarna mengumumkan bahwa AI perusahaan mengerjakan pekerjaan 700 agen layanan pelanggan. Kutipan itu dimuat di hampir semua media bisnis dan menjadi rujukan standar untuk “AI menggantikan pekerjaan berbasis pengetahuan”. Para pemimpin CX yang sebelumnya berhati-hati terhadap AI pun ditanya oleh dewan direksi mengapa mereka tidak melakukan hal yang sama.

Pada Mei 2025, Klarna diam-diam mulai merekrut kembali tenaga manusia. Pada awal 2026, perekrutan ulang itu sudah berjalan jauh, dan CEO-nya secara terbuka mengakui bahwa perusahaan telah mendahulukan biaya di atas kualitas, dan kini menanggung akibatnya pada kepuasan pelanggan.

Media memberitakannya sebagai kisah tentang AI yang belum cukup baik. Itu kesimpulan yang keliru. AI tersebut bekerja persis seperti yang dirancang. Justru itulah masalah sebenarnya, dan pelajarannya lebih spesifik sekaligus lebih berguna daripada yang ditangkap kebanyakan orang dari judul berita.

Kami telah menulis tentang dampak manusia dari kesalahan itu awal tahun ini. Tulisan ini membahas hal lain: masalah pengukuran yang memungkinkan semua itu terjadi.

Semua orang mengukur hal yang salah

Saat Klarna membuat pengumuman awalnya, angka utamanya adalah containment: berapa banyak percakapan pelanggan yang ditangani AI sebelum sampai ke manusia. Dua pertiga hingga tiga perempat interaksi, tergantung kutipannya. Angka yang mengesankan, tetapi hampir sama sekali tidak berkaitan dengan apakah masalah pelanggan benar-benar terselesaikan.

Containment mengukur apakah AI menahan percakapan. Pelanggan yang menghubungi dukungan dua kali untuk masalah yang sama dihitung sebagai dua containment jika AI menangani keduanya. Pelanggan yang menerima jawaban keliru lalu menyerah tetap dihitung. Pelanggan yang begitu frustrasi hingga menyanggah tagihan di kartunya pun tetap dihitung. Metrik ini menangkap volume, bukan hasil.

AI Klarna melakukan persis apa yang diukur darinya. Masalahnya ada pada pengukurannya. Perbedaan ini sangat penting bagi setiap pemimpin CX yang sedang mengevaluasi vendor AI saat ini.

Skor CSAT turun sebelum metrik volume Klarna bergerak, persis seperti yang diperkirakan jika containment dan resolusi otonom bergerak ke arah berlawanan. Sinyalnya sudah ada. Tidak ada yang menyadari kesenjangan itu hingga hasilnya cukup buruk untuk muncul di angka-angka yang benar-benar dipantau para eksekutif.

Mengapa containment menjadi standar sejak awal

Resolusi lebih sulit didefinisikan, dan itulah alasan utama industri memilih containment. Apakah masalah pelanggan benar-benar selesai? Pertanyaan itu menuntut Anda tahu apa masalahnya, apakah jawabannya menjawab masalah itu, dan apakah pelanggan kembali lagi. Containment cukup menghitung percakapan yang berakhir tanpa manusia.

Perusahaan yang bertahan di pasar saat ini membangun pengukurannya berdasarkan pertanyaan-pertanyaan yang lebih sulit itu sejak awal. Tingkat kontak berulang, yaitu apakah pelanggan yang sama membuka kembali tiket untuk masalah yang sama dalam 14 hari, adalah sinyal resolusi yang paling jelas, dan justru paling sering dilewatkan karena harus dilacak lintas percakapan, bukan dalam satu percakapan. CSAT di tingkat interaksi lebih penting daripada angka agregat. Eskalasi yang diperlakukan sebagai data berkelanjutan tentang kekurangan pengetahuan agen AI jauh lebih berharga daripada yang disadari kebanyakan tim.

Data Maven dari berbagai implementasi enterprise menunjukkan pola ini secara langsung. Pelanggan yang berpegang pada metrik containment mengalami stagnasi. Pelanggan yang berpegang pada tingkat resolusi kontak pertama, rasio deflection terhadap resolusi, dan frekuensi kontak berulang terus membaik, karena feedback loop mereka terhubung dengan hasil nyata.

Keputusan struktural yang membuat masalah pengukuran berakibat fatal

Klarna mengurangi jumlah karyawan sebelum penurunan kualitas terlihat di data. Logikanya masuk akal: AI menangani volume, jadi kapasitas manusia bisa dikurangi. Namun masalah kualitas menumpuk perlahan. Masalah itu muncul di CSAT, lalu di kontak berulang, lalu di churn, lalu di angka pendapatan yang pada dasarnya melihat ke belakang. Saat sinyalnya terlihat, cadangan untuk menanggung pemulihan sudah tidak ada.

Inilah bagian dari kisah Klarna yang terlewat dalam narasi “AI gagal”. Teknologinya tidak gagal. Struktur implementasinya yang gagal, tepatnya keputusan mengurangi kapasitas manusia sebelum memvalidasi bahwa AI benar-benar menyelesaikan masalah, bukan sekadar menahannya.

Implementasi yang terhindar dari masalah ini tidak memangkas karyawan terlebih dahulu. Mereka merestrukturisasinya. Tim dukungan beralih ke penanganan eskalasi, peninjauan kualitas, dan customer success, yaitu peran yang membutuhkan penilaian yang memang tidak bisa ditiru AI. Pengurangan jumlah karyawan datang dari restrukturisasi itu, bukan dari pola pikir pangkas-karyawan-dulu. Perbedaannya tampak tipis. Hasilnya tidak.

Bagaimana pembeli enterprise berubah setelah Klarna

Kisah ini mempercepat perubahan yang memang sudah terjadi dalam pengadaan. Pemimpin CX enterprise yang membeli hari ini menanyakan tingkat resolusi kontak pertama, bukan containment. Mereka bertanya apa yang terjadi saat AI salah, bukan hanya seberapa sering AI benar. Mereka menginginkan data kontak berulang dari implementasi produksi yang berjalan, bukan skor akurasi demo dari lingkungan terkendali.

Pergeseran itu terlihat nyata dalam siklus penjualan. Vendor yang bisa menjawab pertanyaan tersebut dengan data pelanggan nyata bergerak lebih cepat. Yang masih mengandalkan angka containment menghadapi pertanyaan lebih sulit dan proses lebih panjang. Standar “buktikan” sudah bergeser, dan Klarna menjadi salah satu penyebab utamanya.

Seperti apa implementasi yang terbukti bertahan

Clio mengevaluasi 32 vendor AI dan menguji 10 di antaranya secara menyeluruh sebelum mengimplementasikan Maven. Kini mereka menyelesaikan 80% pertanyaan chat secara otonom sekaligus menutup 60% lebih banyak tiket secara keseluruhan dibandingkan sistem sebelumnya. Tim dukungan mereka tidak menyusut, melainkan beralih ke pekerjaan bernilai lebih tinggi. Metrik yang mereka pantau adalah resolusi, bukan deflection. Baca kisah lengkapnya.

Papaya Pay, yang beroperasi di pembayaran lintas negara yang diregulasi, mencapai 90% resolusi otonom. Persyaratan kepatuhan, yakni setiap interaksi dapat diaudit, setiap eskalasi dapat dilacak, dan memenuhi standar SOC 2, HIPAA, dan PCI-DSS, memaksa disiplin resolusi yang biasanya dilewatkan sebagian besar implementasi. Ternyata disiplin itu justru keunggulan, bukan hambatan.

Keduanya tidak memulai dengan bertanya berapa banyak karyawan yang bisa dipangkas. Keduanya memulai dengan bertanya apa arti “terselesaikan” yang sebenarnya.

Apa yang perlu dilakukan jika Anda sedang mengevaluasi vendor AI saat iniTentukan definisi resolusi sebelum mengimplementasikan apa pun. Putuskan apa arti “terselesaikan”, misalnya resolusi kontak pertama, tidak ada kontak berulang dalam 14 hari, atau penyelesaian tugas tertentu, dan jadikan itu kriteria keberhasilan sejak hari pertama. Jika vendor Anda tidak bisa menjelaskan cara mengukurnya, itulah jawabannya. Panduan deflection vs. resolusi kami menjelaskan secara rinci cara menyiapkannya.

Jadikan tingkat kontak berulang sebagai metrik utama. Tampilkan di dashboard bersama CSAT standar Anda. Gunakan sebagai feedback loop untuk basis pengetahuan agen AI dan perilakunya. Jika pelanggan yang sama terus kembali untuk masalah yang sama, itu kegagalan resolusi, bukan tiket baru.

Perlakukan data eskalasi sebagai sinyal, bukan sekadar langkah workflow. Setiap eskalasi menunjukkan di mana pengetahuan atau wewenang AI masih kurang. Tim yang paling cepat berkembang menggunakan data itu secara berkelanjutan. Platform agen AI enterprise seharusnya memudahkan Anda melihatnya, bukan membuat Anda harus menggalinya.

Wajibkan cakupan kanal terpadu sejak awal. Pelanggan yang menelepon, lalu mengirim email, lalu membuka chat tidak seharusnya mengulang ceritanya. Resolusi terpadu di chat, suara, dan email itulah yang mendorong angka hasil, bukan otomatisasi satu kanal yang hanya tampak bagus saat demo.

Jangan kurangi jumlah karyawan sebelum memvalidasi kualitas dalam skala besar. Susun transisi tenaga kerja bersamaan dengan implementasi teknologi, bukan setelahnya. Perannya berubah, agen beralih ke penanganan eskalasi, peninjauan kualitas, dan manajemen pengecualian, tetapi transisinya perlu dirancang, bukan diasumsikan.

Posisi kita saat ini

Prediksi Gartner bahwa 80% interaksi layanan pelanggan akan melibatkan AI pada 2029 masih tampak realistis. Dua tahun terakhir tidak mengubah tujuannya. Yang berubah adalah kejelasan tentang jalur mana yang menuju ke sana, dan jalur mana yang berujung pada pembatalan di depan publik dan pengumuman perekrutan ulang.

Perusahaan yang mencapai 80% resolusi otonom adalah mereka yang mendefinisikan resolusi dengan benar sebelum mengimplementasikan apa pun, meminta pertanggungjawaban AI berdasarkan definisi itu, dan memasukkan transisi tenaga kerja ke dalam rencana sejak awal. Mereka yang mengoptimalkan containment, memangkas karyawan terlalu dini, dan mengukur percakapan alih-alih hasil, merekalah yang kini menjadi contoh peringatan.

Kisah Klarna bukan peringatan tentang kemampuan AI. Ini peringatan tentang apa yang terjadi ketika sistem yang mampu diarahkan ke sasaran yang salah.

Jika Anda sedang mengevaluasi solusi layanan pelanggan berbasis AI dan membutuhkan kerangka untuk membandingkan berdasarkan metrik yang benar-benar penting, panduan deflection vs. resolusi kami menjelaskan secara rinci cara menyusun business case yang kokoh. Atau jadwalkan demo dan lihat bagaimana angka resolusi Maven dibandingkan dengan yang Anda jalankan saat ini.

Lihat langsung pada percakapan Anda sendiri.

Minta demo personal gratis.

Jadwalkan demo