Każda platforma agentów AI dla przedsiębiorstw dostępna na rynku deklaruje wysoki wskaźnik rozwiązywania spraw. Po przejrzeniu wystarczającej liczby prezentacji dostawców liczby zaczynają się zlewać. To dziś cichy problem całej kategorii: gdy wszyscy obiecują podobne wyniki, kupujący przestają wierzyć komukolwiek, a wskaźnik, który powinien liczyć się najbardziej, ginie w szumie.
Jest jednak wyjątek. Liczba przestaje być marketingiem w chwili, gdy klient uzyskuje ją sam, we własnych warunkach i z własnymi klientami po drugiej stronie. Na tym polega różnica między dostawcą, który twierdzi, że jego agenci rozwiązują większość spraw, a kupującym, który przeprowadza test i widzi, że większość spraw została rozwiązana.
Thumbtack sam przeprowadził test
Przed podjęciem decyzji zespół Thumbtack przeprowadził bezpośredni benchmark wiodących platform agentów AI, mierząc każdą z nich na tym samym rzeczywistym ruchu w obsłudze klienta. Maven uzyskał wyniki CSAT o ponad 15% wyższe niż każdy konkurent w zestawieniu.
Warto zatrzymać się nad tym, kto przeprowadził test. Nie była to liczba, którą Maven podał o sobie – był to wynik zmierzony przez Thumbtack, na wolumenie Thumbtack, w odniesieniu do własnego poziomu satysfakcji Thumbtack. Platformy biorące udział w teście nie mogły zaaranżować warunków. Zrobił to kupujący.
Dlaczego test przeprowadzony przez kupującego ma większą wagę
Demo dostawcy to środowisko kontrolowane. Pytania są znane, dane czyste, a niewygodne przypadki brzegowe po cichu pominięte. Nic z tego nie mówi, jak platforma zachowa się, gdy sfrustrowany klient zapyta o coś, czego scenariusz nie przewidział, o 23:00 w świąteczny weekend.
Benchmark po stronie klienta odbiera tę kontrolę. Prawdziwe zgłoszenia przychodzą w takiej formie, w jakiej wysyłają je klienci. Satysfakcję oceniają osoby, którym jest obojętne, który dostawca wygra. Platforma albo rozwiązuje problem i zostawia klienta zadowolonym, albo nie.
To również odróżnia najlepsze zespoły CX od pozostałych. Nie wybierają agenta AI dla przedsiębiorstw wyłącznie na podstawie list funkcji czy zestawień analityków. Definiują rezultat, na którym im zależy – autonomiczne rozwiązywanie spraw i satysfakcję klientów – a następnie mierzą go na własnym ruchu, zanim cokolwiek podpiszą.
Ten sam wzorzec w przypadku Clio
Thumbtack nie jest jedynym kupującym, który działa w ten sposób. Clio, firma z branży technologii prawniczych, oceniła 32 dostawców, zawęziła pole do bezpośredniego porównania ponad 10 z nich, a następnie wybrała Maven. Wdrożenie osiągnęło 80% autonomicznych rozwiązań i 4-krotnie przyspieszyło wsparcie na żywo.
Obie firmy, z różnych branż i o bardzo różnych profilach obsługi, przeprowadziły niezależne ewaluacje i doszły do tego samego wniosku. Pojedynczy wynik może być przypadkiem. Powtórzony to już wzorzec. Żaden z tych rezultatów nie opierał się na wierze w słowa dostawcy.
Co to oznacza dla Państwa ewaluacji
Jeśli właśnie oceniają Państwo platformy agentów AI, wniosek dotyczy nie tyle samego Maven, ile metody. Kupujący, którzy robią to dobrze, mają 4 wspólne praktyki.
- Zdefiniuj wskaźnik przed demo. Stosuj wobec każdego dostawcy tę samą definicję. Wskaźnik rozwiązań, który po cichu wlicza deflekcję, to nie ta sama liczba.
- Testuj na rzeczywistym ruchu, a nie na wyselekcjonowanych próbkach. Tylko to, jak platforma radzi sobie z najtrudniejszymi zgłoszeniami, pozwala przewidzieć jej działanie w produkcji.
- Oceniaj satysfakcję względem rzeczywistego punktu odniesienia. Wzrost CSAT ma znaczenie tylko w odniesieniu do tego, czego klienci doświadczają dziś.
- Przedkładaj zmierzone bezpośrednie porównanie nad dopracowaną prezentację. Dostawca z najlepszą prezentacją i dostawca z najlepszymi wynikami to nie zawsze ta sama firma.
Przy takiej ewaluacji deklaracje marketingowe szybko się weryfikują. Platformy, które sprawdzają się tylko w kontrolowanych warunkach, pokazują to szybko, gdy trafia do nich prawdziwy ruch z obsługi klienta.
Wskaźnik, który klienci naprawdę odczuwają
Thumbtack i Clio nie mierzyły, ile rozmów udało się odsunąć od człowieka. Mierzyły, ile problemów klientów faktycznie rozwiązano i jak ludzie czuli się potem. Taka liczba się broni, bo klienci odczuwają ją bezpośrednio. Błąd w tym obszarze ma realne konsekwencje: wyniki satysfakcji, powracający klienci i zaufanie, które raz nadszarpnięte, długo się odbudowuje.
Dla lidera CX, który analizuje deklaracje dostawców, lekcja z obu firm jest taka sama. Warto brać pod uwagę platformy gotowe na pomiar na Państwa ruchu, według Państwa standardów, z oceną wystawianą przez Państwa klientów. Wszystko inne to wciąż tylko deklaracje.
Przekonaj się na własnych rozmowach.
Poproś o bezpłatne, spersonalizowane demo.
