市場にあるエンタープライズ向けAIエージェントプラットフォームは、どれも高い解決率を掲げています。ベンダーの資料をいくつも読むうちに、数字の区別がつかなくなっていきます。これがいまこの分野が抱える静かな問題です。誰もが同じような成果を主張すれば、購入企業はどれも信じなくなり、本来最も重要なはずの数字が雑音に埋もれてしまいます。
例外が1つあります。顧客が自らの条件で、自社の顧客を相手に数字を出した瞬間、その数字はマーケティングではなくなります。ベンダーが「当社のエージェントはほとんどの問題を解決します」と言うことと、購入企業がテストを行い実際にほとんどの問題が解決されることとの違いは、そこにあります。
Thumbtackは自らテストを実施
導入を決める前に、Thumbtackのチームは主要なAIエージェントプラットフォームを直接比較するベンチマークを実施し、すべてを同じ実際のサポートトラフィックで測定しました。その結果、MavenのCSATスコアは比較対象のどの競合よりも15%以上高くなりました。
注目すべきは、誰がテストを実施したかです。これはMavenが自社について報告した数字ではありません。Thumbtackが、Thumbtackのボリュームで、Thumbtack自身の満足度ベースラインに照らして測定した結果です。テスト対象のプラットフォームが条件を整えることはできませんでした。条件を決めたのは購入企業です。
購入企業によるテストに重みがある理由
ベンダーのデモは管理された環境です。質問は事前にわかっていて、データはきれいに整えられ、扱いにくいエッジケースはさりげなく除外されています。祝日の週末の午後11時に、苛立った顧客が想定外の質問をしてきたとき、プラットフォームがどう振る舞うかは、デモからは何もわかりません。
顧客によるベンチマークでは、そうした管理が取り払われます。実際のチケットは、顧客が送ってきたままの形で届きます。満足度は、どのベンダーが勝つかに関心のない人々によって評価されます。プラットフォームが問題を解決して顧客を満足させるか、そうでないか、そのどちらかです。
これは、優れたCXチームとそれ以外を分けるポイントでもあります。優れたチームは、機能チェックリストやアナリストの評価表だけでエンタープライズ向けAIエージェントを選びません。自律解決率や顧客満足度など、重視する成果を定義し、契約前に自社のトラフィックで測定します。
Clioでも同じパターンが
この方法をとったのはThumbtackだけではありません。リーガルテック企業のClioは32社のベンダーを評価し、10社超に絞り込んで直接比較を行った上で、Mavenを選びました。導入の結果、80%の自律解決率を達成し、有人サポートの対応速度は4倍になりました。
業種もサポートの特性も大きく異なる2社が、それぞれ独立した評価を行い、同じ結論に至りました。1社だけなら偶然かもしれませんが、2社なら傾向です。いずれの成果も、ベンダーの言葉を鵜呑みにしたものではありません。
自社での評価に活かすには
いまAIエージェントプラットフォームを評価しているなら、ここから得られる教訓はMavenについてというより、評価の方法についてです。うまく評価できている購入企業には、4つの共通点があります。
- デモの前に指標を定義する。 すべてのベンダーに同じ定義を適用します。ディフレクションをひそかに含めた解決率は、同じ数字ではありません。
- 厳選したサンプルではなく、実際のトラフィックでテストする。 最も厄介なチケットをどう処理するかだけが、本番環境での振る舞いを予測する手がかりになります。
- 実際のベースラインに照らして満足度を評価する。 CSATの向上は、顧客が現在体験しているものと比較して初めて意味を持ちます。
- 洗練された提案より、測定された直接比較を重視する。 最高の資料を持つベンダーと、最高の成果を出すベンダーが、常に同じとは限りません。
このような評価を行えば、マーケティング上の主張はおのずと選別されます。管理された条件でしか力を発揮できないプラットフォームは、実際のカスタマーサポートのトラフィックが流れ始めると、すぐにその実態が明らかになります。
顧客が実感する指標
ThumbtackとClioが測定したのは、どれだけの会話を人から遠ざけられたかではありません。どれだけの顧客の問題が実際に解決され、その後顧客がどう感じたかです。こうした数字は顧客が直接実感するものだからこそ、信頼に足ります。ここを誤れば、満足度スコア、リピート、そして一度失うと回復に時間のかかる信頼といった、現実の場面にコストが表れます。
ベンダーの主張を見極めようとしているCXリーダーにとって、両社から得られる教訓は同じです。候補に残すべきプラットフォームは、自社のトラフィックで、自社の基準で、自社の顧客による評価を受け入れるプラットフォームです。それ以外は、どれもただの主張にすぎません。
自社の会話でお試しください。
無料の個別デモをお申し込みください。
