AIエージェントのデモは、どれも似通って見えます。すっきりしたチャット画面、親切な回答、あらかじめ選ばれた質問。違いが表れるのは3か月後です。チームがポリシーを変更する必要が生じたとき、新しいチャネルが始まるとき、あるいは監査担当者がエージェントの判断の根拠を尋ねてきたときです。
このチェックリストを使えば、契約する前にその違いを見つけられます。各項目は、すべてのベンダーに投げかける質問、優れた回答の例、そしてMaven AGIの現状で構成されています。質問の背景にある考え方の詳細は、How to Evaluate AI Agents for Enterprise Customer Serviceをご覧ください。
チェックリストの使い方
各ベンダーを0点(回答なし、または曖昧)、1点(一部対応、またはロードマップ上)、2点(対応済みで、本番環境で実演できる)で採点します。回答は、スライドではなく、ライブの通話で、自社のチケットとツールを使って確認してください。セクション1から3のすべてで2点を獲得したベンダーは、概念実証(PoC)に進む準備ができています。それを下回る項目はリスクであり、価格に織り込んで判断する必要があります。
1. 検証できる成果
- ディフレクションではなく、自律解決を報告しているか。 ディフレクションは、ボットが関与した会話を数えます。解決は、人手を介さずにお客様の問題が実際に解決した会話を数えます。その数字がどちらなのか、どのように計測しているのかを尋ねましょう。
- 顧客名と本番環境での数値を示せるか。 パイロットの結果や最良事例のアカウントは数に入りません。下限を含め、複数の顧客にわたる幅を求めてください。
- 稼働開始後、解決率はどれくらい速く向上するか。 優れたエージェントは、実際の会話から毎週学習して改善します。最終的な到達点ではなく、その推移を尋ねてください。
Mavenの現状: Maven AGIは、本番環境で最大93%の自律解決率を報告しています。お客様には、93%のMastermind、80%のClio、稼働開始から3週間で90%に到達したPapaya Payなどがいます。私たちは解決を報告しており、その数え方も詳しくご説明します。
2. スピードと既存スタックとの適合性
- 契約締結から顧客への提供開始まで、どれくらいかかるか。 日数または週数で数字を示してもらい、それを達成するために御社側で必要な対応も確認してください。
- ヘルプデスクやCRMを入れ替える必要があるか。 全面的な入れ替えを求められると、AIプロジェクトが移行プロジェクトになってしまいます。
- ネイティブ連携はいくつあり、読み書きの両方に対応しているか。 チケットを読むだけなら簡単です。問題を解決するのは、返金の実行や注文の更新です。
- 同じエージェントで動くチャネルはどれか。 チャット、メール、音声、SMS、Slackは、5つのボットではなく、1つの頭脳、1つのナレッジベース、1つのルールセットを共有するべきです。
Mavenの現状: Maven AGIは、すでにお使いのツールの上で、数か月ではなく数日で稼働を開始します。Zendesk、Salesforce、Intercomなど100以上のネイティブ連携を備えているため、移行は不要です。チャット、メール、音声、SMS、Slackが1つのエージェントで動作します。
3. 稼働開始後、誰が運用するか
- 変更は誰が行い、どれくらいかかるか。 ベンダーや自社のエンジニアリングチームへの依頼が必要なら、ポリシーを更新するたびに待ち行列ができてしまいます。
- サポートリーダーが、コードを書かずにワークフロー、ナレッジ、トーンを編集できるか。
- お客様に見せる前に、変更をテストできるか。 過去の実際の会話に対するシミュレーションがあるかを確認しましょう。
- 解約した場合、何が自社のものとして残るか。 データ、ワークフロー、ナレッジについて、どのような形式で持ち出せるかを確認してください。
Mavenの現状: Maven AGIは、CXチームがエージェントを自ら運用できるように作られています。技術に詳しくないチームでも、ワークフローの設定、ナレッジの更新、改善の繰り返しを直接行えます。変更のたびにエンジニアリングチケットやベンダーへの依存が発生することはありません。その作業の場がAgent Designerです。
4. 信頼性、セキュリティ、コンプライアンス
- 現在どの認証を取得しているか。 「取得手続き中」ではなく、最新のレポートを求めてください。確認すべき認証は業界によって異なります。SOC 2、AIマネジメントのISO 42001、エージェントが決済に関わる場合はPCI-DSS、GDPR、医療データの場合はHIPAAなどです。
- エージェントがなぜその行動をとったのか確認できるか。 すべてのアクションと判断を追跡できるようにし、レビュー担当者が後から会話を再現できる必要があります。
- 機密データとガードレールをどう扱っているか。 個人データの保管場所、マスキングされる内容、エージェントが範囲外の動作をしないようにする仕組みを尋ねてください。
- 基盤となるモデルを切り替えられるか。 モデルは急速に変化します。特定のモデル層に縛られたプラットフォームでは、自社のロードマップがそのベンダーに左右されてしまいます。
Mavenの現状: Maven AGIは、SOC 2、PCI-DSS、GDPR、ISO 42001などを取得しており、基盤となるLLMに依存しません。市場の動きに合わせてモデルを切り替えられます。Decision traces(判断トレース)とオブザーバビリティにより、エージェントが各回答に至った過程を確認できます。
5. 見通しを立てられるコスト
- 料金は公開されているか、少なくとも説明可能か。 件数が増えると料金がどう変わるのか、何が対象外なのかを尋ねてください。
- ライセンス費用に加えて、自社チームにどれだけのコストがかかるか。 エージェントの設定、監視、修正を担う人員も含めて計算しましょう。
- 方針を変える場合、どれだけのコストがかかるか。 技術面でも契約面でも自社を縛りつけるカスタマイズは、実質的な価格を押し上げます。
自社でエージェントを構築するか、購入するかを検討している場合は、Own vs. Buy calculatorで、所有にかかる人件費とライセンス費用を並べて比較できます。
スコアカード
| 項目 | 2点の条件 | Maven AGI |
|---|---|---|
| 解決 | 自律解決率を報告し、顧客名を公開し、下限も共有している | 本番環境で最大93% |
| 稼働までの期間 | 数日から数週間、移行不要 | 数日、既存スタックのまま |
| 連携 | ネイティブで読み書き対応、ヘルプデスクの入れ替え不要 | 100以上のネイティブ連携 |
| チャネル | チャット、メール、音声、SMS、Slackを1つのエージェントで | 5つすべてネイティブ対応 |
| オーナーシップ | エンジニアリングなしでCXチームがすべて変更できる | CXチームが運用 |
| コンプライアンス | 検証可能な最新の認証 | SOC 2、PCI-DSS、GDPR、ISO 42001など |
| モデルの柔軟性 | 作り直しなしでLLMを切り替えられる | ベンダーに依存しない |
不十分な評価を早期に終わらせる質問
3つの質問で、ベンダーをすばやく見分けられます。最初の通話で尋ねてください。
- 「本番環境で最も成果の低い顧客の解決率と、『解決』の定義を見せてください。」
- 「御社のチームを介さずに、当社のサポートリーダーが火曜日に返金ポリシーを変更し、水曜日に反映させるにはどうすればよいですか。」
- 「現在使っているツールのうち、入れ替えが必要なものはどれですか。」
FAQ
AIカスタマーサービスのベンダーを評価するときは、何に注目すべきですか? 注目すべきは5点です。検証済みの自律解決、稼働までのスピードと既存スタックとの適合性、稼働開始後の変更を誰が管理するか、セキュリティとコンプライアンスの裏づけ、そして見通しを立てられるコストです。上記のチェックリストは、それぞれを採点できる質問に落とし込んでいます。
AIエージェントの導入には、どれくらいの期間がかかりますか? 現在お使いのヘルプデスクの上に導入できるプラットフォームであれば、数日から数週間です。ベンダーが数か月にわたる支援付きのオンボーディングを必要としたり、先にシステムの移行を求めたりする場合は、それもコストの一部と考えてください。
ディフレクションと解決の違いは何ですか? ディフレクションは、問題が解決しなかった場合も含め、お客様が人に到達しなかった会話を数えます。解決は、問題が実際に解決した会話を数えます。主要な数字がどちらなのか、すべてのベンダーに尋ねてください。
Maven AGIはZendesk、Salesforce、Intercomと連携できますか? はい。Maven AGIは、Zendesk、Salesforce、Intercomをはじめ100以上のツールとネイティブに連携するため、現在のスタックをそのまま使い続けられます。
エンジニアなしでも、CXチームだけでMaven AGIを運用できますか? はい。Maven AGIは、CXチームやオペレーションチームが自らワークフローを設定し、ナレッジを更新し、エージェントを改善できるように設計されています。
このチェックリストをライブの通話で試してみませんか?デモを予約いただければ、お客様ご自身のチケットとツールを使ってMaven AGIをご紹介します。
自社の会話でお試しください。
無料の個別デモをお申し込みください。



