Observatory登場：エージェントの一歩先へ

AIエージェントは1日に何千人ものお客様とやり取りしています。多くの日は前日とよく似ています。ところがある日の午後、連携機能が停止したり、ポリシー変更で購入者が混乱したり、プロモーションでトラフィックが倍増したりしても、エスカレーションが積み上がるまで誰も気づきません。

本日、エージェントの会話を24時間体制で監視するMavenアプリ「Observatory」をリリースします。Observatoryはお客様のエージェントにとっての「通常の一日」を学習し、通常と異なる動きを検知すると、メール、Slack、webhook、またはMavenのInboxでお知らせします。

ダッシュボードは「何が起きたか」を教えてくれます。「いつ心配すべきか」は教えてくれません。

AIエージェントが質問対応から返品処理、成約まで、カスタマーライフサイクルのより多くを担うようになるにつれて、静かに起きる障害のコストは大きくなります。アクションの不具合や解決率の低下は、誰かがダッシュボードを開くまで何時間も続くことがあります。

よくある対策は、静的なアラートです。「会話数が1時間あたり200件を下回ったら呼び出す」といった設定です。しかし、会話トラフィックには周期性があります。固定のしきい値では、日曜の夜はすべて障害、月曜の昼はすべて急増と判定されてしまい、チームは誤報に埋もれるか、アラートをオフにするかのどちらかになります。

CXリーダーに必要なのは、エージェントのリズムを理解し、本当に問題があるときだけ知らせてくれる仕組みです。

Observatoryのご紹介

ObservatoryはMaven App Directoryに含まれるアプリで、エージェントの会話分析を監視します。Agent Designerで任意のエージェントにインストールすると、エージェント自身のタイムゾーンで、最も重要な指標をまとめたOverviewが表示されます。

そこから、Observatoryは3つの役割を果たします。

• 監視する。 すべての指標をエージェントが通常取る範囲と比較してグラフ化するため、その範囲から外れたものがひと目でわかります。
• アラートを出す。 一定の間隔でチェックを行い、通常から外れたことが起きた瞬間にチームに知らせます。
• 説明する。 Mavenがグラフを読み取り、何が変化し、何を詳しく確認すべきかを平易な言葉で要約します。

仕組み

エージェントの通常の1週間を把握する異常検知

Observatoryは、1時間、1日、1週間それぞれの単位で、比較可能な過去の期間と比較します。月曜日は月曜日同士、静かな夜は静かな夜同士で判定するため、トラフィックの通常のリズムが問題と誤認されることはありません。直近5回の月曜日の平均が約406件だったところ、今週の月曜日に612件の会話があった場合、Observatoryはこれを急増として検知します。

いくつかの工夫により、シグナルの信頼性を高めています。急増がそれ自体の基準値に組み込まれることはないため、大きな異常が自らを覆い隠すことはありません。祝日はグラフ上に表示されるため、祝日による落ち込みはひと目で説明がつきます。また、判断材料となる履歴が十分でない場合、Observatoryは推測するのではなく「不明」と表示します。

重要な指標を追跡する

会話数、解決率、エスカレーション率、対応時間、初回応答時間、CSAT、予測NPS、フィードバック、アクションエラー、そしてエージェント独自のIntelligent Fieldsをグラフ化できます。任意のグラフを1つのアプリ、1つのアクション、1つのフィールド値に絞り込んだり、値ごとに系列を分けたり、複数のエージェントを並べて比較したりできます。

チームに届くアラート

あらゆるグラフをアラートに変えられます。Observatoryはすべてのルールを1時間ごとにチェックし、メール、Slack、独自ツールへのwebhook、エージェントのMaven Inboxで通知します。設定不要の日次チェックでも、すべてのエージェントの会話数、解決率、アクション実行状況を確認します。

「CSATは80%を下回ってはならない」など、通常かどうかではなく許容範囲かどうかが問題になる場合もあります。最小値、最大値、またはその両方を設定でき、目標値はインストールした初日から機能します。

先を見通す

最大2週間先までを予測し、予測値の周囲に起こりうる範囲を表示するため、繁忙期が訪れる前に人員配置や計画を立てられます。

会話全体を俯瞰する

ビジュアルビューでは、会話の内容、各種類の会話がどのように進むか、どこに着地するか、あるトピックが次のトピックへどう移っていくか、そしてエージェントが最も忙しい時間帯を確認できます。Conversation DNAは、直近の会話のステップごとの流れを示します。

Notebook、インサイト、スケジュールレポート

グラフやビューを自分のメモとともにNotebookにまとめ、非公開にしたりチームと共有したりできるほか、1つのグラフへのリンクを誰にでも送ることができます。Mavenにエグゼクティブサマリーの作成、異常の説明、あるいは自分の質問への回答を依頼することもできます。そのNotebookを、毎日、毎週、2週間ごと、または毎月、自分やチームメンバーにメールで送ることも可能です。

重要な理由

1つのエージェントがサポートからコマース、その間のあらゆることまでを担う場合、そのエージェントの健全性はビジネスの健全性そのものです。Observatoryは、エージェントを「自分から確認しに行く対象」から「自分に知らせてくれる存在」へと変えます。

• 数日ではなく数分で問題を発見。 連携の不具合やエスカレーションの急増は、次回の時間ごとのチェックで表面化し、未処理案件の山になる前に対処できます。
• 誤報を削減。 季節性を考慮した基準値により、チームが知らされるのは実際に異常な変化だけになります。
• エージェントのパフォーマンスを1つの視点で共有。 NotebookとスケジュールレポートにMavenによる意味の要約を添えることで、CX、オペレーション、経営層が同じ全体像を共有できます。

今すぐ始める

Observatoryは現在Maven App Directoryでご利用いただけます。インストール方法は以下のとおりです。

1. Agent DesignerでApp Directoryを開き、Observatoryを見つけて「インストール」をクリックします。
2. 監視したいエージェントを選択します。
3. Overviewを開き、日次チェックの通知先としてチームを追加します。

詳しい説明が必要な場合は、Mavenチームにお問い合わせいただくか、デモを予約してください。