Magi：エージェントの思考とパフォーマンスを正確に理解する

いま、多くのチームが初めてのAIエージェントを構築しています。他社ベンダーのエージェントが期待どおりの成果を出せず、2度目の挑戦に臨んでいるチームも少なくありません。

いずれにしても、すぐに浮かぶ疑問は同じです。本当にうまく機能しているのか。エージェントは稼働して顧客と会話していますが、どの会話がうまくいき、どの会話がうまくいかなかったのか、そしてその理由は何かを見極めるのは簡単ではありません。パフォーマンスはいくつかの主要な数字として示されるだけで、その背景を理解するには、多くのチームにはない時間が必要です。

AIエージェントから真の価値を引き出しているチームには、共通点があります。自分たちのエージェントを理解していることです。エージェントがなぜそのように回答したのか、すべての会話でどのようなパフォーマンスを発揮しているのか、次に何を改善すべきかを把握しています。

そのために生まれたのがMagiです。Agent Designerに組み込まれたAIアシスタントで、現在すべてのMavenのお客様にご利用いただけます。MagiはAsk Mavenに代わるもので、より高機能なアシスタントとしてゼロから再構築されました。Ask Mavenでできたことはすべて、どのページからでもMagiで行えます。

Magiの場所

Magiは、Agent Designerのすべてのページの右下にある円形のボタンにあります。クリックすると、作業中の画面の横にMagiが開きます。Magiは表示中のページを認識しているため、どの会話、Charter、ケイパビリティなどを見ているのかを把握しています。質問は普段の言葉で入力するだけ。その場で回答が返ってくるため、ページを離れたりレポートを作成したりする必要はありません。

Magiが答える質問

「エージェントはなぜそう答えたのか？」

Magiが最も深く掘り下げるのがこの領域です。Magiは、トランスクリプト、AIによる要約、そして各メッセージの背後にある推論トレースを含め、あらゆる会話を丸ごと読み込みます。エージェントが参照したナレッジやアクションと実際に使用したものの違い、どのCharterやセグメントが一致したか、どの安全チェックが作動したかを示せます。そのうえで、エージェントが実際に参照した情報に基づいて、特定の返答がなぜそうなったのかを説明します。

たとえば、顧客が授業料について質問し、エージェントが回答できなかったとします。その会話を開いてMagiに尋ねると、一致したCharterと、それに紐づくアクションを示してくれます。これで、どこを確認すればよいかがわかります。

「このアクションが一度も提示されなかったのはなぜか？」

Magiは、1ページずつではなく、設定全体を横断して推論します。あるCharterがそもそも評価対象になっているか、どのCharterによってアクションやナレッジベースが利用可能になるか、セグメントの条件が何を意味するか、そしてエージェントがツールを選ぶ際に読む説明文そのものを示せます。複数の画面にまたがる質問にも、ひとつの回答で応えます。

「本当にうまく機能しているのか？」

「今月のチャネル別ハンドオフ数」のようにデータを求めると、Magiがクエリを作成し、Magiパネル内に表やグラフを描画します。カテゴリ、タグ、チャネル、言語、セグメント、Charter別の件数や構成に対応しています。さらに、解決率、コンテインメント、センチメントといった品質や成果の指標に加え、処理時間、フィードバック、プロダクトイベント、Intelligent Fieldsのトレンドもカバーします。任意の数字の裏付けとなる会話を求めれば、Magiがすぐに表示します。

「まず何を改善すべきか？」

Magiは、対応が必要な項目をプラットフォームが常時リスト化しているInboxを読み取ります。ナレッジの不足、重複したドキュメント、カスタム項目などです。ナレッジ不足の項目では足りない内容が明示されるため、何を追加すべきかが正確にわかります。

「あの会話を探して、そこに移動して」

Magiは、会話、エンドユーザー、ナレッジ、同期ステータス、アプリ、イベントなど、エージェント内のあらゆるものを見つけ出します。また、任意のページ、アプリ、ケイパビリティ、Charter、ナレッジベース、ドキュメント、会話へ移動することもできます。

「このアクションの説明文を引き締めたい」

Magiは、未保存の編集内容も含め、画面に表示されている内容を認識します。保存前にCharterの下書きをレビューしてもらったり、エージェントがアクションを使うかどうかを判断する際に読む説明文を簡潔にしてもらったりできます。Magiが文言を提案し、何を保存するかはお客様が決めます。

「これを自社のシステムとどうつなげればいいか？」

開発者は、アプリをエージェントに接続するといった統合コードについてMagiに相談でき、Agent Designerを離れることなく回答を得られます。

信頼できる設計

• 対象はひとつのエージェントのみ。 Magiが参照できるのは開いているエージェントだけで、組織内のほかのエージェントは参照しません。
• 機密情報は扱いません。 アプリの認証情報は、Magiが参照する前に墨消しされます。Magiが読むのはアプリの公開説明文のみで、APIキーを読むことはありません。
• 機密性の高い番号はマスキングされます。 入力されたカード番号、社会保障番号、銀行口座番号、ID番号は、Magiが読み取る前にマスキングされます。
• 現時点では読み取り専用です。 Magiは読み取り、調査し、回答します。エージェントを変更することはありません。
• 根拠を示します。 任意の数字の裏付けとなる会話を確認でき、すべての説明はエージェントが実際に用いた推論に基づいています。

すでにMavenをご利用の方は、Agent Designerの右下にあるMagiボタンをお探しください。MagiでできることはMagiのドキュメントですべて紹介しています。Mavenを初めて検討される方は、デモを予約してください。エージェントに「なぜ？」と尋ねる体験をご覧いただけます。