AI正答率

AI正答率とは

AI正答率は、AIシステムが顧客の問い合わせに対して、正確かつ十分な回答をどれだけ提供できているかを測る指標です。カスタマーサービスにおいては、AIが生成した応答のうち、事実として正確で、文脈に合っており、すぐに行動に移せるもの、つまり誤った回答が原因で顧客が再度問い合わせたりエスカレーションしたりする必要がなかったものの割合を表します。

AIエージェントを導入するサポートチームが増えるにつれ、正答率は最も重要な品質指標の1つになっています。どれほど応答が速くても、情報が間違っていれば意味がありません。

AI正答率の計算方法

AI正答率 =（正しいAI応答数 / AI応答の総数）x 100

たとえば、AIエージェントが1週間に1,000件の問い合わせに対応し、そのうち870件がエスカレーション不要の完全に正しい回答だった場合、正答率は87%です。

「正しい」の定義には明確な基準が必要です。

• ナレッジベースや製品ドキュメントに照らして、応答が事実として正確である
• 応答が顧客の質問やリクエストに十分に対応している
• 誤った情報や不十分な情報が原因で再度の問い合わせが発生していない
• 応答に捏造された情報（ハルシネーション）が含まれていない

AIは請求に関する質問には強くても、複雑なトラブルシューティングは苦手な場合があるため、多くのチームがトピックのカテゴリ別にも正答率を追跡しています。

AI正答率のベンチマーク

正答率のベンチマークは、AIの種類やサポート環境の複雑さによって大きく異なります。

• ルールベースのボット： 限定的なスクリプト型のトピックで40〜60%。学習済みのシナリオ外では性能が大きく低下します。
• 第1世代の生成AI： 60〜75%。言語理解は向上したものの、ハルシネーションが起きやすく、アクションを実行する能力はありません。
• 最新のエージェンティックAIプラットフォーム： 80〜95%。ナレッジに基づく応答、検索拡張生成、継続的な学習ループにより、高い精度を実現します。

業界調査： Qualtricsによる2025年の調査では、AIを活用したカスタマーサービスの失敗率は、他の業務に使われるAIの4倍に上り、顧客の約5人に1人がAIとのやり取りにメリットを感じていないことがわかりました。この差は、サポートにおけるAIの成否を決めるのは導入そのものではなく、正答率であることを示しています。

McKinseyの2025年版State of AIレポートによると、88%の組織がAIを日常的に活用している一方で、全社レベルで収益への効果を実感しているのは39%にとどまります。この差は多くの場合、正答率と信頼性に起因します。つまり、顧客とエージェントが頼れるほどAIが正確である必要があるのです。

AI正答率が重要な理由

正答率は、チームが追跡する他のあらゆるサポート指標に直接影響します。

• ** 解決率：** 不正確な応答では問題は解決しません。追加のチケットが発生し、作業量が倍増します。
• ** CSAT：** 誤った回答を受け取った顧客は、応答の速さに関係なく体験を低く評価します。
• ** エージェントの生産性：** AIが不正確な回答をすると、人間のエージェントは新しいリクエストに対応する代わりに、ミスの修正に時間を取られます。
• 信頼： 1つの誤った回答が、数十件の正しい回答の効果を打ち消してしまうこともあります。誤った情報を受け取った顧客はAIサポートを再び利用しにくくなり、コストの高い有人チャネルへ戻ってしまいます。

正答率の低さは、見えないコストも生みます。不正確なAI応答はすべて、エスカレーション、追加のチケット、あるいは再度問い合わせる不満を抱えた顧客といった手戻りを発生させます。この手戻りが、AIで実現するはずだったコスト削減を帳消しにしてしまいます。

高いAI正答率を実現する要因

AIエージェントの正答率が60%にとどまるか90%以上に達するかは、いくつかのアーキテクチャ上の要因によって決まります。

• ナレッジグラウンディング： ゼロから生成するのではなく、検証済みのドキュメント、過去のチケット、製品データから回答を取得するAI。これが正答率の土台です。
• 検索拡張生成（RAG）： 言語モデルとリアルタイムのナレッジ検索を組み合わせることで、古い学習データではなく、最新かつ正確な情報に基づいた応答を実現します。
• ガードレールと確信度スコアリング： AIは確信が持てない場合、推測するのではなくスマートエスカレーションによって人間のエージェントに引き継ぐべきです。確信度のしきい値を設けることで、品質の低い回答が顧客に届くのを防ぎます。
• 継続的なフィードバックループ： フラグが立てられた応答、修正された応答、エスカレーションされた応答を追跡し、そのデータを使ってモデルを継続的に改善します。
• 複数ソースによる検証： ヘルプドキュメント、CRMデータ、過去の解決事例と回答を照合し、顧客に届く前に誤りを検出します。

Maven AGIの強み

Maven AGIは、正答率を後回しにするのではなく、解決の前提条件として位置づけています。ナレッジグラウンディング、検索拡張生成、確信度に基づくエスカレーションを活用し、顧客に速いだけでなく正しい回答を届けます。

• Check（FinTech）：複雑な金融サポートの問い合わせ全体で正答率85%。
• Mastermind（EdTech）：ライブチャットの会話の93%を解決。大規模にこれを実現するには高い正答率が不可欠です。
• K1x（FinTech）：解決率80%、以前のAIの10倍の改善。以前のツールは正答率が低く、エスカレーションが常態化していました。

Maven AGIのAI Copilotは、同じナレッジベースに基づく正確なリアルタイムの提案で人間のエージェントも支援し、AIと人間の両方の対応で正答率を高めます。

Maven AGIのアプローチ： Maven AGIのすべての応答は、検証済みのナレッジベース、顧客データ、過去の解決事例に基づいています。確信度が低い場合、AIは推測せずにエスカレーションします。これにより、Maven AGIのお客様は本番環境で85%以上の正答率と80〜93%の解決率を実現しています。

よくある質問

カスタマーサービスにおいて、良好なAI正答率の目安は？

最新のエージェンティックAIプラットフォームでは、80〜95%が目標範囲です。従来型のボットは通常40〜60%にとどまります。AIの正答率が75%を下回る場合、防いでいる以上のエスカレーションを生み出している可能性が高く、コスト削減と顧客満足度の両方を損ないます。

AI正答率と解決率の違いは何ですか？

正答率はAIの応答が正しかったかどうかを測ります。解決率は顧客の問題が完全に解決されたかどうかを測ります。高い解決率には高い正答率が必要ですが、正答率だけでは十分ではありません。問題を完全に解決するには、返金処理やアカウントの更新といったアクションもAIが実行する必要があります。

カスタマーサポートでAI正答率が低くなる原因は？

最も多い原因は、ナレッジベースが古いこと、検索拡張生成を使っていないこと、確信度のしきい値がないこと（AIがエスカレーションせずに推測してしまう）、そして自社の製品ドキュメントではなく汎用的なデータで学習していることです。

AI正答率を継続的に測定するには？

人間によるQAレビュー、顧客からのフィードバック、エスカレーション分析を通じてAIの応答を検証済みの正答と比較し、毎週正答率を追跡します。トピックのカテゴリ別に正答率を分析することで、弱点を特定できます。