サポートにおける品質保証（QA）

カスタマーサポートにおけるQAとは？

カスタマーサポートにおける品質保証（QA）とは、顧客とのやり取りをレビュー・評価し、正確性、網羅性、トーン、解決の各基準を満たしているかを確認する取り組みです。従来、QAチームは人間のエージェントの会話からごく一部をサンプリングし、評価基準に照らして採点し、その結果をコーチングや改善に活用してきました。

現在ではAIエージェントが顧客とのやり取りの60〜90%を担うようになり、QAも人間とAIの両方のパフォーマンスを対象とするよう進化する必要があります。

AIエージェントのQA：何が変わるのか

AIのQAは、従来の人間を対象としたQAといくつかの点で異なります。

• 規模： AIは毎日数千件の会話を処理します。手作業のサンプリングには頼れないため、オブザーバビリティツールによる自動品質監視が必要です
• 一貫性： AIエージェントは人間より一貫性が高いため、QAではばらつきよりも体系的な問題（誤った情報、見落とされたエッジケース、不十分な検索）に重点を置きます
• 根本原因： AIが誤りを犯す場合、根本原因は通常、個々のエージェントの挙動ではなく、ナレッジベース、ガードレール、検索の設定にあります
• フィードバックループ： AIの品質問題を修正すると、以降のすべてのやり取りで改善されます。人間の品質問題を修正しても、改善されるのはそのエージェント1人分だけです

業界の状況： AIで最も大きな成果を上げている組織は、AIエージェントを責任ある労働力の一員として扱っています。QAの指標を行動重視のアプローチへと見直し、人間と機械の両方に向けてコーチングと品質レビューのプロセスを再設計しています。

AIを活用したサポートの主なQA指標

• ** 解決率：** 問題は実際に解決されたか
• 応答の正確性： 提供した情報は正確かつ十分だったか
• ** グラウンディングの品質：** 応答は検証済みのソース資料に基づいていたか
• ** ハルシネーション率：** AIが根拠のない主張を生成した頻度はどの程度か
• ** CSAT：** 顧客はAIとのやり取りに満足したか
• エスカレーションの妥当性： エスカレーションは妥当だったか、それともAIが不必要にエスカレーションしたか

Mavenの強み：組み込みの品質インテリジェンス

Maven AGIのInboxとData & Insightsは、自動化されたQA機能を提供します。Inboxは、品質問題の原因となるナレッジのギャップ、矛盾、古いコンテンツを発生源で検出します。「Thinks Out Loud」機能はすべてのやり取りで推論の過程を可視化し、品質レビューを効率化します。Mavenの監査証跡はあらゆる判断を記録するため、大規模でも体系的なQAを実施できます。

Mavenの実績： Checkは、Maven AGIにより複雑な金融関連の問い合わせで85%の精度を維持しています。正確性が絶対条件となる重要なやり取りにも対応できる、プラットフォームの品質アーキテクチャを裏付ける事例です。

よくある質問

QAチームはAIの会話をレビューすべきですか？

はい。ただし、人間の会話とは異なる方法で行います。個々のやり取りを採点するのではなく、どのトピックで誤りが最も多いか、どのナレッジベース記事が混乱を招いているか、AIの確信度がどこでずれているかといったパターンを分析します。この体系的なアプローチにより、サンプリングしたやり取りだけでなく、すべてのやり取りを改善できます。

AIの品質はどのくらいの頻度でレビューすべきですか？

自動品質監視は継続的に実行する必要があります。AIのやり取りに対する人によるQAレビューは少なくとも週1回、より詳細な分析は月1回行うのが望ましいでしょう。重要な品質指標はリアルタイムのダッシュボードで追跡し、急激な変化があればアラートを出すようにします。

AIは自分自身のQAを行えますか？

AIは、応答の自動採点、ハルシネーションの検出、正確性のチェックなどを通じてQAを支援できます。ただし、人による監督は引き続き不可欠です。特に、複雑な状況におけるトーン、共感、判断の評価は、自動化されたシステムでは十分に行えない場合があります。