AI 信心分數

什麼是 AI 信心分數？

AI 信心分數是一種數值指標（通常為 0-100% 或 0-1），代表 AI 代理對其回應的準確性或預定行動的適切性有多大把握。信心高，代表代理有充分證據支持其答案；信心低，代表代理並不確定，回應可能不可靠。

信心分數是在正式環境中管理 AI 可靠性的主要機制，決定 AI 何時直接回答、何時提出釐清問題，以及何時轉接真人。

信心分數如何運作

信心分數由多項訊號綜合得出：

• 檢索品質： 檢索到的知識庫內容與客戶問題的吻合程度（以語意搜尋相似度分數衡量）
• 來源涵蓋度： 是否有多個來源對答案看法一致，或僅找到單一來源
• 意圖清晰度： 意圖辨識系統對客戶提問內容的辨識清晰程度
• 回應依據： 生成的回應獲得檢索證據支持的程度（依據強度）

信心分數為何重要

若沒有信心評分，AI 代理會以相同的確定程度看待每一則回應，即使它只是在猜測。這會導致 AI 以虛假的自信提供幻覺回應，比回答「我不確定」或轉接真人更糟。

校準良好的信心分數可實現分級回應機制：

• 高信心（90% 以上）： 直接回覆客戶
• 中信心（60-90%）： 回覆時附上提醒、提出釐清問題，或主動提供轉接
• 低信心（低於 60%）： 轉接真人客服，而非冒險提供不準確的回應

產業背景： 2024 年，47% 的企業 AI 使用者曾依據幻覺內容做出重大商業決策；這項統計凸顯了信心評分作為防範 AI 過度自信之保障機制的重要性。

Maven 的優勢：經過校準的信心與透明度

Maven AGI 在整個推理流程中運用信心評分來決定回應方式。信心高時，代理自主解決問題；信心低時，則附上完整脈絡轉接。Maven 的「Thinks Out Loud」功能讓支援團隊看得見這項信心評估，透明呈現 AI 為何選擇回應、釐清或轉接。

Maven 實證： Check 在複雜的金融查詢中維持 85% 的準確率。在這個領域，信心校準至關重要，因為金融問題的錯誤答案會帶來實際後果。

常見問題

信心分數會出錯嗎？

會。信心分數是估計值，而非保證。AI 可能自信地答錯（錯誤答案卻得到高分），也可能不必要地猶豫（正確答案卻得到低分）。透過品質保證與回饋循環持續校準，可隨時間提升準確度。

客戶應該看到 AI 的信心分數嗎？

一般而言不需要，原始分數對客戶沒有意義。AI 應依信心程度調整措辭，例如：「您的退款將在 3-5 個工作天內處理完成」（高信心），相較於「根據我目前看到的資訊，您的退款應會在 3-5 個工作天內處理完成，但讓我為您轉接專員確認」（中信心）。

如何設定合適的信心門檻？

先從保守設定開始（多轉接），再依資料調整。監控不同信心等級下的回應準確度，並微調門檻，在解決率與準確度之間取得平衡。高風險領域（醫療、金融）應採用比低風險領域更高的門檻。