AI Confidence Score

AI Confidence Score คืออะไร?

AI confidence score หรือคะแนนความมั่นใจของ AI คือค่าตัวเลข (โดยทั่วไปอยู่ในช่วง 0-100% หรือ 0-1) ที่บอกว่าเอเจนต์ AI มั่นใจเพียงใดว่าคำตอบของตนถูกต้อง หรือการดำเนินการที่จะทำนั้นเหมาะสม คะแนนสูงหมายความว่าเอเจนต์มีหลักฐานรองรับคำตอบอย่างหนักแน่น ส่วนคะแนนต่ำหมายความว่าเอเจนต์ยังไม่แน่ใจ และคำตอบอาจเชื่อถือไม่ได้

คะแนนความมั่นใจเป็นกลไกหลักในการควบคุมความน่าเชื่อถือของ AI ในการใช้งานจริง โดยเป็นตัวกำหนดว่าเมื่อใดที่ AI จะตอบได้ทันที เมื่อใดควรถามคำถามเพื่อความชัดเจน และเมื่อใดควรส่งต่อให้เจ้าหน้าที่

Confidence Score ทำงานอย่างไร

คะแนนความมั่นใจคำนวณจากสัญญาณหลายด้าน ได้แก่

• คุณภาพของการดึงข้อมูล: เนื้อหาจากฐานความรู้ที่ดึงมานั้นตรงกับคำถามของลูกค้ามากเพียงใด (วัดจากคะแนนความคล้ายคลึงของ semantic search)
• ความครอบคลุมของแหล่งข้อมูล: มีหลายแหล่งที่ให้คำตอบตรงกัน หรือพบเพียงแหล่งเดียว
• ความชัดเจนของเจตนา: ระบบจดจำเจตนา (intent recognition) ระบุได้ชัดเจนเพียงใดว่าลูกค้าต้องการอะไร
• การอ้างอิงหลักฐานของคำตอบ: คำตอบที่สร้างขึ้นมีหลักฐานที่ดึงมารองรับมากน้อยเพียงใด (ระดับของ grounding)

ทำไม Confidence Score จึงสำคัญ

หากไม่มีการให้คะแนนความมั่นใจ เอเจนต์ AI จะถือว่าทุกคำตอบมีความแน่นอนเท่ากันหมด แม้ในขณะที่กำลังเดา ผลที่ตามมาคือคำตอบที่หลอน (hallucination) แต่ถูกนำเสนออย่างมั่นใจผิด ๆ ซึ่งแย่กว่าการตอบว่า "ไม่แน่ใจ" หรือส่งต่อให้เจ้าหน้าที่

คะแนนความมั่นใจที่ปรับเทียบมาอย่างดีช่วยให้กำหนดพฤติกรรมการตอบได้เป็นระดับ ดังนี้

• ความมั่นใจสูง (90% ขึ้นไป): ตอบลูกค้าได้โดยตรง
• ความมั่นใจปานกลาง (60-90%): ตอบพร้อมระบุข้อจำกัด ถามคำถามเพิ่มเติม หรือเสนอส่งต่อให้เจ้าหน้าที่
• ความมั่นใจต่ำ (ต่ำกว่า 60%): ส่งต่อให้เจ้าหน้าที่ แทนที่จะเสี่ยงให้คำตอบที่ไม่ถูกต้อง

บริบทในอุตสาหกรรม: ในปี 2024 ผู้ใช้ AI ระดับองค์กร 47% ตัดสินใจทางธุรกิจครั้งสำคัญจากเนื้อหาที่ AI หลอนขึ้น ตัวเลขนี้ตอกย้ำว่าการให้คะแนนความมั่นใจคือเกราะป้องกันสำคัญจากการที่ AI มั่นใจเกินจริง

จุดเด่นของ Maven: ความมั่นใจที่ปรับเทียบแล้วและความโปร่งใส

Maven AGI ใช้การให้คะแนนความมั่นใจตลอดกระบวนการให้เหตุผล เพื่อกำหนดวิธีตอบสนอง เมื่อความมั่นใจสูง เอเจนต์จะแก้ปัญหาได้เองโดยอัตโนมัติ เมื่อความมั่นใจต่ำ จะส่งต่อพร้อมบริบทครบถ้วน ฟีเจอร์ "Thinks Out Loud" ของ Maven ช่วยให้ทีมซัพพอร์ตมองเห็นการประเมินความมั่นใจนี้ได้ เพิ่มความโปร่งใสว่าเหตุใด AI จึงเลือกตอบ ถามเพิ่ม หรือส่งต่อ

ผลลัพธ์จริงจาก Maven: Check รักษาความแม่นยำได้ 85% สำหรับคำถามด้านการเงินที่ซับซ้อน ซึ่งเป็นด้านที่การปรับเทียบความมั่นใจมีความสำคัญอย่างยิ่ง เพราะคำตอบที่ผิดพลาดเรื่องการเงินส่งผลกระทบจริง

คำถามที่พบบ่อย

Confidence Score ผิดพลาดได้หรือไม่?

ได้ คะแนนความมั่นใจเป็นเพียงค่าประมาณ ไม่ใช่การรับประกัน AI อาจมั่นใจแต่ตอบผิด (คะแนนสูงแต่คำตอบไม่ถูกต้อง) หรือไม่มั่นใจโดยไม่จำเป็น (คะแนนต่ำแต่คำตอบถูกต้อง) การปรับเทียบอย่างต่อเนื่องผ่าน QA และวงจรรับฟีดแบ็กช่วยให้แม่นยำขึ้นเรื่อย ๆ

ควรให้ลูกค้าเห็นคะแนนความมั่นใจของ AI หรือไม่?

โดยทั่วไปไม่ควร เพราะตัวเลขดิบไม่มีความหมายสำหรับลูกค้า AI ควรปรับภาษาตามระดับความมั่นใจแทน เช่น "เงินคืนของคุณจะดำเนินการภายใน 3-5 วันทำการ" (ความมั่นใจสูง) กับ "จากข้อมูลที่เห็น เงินคืนของคุณน่าจะดำเนินการภายใน 3-5 วันทำการ แต่ขอเชื่อมต่อคุณกับผู้เชี่ยวชาญเพื่อยืนยันอีกครั้ง" (ความมั่นใจปานกลาง)

จะกำหนดเกณฑ์ความมั่นใจที่เหมาะสมได้อย่างไร?

เริ่มจากเกณฑ์ที่เข้มงวดไว้ก่อน (ส่งต่อให้มากขึ้น) แล้วปรับตามข้อมูลจริง ติดตามความแม่นยำของคำตอบในแต่ละระดับความมั่นใจ และปรับเกณฑ์ให้สมดุลระหว่างอัตราการแก้ปัญหากับความแม่นยำ ธุรกิจที่มีความเสี่ยงสูง (เช่น สาธารณสุข การเงิน) ควรใช้เกณฑ์สูงกว่าธุรกิจที่มีความเสี่ยงต่ำ