Semantic Search

Semantic Search คืออะไร?

Semantic search คือเทคนิคการค้นหาที่เข้าใจความหมายเบื้องหลังคำค้นหา ไม่ใช่แค่จับคู่คีย์เวิร์ด เมื่อลูกค้าถามว่า "ฉันจะได้เงินคืนอย่างไร?" การค้นหาด้วยคีย์เวิร์ดจะมองหาเอกสารที่มีคำเหล่านั้นตรงตัว ส่วน semantic search เข้าใจว่าลูกค้าหมายถึง "การคืนเงิน" และค้นพบนโยบายการคืนเงินได้ แม้คำว่า "เงิน" จะไม่ปรากฏในเอกสารเลย

ความสามารถนี้ขับเคลื่อนด้วย AI embeddings ที่แปลงข้อความเป็นตัวแทนเชิงตัวเลขของความหมาย คำค้นหาและเอกสารที่มีความหมายใกล้เคียงกันจะอยู่ใกล้กันใน vector space ระบบค้นหาจึงพบผลลัพธ์ที่เกี่ยวข้องในเชิงแนวคิดได้

Semantic Search ขับเคลื่อน AI บริการลูกค้าอย่างไร

Semantic search เป็นรากฐานของ Retrieval-Augmented Generation (RAG) ซึ่งเป็นสถาปัตยกรรมที่เอเจนต์ AIส่วนใหญ่ใช้ค้นหาข้อมูลที่ถูกต้อง เมื่อลูกค้าถามคำถาม:

1. คำถามจะถูกแปลงเป็น embedding (ตัวแทนเชิงตัวเลขของความหมาย)
2. Semantic search ค้นหาเอกสารที่เกี่ยวข้องที่สุดในฐานความรู้โดยเปรียบเทียบความคล้ายคลึงของ embedding
3. เอกสารเหล่านั้นถูกส่งให้ AI เป็นบริบทในการสร้างคำตอบ
4. AI สร้างคำตอบที่อิงข้อเท็จจริง (grounded) จากเนื้อหาที่ดึงมา

กระบวนการนี้เกิดขึ้นภายในเสี้ยววินาที ทำให้ตอบสนองได้แบบเรียลไทม์ทั้งแม่นยำและตรงบริบท

Semantic Search เทียบกับการค้นหาด้วยคีย์เวิร์ด

• การค้นหาด้วยคีย์เวิร์ด: ค้นหาคำที่ตรงกันทุกตัวอักษร รวดเร็วและแม่นยำสำหรับคำที่รู้จัก แต่พลาดการจับคู่เชิงแนวคิด และใช้ไม่ได้เมื่อลูกค้าใช้คำต่างจากที่อยู่ในเอกสารของคุณ
• Semantic search: ค้นหาความหมายที่ตรงกัน รองรับคำพ้องความหมาย การเรียบเรียงใหม่ และคำค้นหาเชิงแนวคิด เหมาะกับคำถามภาษาธรรมชาติมากกว่า แต่ต้องมีโครงสร้างพื้นฐานด้าน embedding
• Hybrid search: ผสานทั้งสองแนวทาง ใช้การจับคู่คีย์เวิร์ดสำหรับการค้นหาที่ต้องการความแม่นยำ และการจับคู่เชิงความหมายสำหรับคำค้นหาเชิงแนวคิด เป็นแนวทางที่แพลตฟอร์ม AI ระดับองค์กรส่วนใหญ่ใช้

บริบททางเทคนิค: Microsoft Research พบว่าการผสานการดึงข้อมูลจาก knowledge graph เข้ากับ semantic RAG ช่วยเพิ่มความถูกต้องของข้อเท็จจริงได้ประมาณ 23% แสดงให้เห็นว่า semantic search ที่ผสานกับความรู้เชิงโครงสร้างมีประสิทธิภาพเหนือกว่าการค้นหาด้วยคีย์เวิร์ดเพียงอย่างเดียวอย่างมาก

ข้อได้เปรียบของ Maven: Knowledge Graph + Semantic Search

Maven AGI ผสาน semantic search เข้ากับการท่อง knowledge graph จึงเข้าใจไม่เพียงว่าเนื้อหาใดมีความหมายคล้ายกับคำค้นหา แต่ยังเข้าใจว่าแนวคิดต่าง ๆ เชื่อมโยงกันเชิงโครงสร้างอย่างไร Maven จึงดึงได้ไม่เพียงเอกสารที่เกี่ยวข้องที่สุด แต่รวมถึงบริบททั้งหมดของนโยบาย เวิร์กโฟลว์ และรายละเอียดผลิตภัณฑ์ที่เกี่ยวข้องซึ่งจำเป็นต่อการแก้ปัญหาอย่างถูกต้อง

ผลลัพธ์จริงกับ Maven: K1x แก้ปัญหาได้ 80% ด้วย Maven AGI ในคำถามด้านการเงินที่ซับซ้อน ซึ่งการดึงนโยบายและขั้นตอนที่ถูกต้องเป็นสิ่งสำคัญ แสดงให้เห็นว่าคุณภาพของ semantic search ส่งผลโดยตรงต่อคุณภาพการแก้ปัญหา

คำถามที่พบบ่อย

Semantic search ทำงานข้ามภาษาได้หรือไม่?

ได้ โมเดล embedding หลายภาษาสามารถจับคู่คำค้นหาในภาษาหนึ่งกับเอกสารในอีกภาษาหนึ่งได้ ลูกค้าที่ถามเป็นภาษาฝรั่งเศสสามารถจับคู่กับเอกสารภาษาอังกฤษได้ ทำให้รองรับการซัพพอร์ตหลายภาษาได้โดยไม่ต้องแปลฐานความรู้ทั้งหมด

Semantic search แม่นยำแค่ไหน?

ความแม่นยำขึ้นอยู่กับคุณภาพของ embedding การจัดระเบียบเนื้อหา และความซับซ้อนของคำค้นหา สำหรับฐานความรู้ที่มีโครงสร้างดีและเนื้อหาชัดเจนครบถ้วน semantic search ดึงข้อมูลได้แม่นยำสูง แต่ประสิทธิภาพจะลดลงเมื่อคำค้นหากำกวม เนื้อหาจัดระเบียบไม่ดี หรือใช้ศัพท์เฉพาะทางสูงที่โมเดล embedding ไม่ได้เรียนรู้มาอย่างเพียงพอ

Semantic search มาแทนที่การค้นหาด้วยคีย์เวิร์ดหรือไม่?

ไม่ทั้งหมด ในทางปฏิบัติ แนวทางแบบไฮบริดที่ผสาน semantic search กับการค้นหาด้วยคีย์เวิร์ดให้ผลดีที่สุด การค้นหาด้วยคีย์เวิร์ดเก่งในการค้นหาตัวระบุเฉพาะ (หมายเลขคำสั่งซื้อ รหัสสินค้า) ขณะที่ semantic search เก่งในการทำความเข้าใจคำถามภาษาธรรมชาติ