RAG (Retrieval Augmented Generation)

RAG (Retrieval Augmented Generation) คืออะไร

Retrieval Augmented Generation (RAG) คือสถาปัตยกรรม AI ที่ผสานการค้นคืนข้อมูลเข้ากับการสร้างข้อความ เพื่อให้ได้คำตอบที่แม่นยำและอิงข้อมูลจริง แทนที่จะพึ่งพาเพียงความรู้ภายในของlarge language model (LLM) ซึ่งอาจล้าสมัยหรือไม่ครบถ้วน RAG จะค้นคืนเอกสารที่เกี่ยวข้องจากแหล่งความรู้ภายนอก แล้วส่งบริบทนั้นให้โมเดลภาษาใช้ระหว่างการสร้างคำตอบ แนวทางค้นคืนก่อนแล้วจึงสร้างคำตอบนี้เป็นรากฐานของแพลตฟอร์มบริการลูกค้าด้วย AIยุคใหม่ เพราะช่วยลดAI hallucination และทำให้คำตอบอิงข้อมูลที่ผ่านการตรวจสอบและเป็นปัจจุบัน

RAG ทำงานอย่างไร

ไปป์ไลน์ RAG ทำงานใน 2 ขั้นตอนหลัก ได้แก่ การค้นคืน (retrieval) และการสร้างคำตอบ (generation)

ขั้นตอนการค้นคืน: เมื่อลูกค้าส่งคำถามเข้ามา ระบบจะแปลงคำถามเป็น dense vector embedding ซึ่งเป็นการแทนข้อความด้วยตัวเลขที่สะท้อนความหมายเชิงความหมาย (semantic) จากนั้นนำ embedding นี้ไปเปรียบเทียบกับ vector index ของเอกสารที่ประมวลผลไว้ล่วงหน้า (บทความช่วยเหลือ เอกสารผลิตภัณฑ์ หน้านโยบาย ทิกเก็ตในอดีต) ด้วยอัลกอริทึมค้นหาความคล้ายคลึง เช่น cosine similarity หรือ approximate nearest neighbor (ANN) search แล้วค้นคืนและจัดอันดับส่วนของเอกสาร (chunk) ที่เกี่ยวข้องที่สุด ระบบขั้นสูงจะเสริมการค้นหาแบบเวกเตอร์ด้วยการค้นข้อมูลจากknowledge graph และการค้นคืนแบบคีย์เวิร์ด (hybrid search) เพื่อจับได้ทั้งความหมายและคำที่ต้องตรงกันเป๊ะ เช่น รหัสสินค้าหรือรหัสข้อผิดพลาด

ขั้นตอนการสร้างคำตอบ: ส่วนของเอกสารที่ค้นคืนได้จะถูกใส่ลงใน prompt ของ LLM เป็นบริบท โมเดลภาษาจะสังเคราะห์ข้อมูลเหล่านั้นเป็นคำตอบภาษาธรรมชาติที่สอดคล้องกัน เนื่องจากโมเดลอ้างอิงเนื้อหาจากแหล่งจริง ไม่ได้พึ่งเพียงหน่วยความจำภายในโมเดล (parametric memory) คำตอบจึงอิงข้อเท็จจริงและตรวจสอบย้อนกลับไปยังเอกสารต้นทางได้

ระบบ RAG ระดับ production เพิ่มขั้นตอนระหว่างทาง ได้แก่ การเขียนคำถามใหม่ (query rewriting) เพื่อให้ค้นคืนได้ดีขึ้น การจัดอันดับใหม่ (reranking) เพื่อให้ความสำคัญกับส่วนที่เกี่ยวข้องที่สุด และเทคนิค RAG Fusion ที่รวมผลลัพธ์จากหลายกลยุทธ์การค้นคืน การปรับปรุงเหล่านี้ช่วยลดสัญญาณรบกวนและเพิ่มความแม่นยำ

ทำไม RAG จึงสำคัญ

Large language model สร้างข้อความได้อย่างทรงพลัง แต่มีข้อจำกัดสำคัญ คืออาจสร้างข้อมูลที่ฟังดูถูกต้องแต่ผิดจากความจริง ซึ่งเรียกว่า hallucination ในงานบริการลูกค้า นั่นหมายถึงการให้ข้อมูลนโยบายการเรียกเก็บเงินที่ผิด ขั้นตอนแก้ปัญหาที่ไม่ถูกต้อง หรือฟีเจอร์ที่ไม่มีอยู่จริงแก่ลูกค้า RAG แก้ปัญหานี้ด้วยการยึดทุกคำตอบไว้กับหลักฐานที่ค้นคืนมา

งานวิจัยต้นแบบด้าน RAG โดย Lewis et al. (2020) ซึ่งตีพิมพ์ใน NeurIPS แสดงให้เห็นว่าการผสานโมเดลภาษาที่ผ่านการเทรนล่วงหน้าเข้ากับ neural retriever ที่ค้นจากเอกสารภายนอก ให้ผลลัพธ์ที่เฉพาะเจาะจง หลากหลาย และถูกต้องตามข้อเท็จจริงมากกว่าโมเดลที่พึ่งเพียงพารามิเตอร์ภายใน สถาปัตยกรรมนี้จึงกลายเป็นมาตรฐานของแอปพลิเคชัน AI ที่ต้องใช้ความรู้เข้มข้น ดังที่บันทึกไว้ในงานวิจัย RAG ต้นฉบับบน arXiv

สำหรับงานบริการลูกค้า RAG ส่งผลโดยตรง เอเจนต์ AI สามารถอ้างอิงแหล่งที่มาได้ ทีมซัพพอร์ตตรวจสอบความถูกต้องได้ และลูกค้าได้รับคำตอบจากความรู้จริงของบริษัท ไม่ใช่การคาดเดาของโมเดล RAG ยังทำให้ AI อัปเดตได้ง่าย เพียงอัปเดต document index แล้ว AI จะสะท้อนข้อมูลใหม่ได้ทันทีโดยไม่ต้องเทรนใหม่

กรณีการใช้งานและการประยุกต์ใช้

RAG เป็นแกนหลักทางเทคนิคของระบบซัพพอร์ตด้วย AI ที่แม่นยำในทุกอุตสาหกรรม:

• ซัพพอร์ตลูกค้า: ค้นคืนบทความช่วยเหลือ เอกสารผลิตภัณฑ์ และข้อมูลบัญชี เพื่อตอบคำถามลูกค้าได้อย่างแม่นยำ
• การจัดการความรู้ภายในองค์กร: ให้พนักงานค้นหาข้อมูลใน Confluence, Notion, Google Drive และคลังข้อมูลอื่นๆ ด้วยภาษาธรรมชาติ
• การปฏิบัติตามกฎระเบียบและอุตสาหกรรมที่มีการกำกับดูแล: ยึดทุกคำตอบของ AI ไว้กับเอกสารนโยบายที่ได้รับอนุมัติ และเก็บร่องรอยการอ้างอิงไว้สำหรับการตรวจสอบ
• การแก้ปัญหาทางเทคนิค: ดึงเอกสารข้อผิดพลาด API reference และรูปแบบการแก้ปัญหาในอดีต เพื่อนำทางการให้บริการซัพพอร์ต SaaS
• ซัพพอร์ตหลายภาษา: ค้นคืนเอกสารต้นทางในภาษาหนึ่ง แล้วสร้างคำตอบในภาษาที่ลูกค้าต้องการ

จุดเด่นของ Maven

แพลตฟอร์มของ Maven AGI สร้างขึ้นบนสถาปัตยกรรม RAG ที่ซับซ้อน Agent Maven ใช้ hybrid search ที่ผสาน dense vector embedding เข้ากับการค้นข้อมูลแบบมีโครงสร้างจากknowledge graph ครอบคลุมแหล่งข้อมูลที่เชื่อมต่อกว่า 100+ แหล่ง การจัดอันดับใหม่หลายขั้นตอนและ context fusion ช่วยให้ข้อมูลที่เกี่ยวข้องที่สุดไปถึงชั้นการสร้างคำตอบ จึงได้คำตอบที่แม่นยำและครบถ้วน

Enumerate บริษัทด้าน PropTech มีอัตราการแก้ไขปัญหา 91% ด้วย Maven AGI ความแม่นยำระดับนี้เกิดขึ้นได้เพราะไปป์ไลน์ RAG ของ Maven ค้นคืนข้อมูลที่ผ่านการตรวจสอบจากฐานความรู้และระบบผลิตภัณฑ์ของบริษัทเอง ไม่ใช่จากหน่วยความจำภายในของ LLM จึงขจัดความเสี่ยงจาก hallucination ที่บั่นทอนความเชื่อมั่นในระบบซัพพอร์ตด้วย AI

Maven AGI ซึ่งได้รับเงินทุน $78M ถือว่า RAG เป็นชั้นรากฐาน ทุกคำตอบที่ Agent Maven สร้างขึ้นอิงหลักฐานที่ค้นคืนมา พร้อมการอ้างอิงแหล่งที่มาเพื่อความโปร่งใส นี่คือเหตุผลที่ลูกค้าของ Maven อย่าง K1x มีอัตราการแก้ไขปัญหา 80% (ดีกว่า AI เดิม 10x) และ Papaya Pay แก้ไขปัญหาได้เองโดยอัตโนมัติ 90% ศึกษาเพิ่มเติมได้ที่งานวิจัยของ IBM Research เกี่ยวกับ Retrieval Augmented Generation หรือดูความก้าวหน้าของ hybrid retrieval ในงานวิจัยล่าสุดเกี่ยวกับ RAG ร่วมกับ knowledge graph

คำถามที่พบบ่อย

RAG ลด AI hallucination ได้อย่างไร

RAG ลดhallucinationด้วยการให้ผลลัพธ์ของโมเดลภาษาอิงเอกสารต้นทางที่ค้นคืนมา แทนการพึ่งเพียงพารามิเตอร์ภายใน โมเดลจะดึงข้อมูลจากข้อความที่เฉพาะเจาะจงและผ่านการตรวจสอบแล้ว หากบริบทที่ค้นคืนมาไม่มีคำตอบ ระบบ RAG ที่ออกแบบมาดีจะยอมรับว่าไม่มีข้อมูล แทนที่จะแต่งคำตอบขึ้นมาเอง

Vector embedding คืออะไร และสำคัญต่อ RAG อย่างไร

Vector embedding คือการแทนข้อความด้วยตัวเลขที่สะท้อนความหมาย คำว่า "refund" กับวลี "get my money back" จะมี embedding ใกล้เคียงกันแม้ไม่มีคำใดเหมือนกันเลย ใน RAG นั้น embedding ทำให้ค้นหาเชิงความหมายได้ ระบบจะพบเอกสารที่เกี่ยวข้องในเชิงแนวคิด ไม่ใช่แค่คีย์เวิร์ดที่ตรงกัน นี่คือสิ่งที่ทำให้ RAG มีประสิทธิภาพเหนือกว่าการค้นหาแบบดั้งเดิมอย่างมากสำหรับconversational AI

RAG ต้องเทรนโมเดลภาษาใหม่หรือไม่

ไม่ต้อง ข้อดีสำคัญประการหนึ่งของ RAG คือไม่ต้องเทรนโมเดลภาษาใหม่เมื่อข้อมูลเปลี่ยนแปลง ทีมเพียงอัปเดต document index แล้วชั้นการค้นคืนจะนำข้อมูลปัจจุบันมาใช้ระหว่างการสร้างคำตอบได้ทันที RAG จึงเหมาะกับสภาพแวดล้อมที่เปลี่ยนแปลงเร็วอย่างซัพพอร์ต SaaS ซึ่งเอกสารมีการปรับปรุงบ่อย

Hybrid search ในระบบ RAG คืออะไร

Hybrid search ผสานการค้นหาเชิงความหมายแบบเวกเตอร์เข้ากับการค้นคืนแบบคีย์เวิร์ด (BM25 หรือวิธีที่คล้ายกัน) การค้นหาแบบเวกเตอร์เก่งเรื่องการเข้าใจความหมายและเจตนา ส่วนการค้นหาแบบคีย์เวิร์ดเหมาะกับคำที่ต้องตรงกันเป๊ะ เช่น รหัสสินค้าและรหัสข้อผิดพลาด การใช้ทั้งสองวิธีร่วมกันช่วยให้ไปป์ไลน์ RAG ค้นคืนผลลัพธ์ที่เกี่ยวข้องได้ ไม่ว่าคำถามจะเป็นภาษาพูดหรือเฉพาะเจาะจง Maven AGI ใช้แนวทาง hybrid นี้ทั่วทั้งแพลตฟอร์มซัพพอร์ตด้วย AI ระดับองค์กร