Context Window

Context Window คืออะไร

Context window คือปริมาณข้อมูลทั้งหมดที่โมเดลภาษาขนาดใหญ่ (LLM) "มองเห็น" และนำมาพิจารณาได้เมื่อสร้างคำตอบ วัดเป็นโทเคน (ประมาณ ¾ ของคำ) โดย context window ครอบคลุมทุกอย่างที่โมเดลประมวลผล ได้แก่ system prompt ที่กำหนดพฤติกรรมของเอเจนต์ ประวัติการสนทนากับลูกค้า เอกสารที่ดึงมาผ่าน RAG รวมถึงเครื่องมือและฟังก์ชันที่เอเจนต์ใช้ได้

เปรียบได้กับหน่วยความจำขณะทำงานของ AI โมเดลที่มี context window ขนาด 128,000 โทเคนสามารถเก็บข้อมูลได้ราว 96,000 คำในคราวเดียว เทียบเท่านิยายทั้งเล่ม ส่วนโมเดลที่มี window ขนาด 4,000 โทเคนเก็บได้ประมาณ 3,000 คำ หรือราว 6 หน้า

ทำไมขนาดของ Context Window จึงสำคัญต่องานบริการลูกค้า

ในงานบริการลูกค้า ขนาดของ context window ส่งผลโดยตรงต่อคุณภาพการโต้ตอบของ AI context window ที่ใหญ่ขึ้นช่วยให้เอเจนต์:

• จดจำประวัติการสนทนาได้ครบถ้วน แม้จะโต้ตอบกันยาวนาน
• ประมวลผลเอกสารผลิตภัณฑ์และรายละเอียดนโยบายจำนวนมาก
• พิจารณาการติดต่อในอดีตและประวัติบัญชีของลูกค้า
• รับมือคำถามที่ซับซ้อนหลายส่วนได้โดยไม่หลงประเด็น

Context window ขนาดเล็กบังคับให้ต้องเลือก: ระบบต้องตัดสินใจว่าจะใส่ข้อมูลใดและตัดข้อมูลใดออก หากคำถามของลูกค้าต้องอาศัยความเข้าใจทั้งคู่มือผลิตภัณฑ์โดยละเอียดและประวัติการสนทนา 3 เดือน context window ที่จำกัดอาจทำให้เอเจนต์พลาดรายละเอียดสำคัญ

บริบทเชิงเทคนิค: โมเดลระดับแนวหน้าในปัจจุบันมี context window ตั้งแต่ 128K ถึง 2M โทเคน เพิ่มขึ้นอย่างมากจาก 4K-8K โทเคนซึ่งเป็นมาตรฐานในปี 2023 การขยายตัวนี้ทำให้เอเจนต์ AI สามารถประมวลผลฐานความรู้ทั้งหมดควบคู่กับบริบทการสนทนาได้จริง

Context Window เทียบกับฐานความรู้

Context window และฐานความรู้มีจุดประสงค์ต่างกัน ฐานความรู้จัดเก็บข้อมูลทั้งหมดขององค์กรอย่างถาวร ส่วน context window คือข้อมูลบางส่วนที่โหลดเข้าสู่โมเดลสำหรับการโต้ตอบแต่ละครั้ง เทคนิค RAG และ knowledge graph ช่วยเชื่อมสองส่วนนี้ ด้วยการเลือกข้อมูลจากฐานความรู้มาใส่ใน context window อย่างชาญฉลาดสำหรับแต่ละคำถาม

จุดแข็งของ Maven: การจัดการบริบทอัจฉริยะ

Maven AGI ใช้ knowledge graph เพื่อให้ข้อมูลที่เกี่ยวข้องที่สุดอยู่ใน context window สำหรับทุกการโต้ตอบ แทนที่จะยัดทุกอย่างลงใน window ระบบดึงข้อมูลของ Maven ระบุได้อย่างแม่นยำว่านโยบาย รายละเอียดบัญชี และประวัติการสนทนาใดสำคัญต่อคำถามปัจจุบัน การจัดการบริบทอัจฉริยะนี้คือสิ่งที่ทำให้อัตราการแก้ปัญหาสูง แม้ในบทสนทนาที่ซับซ้อนและมีหลายรอบ

ผลลัพธ์จริงของ Maven: Mastermind ทำอัตราการแก้ปัญหาผ่านไลฟ์แชทได้ 93% ด้วย Maven AGI ขณะรับมือการติดต่อเพิ่มขึ้น 60% แสดงให้เห็นว่าการจัดการบริบทอัจฉริยะขยายขนาดได้โดยไม่ลดทอนความแม่นยำ

คำถามที่พบบ่อย

จะเกิดอะไรขึ้นเมื่อบทสนทนายาวเกิน context window

เมื่อข้อมูลเกิน context window ส่วนเก่าของบทสนทนาหรือเอกสารที่เกี่ยวข้องน้อยจะถูกสรุปหรือตัดออก ระบบที่ออกแบบมาดีจะเก็บบริบทที่สำคัญที่สุดไว้และสรุปส่วนที่เหลือ เพื่อไม่ให้เอเจนต์ "ลืม" รายละเอียดสำคัญระหว่างการสนทนา

Context window ที่ใหญ่ขึ้นหมายถึงประสิทธิภาพที่ดีขึ้นเสมอหรือไม่

ไม่เสมอไป Context window ที่ใหญ่ขึ้นรองรับข้อมูลได้มากขึ้น แต่ก็อาจเพิ่มสิ่งรบกวนได้เช่นกัน งานวิจัยพบว่าโมเดลอาจหาข้อมูลที่เกี่ยวข้องได้ยากเมื่อข้อมูลนั้นถูกฝังอยู่กลางบริบทที่ยาวมาก การดึงข้อมูลอย่างชาญฉลาดเพื่อใส่ข้อมูลที่ถูกต้องลงใน window จึงสำคัญกว่าขนาดของ window

ขนาดของ context window วัดอย่างไร

Context window วัดเป็นโทเคน หนึ่งโทเคนเท่ากับประมาณ ¾ ของคำภาษาอังกฤษ context window ขนาด 128K โทเคนเก็บได้ราว 96,000 คำ การแบ่งโทเคนแตกต่างกันตามโมเดลและภาษา โดยข้อความที่ไม่ใช่ภาษาอังกฤษและโค้ดมักใช้โทเคนต่อคำมากกว่า