การประมวลผลภาษาธรรมชาติ (NLP)

Natural Language Processing (NLP) คืออะไร?

Natural Language Processing (NLP) หรือการประมวลผลภาษาธรรมชาติ คือสาขาหนึ่งของปัญญาประดิษฐ์ที่ช่วยให้คอมพิวเตอร์เข้าใจ ตีความ และสร้างภาษามนุษย์ได้ NLP เชื่อมช่องว่างระหว่างการสื่อสารของมนุษย์ที่ไม่มีโครงสร้าง กับรูปแบบข้อมูลที่มีโครงสร้างซึ่งเครื่องต้องใช้ในการดำเนินการ ครอบคลุมตั้งแต่การแยกวิเคราะห์ไวยากรณ์ของประโยค ไปจนถึงการเข้าใจเจตนาเบื้องหลังอีเมลของลูกค้าที่กำลังหงุดหงิด

ในงานด้านประสบการณ์ลูกค้า NLP คือเทคโนโลยีพื้นฐานที่ทำให้ บริการลูกค้าด้วย AI เกิดขึ้นได้ ทุกครั้งที่ เอเจนต์ AI อ่านทิกเก็ตซัพพอร์ต เข้าใจคำสั่งเสียง หรือสร้างคำตอบที่เป็นประโยชน์ NLP คือกลไกที่ทำงานอยู่เบื้องหลัง

NLP ทำงานอย่างไร

NLP ยุคใหม่ทำงานผ่าน pipeline หลายขั้นตอน แม้เส้นแบ่งระหว่างแต่ละขั้นจะเลือนลางลงเมื่อมีโมเดล transformer แบบ end-to-end ขั้นตอนหลักประกอบด้วย:

Tokenization และการเตรียมข้อมูล: ข้อความดิบจะถูกแบ่งเป็น token (คำ คำย่อย หรืออักขระ) ปรับให้เป็นมาตรฐาน และเตรียมพร้อมสำหรับป้อนเข้าโมเดล ระบบหลายภาษายังตรวจจับภาษาและปรับรูปแบบตัวอักษรให้เป็นมาตรฐานในขั้นนี้ด้วย

การวิเคราะห์วากยสัมพันธ์ (Syntactic analysis): Part-of-speech (POS) tagging กำหนดหน้าที่ทางไวยากรณ์ให้แต่ละ token ส่วน dependency parsing จะระบุความสัมพันธ์ระหว่างคำ และสร้างเป็นโครงสร้างแบบต้นไม้ที่ช่วยให้ระบบแยกแยะ "ยกเลิกคำสั่งซื้อของฉัน" ออกจาก "คำสั่งซื้อของฉันถูกยกเลิกแล้ว" ได้

การวิเคราะห์ความหมาย (Semantic analysis): ระบบขยับจากไวยากรณ์ไปสู่ความหมาย Word embedding และ sentence embedding จับความคล้ายคลึงทางความหมาย ระบบจึงเข้าใจว่า "ขอคืนเงินค่าสินค้า" กับ "อยากได้เงินคืน" สื่อเจตนาเดียวกัน สถาปัตยกรรม transformer อย่าง BERT สร้าง contextual embedding ที่ทำให้คำเดียวกันมีตัวแทนต่างกันตามบริบทรอบข้าง

เลเยอร์เฉพาะงาน: สร้างต่อยอดจากการวิเคราะห์พื้นฐาน ได้แก่ การจดจำเจตนา (intent recognition) named entity recognition (NER) การวิเคราะห์ความรู้สึก (sentiment analysis) การจัดหมวดหมู่ข้อความ การสรุปความ และการสร้างคำตอบ แต่ละเลเยอร์ใช้ตัวแทนข้อมูลจากขั้นก่อนหน้าเพื่อทำหน้าที่เฉพาะของตน

บทความรีวิวเชิงลึกที่ตีพิมพ์ใน PeerJ Computer Science (2024) ยืนยันว่าสถาปัตยกรรมแบบ transformer กลายเป็นกระบวนทัศน์หลักของ NLP ทำให้โมเดลเดียวรองรับได้หลายงาน (การจัดหมวดหมู่ การสร้างข้อความ การสกัดข้อมูล) ภายในเฟรมเวิร์กเดียว แทนที่จะต้องมีโมเดลแยกสำหรับแต่ละหน้าที่

องค์ประกอบสำคัญของ NLP

Tokenizer: แปลงข้อความดิบให้เป็นหน่วยที่โมเดลประมวลผลได้ Subword tokenizer อย่าง BPE (Byte Pair Encoding) และ WordPiece รับมือกับคำที่พบไม่บ่อยและข้อความหลายภาษาได้ ด้วยการแบ่งคำออกเป็นหน่วยย่อยที่มีความหมาย

Embedding: ตัวแทนเชิงตัวเลขของคำหรือประโยคใน vector space โดย contextual embedding (BERT, GPT) จะกำหนดเวกเตอร์ต่างกันตามบริบทรอบข้าง จึงจับความหมายหลายนัยและความแตกต่างเล็ก ๆ น้อย ๆ ที่ static embedding (Word2Vec) มองข้ามไปได้

สถาปัตยกรรม Transformer: กลไก self-attention ที่ช่วยให้โมเดลชั่งน้ำหนักความสำคัญของทุกคำเทียบกับคำอื่นทั้งหมด Transformer เข้ามาแทนที่สถาปัตยกรรมแบบ recurrent (LSTM) ด้วยการประมวลผลลำดับข้อมูลแบบขนาน และจับความสัมพันธ์ระยะไกลได้มีประสิทธิภาพกว่า

Named entity recognition (NER): ระบุและจัดประเภทเอนทิตีในข้อความ เช่น ชื่อบุคคล วันที่ จำนวนเงิน หมายเลขคำสั่งซื้อ และชื่อสินค้า ในงานบริการลูกค้า NER จะดึงพารามิเตอร์ที่เอเจนต์ AI ต้องใช้ในการดำเนินการ

Pre-trained language model: Foundation model อย่าง BERT และ GPT ผ่านการ pre-train บนคลังข้อความขนาดมหาศาล แล้วนำมา fine-tune สำหรับงานเฉพาะ แนวทาง transfer learning นี้ทำให้ระบบ NLP ระดับองค์กรไม่ต้องเทรนใหม่ตั้งแต่ศูนย์

ทำไม NLP จึงสำคัญต่อประสบการณ์ลูกค้า

การโต้ตอบกับลูกค้าทุกครั้งเกิดขึ้นผ่านภาษาธรรมชาติ ไม่ว่าจะมาในรูปข้อความแชท อีเมล บทถอดเสียงการโทร หรือโพสต์บนโซเชียลมีเดีย ขั้นแรกจะเหมือนกันเสมอ คือต้องเข้าใจว่าลูกค้าพูดอะไรและต้องการอะไร NLP ทำให้ความเข้าใจนี้เกิดขึ้นได้ในระดับสเกล

หากไม่มี NLP ระบบบริการลูกค้าจะทำได้เพียงจับคู่คีย์เวิร์ดแบบตรงตัวและใช้เมนูที่ตายตัว แต่เมื่อมี NLP ระบบจะรับมือกับคำพิมพ์ผิด คำย่อ คำขอหลายขั้นตอน และความหมายที่ขึ้นกับบริบทได้ NLP ยังขับเคลื่อนงานวิเคราะห์ด้าน CX ด้วย ทั้งการขุดข้อมูลจากทิกเก็ตซัพพอร์ตเพื่อหาปัญหาที่เริ่มเกิดขึ้น การติดตามแนวโน้ม sentiment และการระบุช่องว่างขององค์ความรู้ที่ทำให้ลูกค้าต้องติดต่อซ้ำ

จุดเด่นของ Maven

Maven AGI ใช้ NLP ในทุกเลเยอร์ของการโต้ตอบกับลูกค้า ระบบใช้ NLU แบบ transformer เพื่อแยกวิเคราะห์เจตนาและเอนทิตี จากนั้นใช้ RAG เพื่อยึดโยงความเข้าใจเข้ากับองค์ความรู้ขององค์กรที่ผ่านการตรวจสอบแล้ว ผลลัพธ์คือเอเจนต์ AI ที่เข้าใจคำขอที่ละเอียดอ่อนและมีหลายส่วน และแก้ไขได้อย่างแม่นยำในหลายภาษา

K1x บริษัท FinTech นำ Maven AGI มาใช้และได้อัตราการแก้ไขปัญหา 80% ดีขึ้น 10x เมื่อเทียบกับระบบ AI เดิม ความก้าวหน้านี้มาจาก NLP pipeline ที่เหนือกว่าของ Maven เป็นสำคัญ ซึ่งเข้าใจคำถามด้านการเงินที่ซับซ้อนได้อย่างแม่นยำ ในขณะที่ระบบเดิมแยกวิเคราะห์ไม่ได้

ด้วย integration มากกว่า 100+ รายการ Maven เชื่อมความเข้าใจภาษาเข้ากับการลงมือดำเนินการข้ามระบบต่าง ๆ ขององค์กรได้ภายในการโต้ตอบครั้งเดียว หากต้องการเจาะลึกเชิงเทคนิค อ่าน บทนำเรื่อง transformer จากมุมมองของ NLP บน arXiv หรือ รายงาน AI Index ของ Stanford HAI เกี่ยวกับความก้าวหน้าของ NLP

คำถามที่พบบ่อย

NLP กับ NLU ต่างกันอย่างไร?

NLP คือสาขากว้างที่ครอบคลุมการทำงานเชิงคำนวณกับภาษามนุษย์ทั้งหมด ทั้งการทำความเข้าใจ การสร้างข้อความ และการแปลภาษา ส่วน NLU (natural language understanding) เป็นส่วนย่อยที่มุ่งเน้นการทำความเข้าใจ คือการสกัดความหมาย เจตนา และเอนทิตีจากข้อความ ในทางปฏิบัติ NLU หมายถึง "ฝั่งรับข้อมูลเข้า" ของระบบ conversational AI ขณะที่ NLP ครอบคลุมถึงการสร้างคำตอบและการสรุปความด้วย

NLP เปลี่ยนไปอย่างไรเมื่อ large language model เข้ามามีบทบาท?

ก่อนยุค LLM NLP ต้องสร้างโมเดลแยกสำหรับแต่ละงาน (การจัดหมวดหมู่ การสกัดข้อมูล การสรุปความ) LLM เปลี่ยนแนวทางนี้ด้วยการเป็นฐานแบบ pre-trained เพียงตัวเดียวที่ปรับใช้กับงานด้านภาษาได้แทบทุกงานผ่านการ fine-tune หรือ prompting วิธีนี้ช่วยลดงานวิศวกรรมที่ต้องใช้ในการนำ NLP ขึ้นสู่ production ลงอย่างมาก แต่ก็นำมาซึ่งความท้าทายใหม่ เช่น hallucination และความอ่อนไหวต่อ prompt

NLP เข้าใจการประชดประชันและน้ำเสียงได้หรือไม่?

ระบบ NLP ยุคใหม่ตรวจจับน้ำเสียงและการประชดประชันได้ดีกว่าแนวทางแบบคีย์เวิร์ดในอดีตมาก แต่ก็ยังไม่สมบูรณ์แบบ Contextual embedding จับความละเอียดอ่อนของภาษาได้ และโมเดลที่ fine-tune ด้วยข้อมูลงานบริการลูกค้าจะเรียนรู้รูปแบบน้ำเสียงเฉพาะของแต่ละธุรกิจ การผสานการวิเคราะห์ข้อความเข้ากับสัญญาณเสียงในช่องทางเสียงช่วยให้ตรวจจับได้ดียิ่งขึ้น แม้การประชดประชันที่ขึ้นกับวัฒนธรรมยังคงเป็นความท้าทาย

ความแม่นยำของ NLP ในงานบริการลูกค้าระดับองค์กรอยู่ที่ระดับใด?

ความแม่นยำขึ้นอยู่กับประเภทงานและความซับซ้อนของโดเมน สำหรับการจัดหมวดหมู่เจตนา ระบบใน production มักทำได้แม่นยำ 90%+ เป็นปกติ ส่วนงานที่ซับซ้อนอย่างการทำความเข้าใจบทสนทนาหลายรอบ ความแม่นยำขึ้นอยู่กับคุณภาพของข้อมูลเทรนและความครอบคลุมของโดเมน Maven AGI ทำความแม่นยำได้สูงด้วยการผสาน NLP แบบ transformer เข้ากับการยึดโยงข้อมูลด้วย RAG และการเรียนรู้อย่างต่อเนื่องจากการโต้ตอบที่แก้ไขสำเร็จแล้ว