Xử lý ngôn ngữ tự nhiên (NLP)

Xử lý ngôn ngữ tự nhiên (NLP) là gì?

Xử lý ngôn ngữ tự nhiên (NLP) là nhánh của trí tuệ nhân tạo giúp máy tính hiểu, diễn giải và tạo ra ngôn ngữ của con người. NLP thu hẹp khoảng cách giữa cách giao tiếp phi cấu trúc của con người và dạng biểu diễn có cấu trúc mà máy cần để hành động. NLP bao trùm mọi thứ, từ phân tích ngữ pháp câu đến nắm bắt ý định đằng sau một email đầy bực bội của khách hàng.

Trong trải nghiệm khách hàng, NLP là công nghệ nền tảng giúp dịch vụ khách hàng bằng AI trở thành hiện thực. Mỗi khi một tác tử AI đọc phiếu hỗ trợ, hiểu lệnh thoại hay tạo ra một câu trả lời hữu ích, NLP chính là động cơ vận hành phía sau.

NLP hoạt động như thế nào

NLP hiện đại vận hành qua một quy trình nhiều giai đoạn, dù ranh giới giữa các giai đoạn đã mờ dần với các mô hình transformer đầu-cuối. Các giai đoạn cốt lõi gồm:

Tách token và tiền xử lý: Văn bản thô được tách thành các token (từ, từ con hoặc ký tự), chuẩn hóa và chuẩn bị làm đầu vào cho mô hình. Ở giai đoạn này, các hệ thống đa ngôn ngữ còn xử lý việc nhận diện ngôn ngữ và chuẩn hóa hệ chữ viết.

Phân tích cú pháp: Gán nhãn từ loại (POS) xác định vai trò ngữ pháp cho từng token. Phân tích phụ thuộc lập bản đồ quan hệ giữa các từ, xây dựng cấu trúc cây giúp hệ thống phân biệt "hủy đơn hàng của tôi" với "đơn hàng của tôi đã bị hủy".

Phân tích ngữ nghĩa: Hệ thống chuyển từ ngữ pháp sang ý nghĩa. Embedding của từ và câu nắm bắt mức độ tương đồng ngữ nghĩa, nhờ đó hệ thống hiểu rằng "hoàn tiền giao dịch mua của tôi" và "tôi muốn lấy lại tiền" thể hiện cùng một ý định. Các kiến trúc transformer như BERT tạo ra embedding theo ngữ cảnh, trong đó cùng một từ có thể có biểu diễn khác nhau tùy vào ngữ cảnh xung quanh.

Các lớp chuyên biệt theo tác vụ: Được xây dựng trên lớp phân tích nền tảng, bao gồm nhận diện ý định, nhận dạng thực thể có tên (NER), phân tích cảm xúc, phân loại văn bản, tóm tắt và tạo phản hồi. Mỗi lớp tác vụ sử dụng biểu diễn từ các giai đoạn trước để thực hiện một chức năng cụ thể.

Một bài tổng quan toàn diện đăng trên PeerJ Computer Science (2024) khẳng định kiến trúc dựa trên transformer đã trở thành mô hình chủ đạo trong NLP, cho phép một mô hình xử lý nhiều tác vụ (phân loại, tạo sinh, trích xuất) trong một khung thống nhất thay vì cần mô hình riêng cho từng chức năng.

Các thành phần chính của NLP

Tokenizer: Chuyển văn bản thô thành các đơn vị mà mô hình có thể xử lý. Các tokenizer từ con như BPE (Byte Pair Encoding) và WordPiece xử lý từ hiếm và văn bản đa ngôn ngữ bằng cách chia từ thành các đơn vị từ con có nghĩa.

Embedding: Biểu diễn số của từ hoặc câu trong không gian vector. Embedding theo ngữ cảnh (BERT, GPT) gán các vector khác nhau tùy ngữ cảnh xung quanh, nắm bắt được hiện tượng đa nghĩa và sắc thái mà embedding tĩnh (Word2Vec) bỏ sót.

Kiến trúc transformer: Cơ chế self-attention cho phép mô hình cân nhắc mức độ quan trọng của mỗi từ so với mọi từ khác. Transformer đã thay thế các kiến trúc hồi quy (LSTM) nhờ xử lý chuỗi song song và nắm bắt phụ thuộc tầm xa hiệu quả hơn.

Nhận dạng thực thể có tên (NER): Xác định và phân loại các thực thể trong văn bản: tên người, ngày tháng, số tiền, mã đơn hàng, tên sản phẩm. Trong dịch vụ khách hàng, NER trích xuất các tham số mà tác tử AI cần để hành động.

Mô hình ngôn ngữ huấn luyện sẵn: Các mô hình nền tảng như BERT và GPT được huấn luyện trước trên kho văn bản khổng lồ, sau đó tinh chỉnh cho các tác vụ cụ thể. Nhờ phương pháp học chuyển giao này, hệ thống NLP doanh nghiệp không cần huấn luyện từ đầu.

Vì sao NLP quan trọng với trải nghiệm khách hàng

Mọi tương tác với khách hàng đều được thể hiện bằng ngôn ngữ tự nhiên. Dù đến dưới dạng tin nhắn chat, email, bản ghi cuộc gọi hay bài đăng mạng xã hội, bước đầu tiên luôn giống nhau: hiểu khách hàng đang nói gì và họ cần gì. NLP giúp việc thấu hiểu này diễn ra ở quy mô lớn.

Không có NLP, hệ thống dịch vụ khách hàng chỉ dừng ở việc khớp từ khóa chính xác và menu cứng nhắc. Có NLP, hệ thống xử lý được lỗi chính tả, từ viết tắt, yêu cầu nhiều bước và ý nghĩa phụ thuộc ngữ cảnh. NLP còn hỗ trợ mảng phân tích của CX: khai thác phiếu hỗ trợ để phát hiện vấn đề mới nổi, theo dõi xu hướng cảm xúc và xác định lỗ hổng kiến thức gây ra liên hệ lặp lại.

Lợi thế của Maven

Maven AGI ứng dụng NLP ở mọi lớp của tương tác khách hàng. Hệ thống dùng NLU dựa trên transformer để phân tích ý định và thực thể, sau đó áp dụng RAG để neo hiểu biết của mình vào kiến thức doanh nghiệp đã được xác minh. Kết quả là một tác tử AI hiểu được các yêu cầu nhiều phần, giàu sắc thái và giải quyết chúng chính xác trên nhiều ngôn ngữ.

K1x, một công ty FinTech, đã triển khai Maven AGI và đạt tỷ lệ giải quyết 80%, cải thiện gấp 10 lần so với hệ thống AI trước đây. Phần lớn mức cải thiện này đến từ quy trình NLP vượt trội của Maven, vốn hiểu chính xác những truy vấn tài chính phức tạp mà hệ thống cũ không thể phân tích.

Với hơn 100 tích hợp, Maven kết nối khả năng hiểu ngôn ngữ với hành động trên các hệ thống doanh nghiệp chỉ trong một lần tương tác. Để tìm hiểu chuyên sâu về kỹ thuật, hãy xem bài giới thiệu về transformer từ góc nhìn NLP trên arXiv, hoặc đọc Báo cáo AI Index của Stanford HAI về các tiến bộ NLP.

Câu hỏi thường gặp

NLP và NLU khác nhau như thế nào?

NLP là lĩnh vực rộng bao trùm mọi tương tác tính toán với ngôn ngữ con người: hiểu, tạo sinh và dịch thuật. NLU (hiểu ngôn ngữ tự nhiên) là một nhánh con tập trung vào khả năng thấu hiểu: trích xuất ý nghĩa, ý định và thực thể từ văn bản. Trên thực tế, NLU chỉ "phía đầu vào" của một hệ thống AI hội thoại, còn NLP bao gồm cả tạo phản hồi và tóm tắt.

NLP đã thay đổi ra sao khi các mô hình ngôn ngữ lớn xuất hiện?

Trước khi có LLM, NLP đòi hỏi xây dựng mô hình riêng cho từng tác vụ (phân loại, trích xuất, tóm tắt). LLM thay đổi điều này bằng một nền tảng huấn luyện sẵn duy nhất có thể thích ứng với hầu hết mọi tác vụ ngôn ngữ thông qua tinh chỉnh hoặc prompt. Nhờ đó, công sức kỹ thuật để đưa NLP vào vận hành thực tế giảm đáng kể, dù cũng nảy sinh những thách thức mới như ảo giác (hallucination) và độ nhạy với prompt.

NLP có hiểu được sự mỉa mai và giọng điệu không?

Các hệ thống NLP hiện đại nhận diện giọng điệu và sự mỉa mai tốt hơn nhiều so với các phương pháp dựa trên từ khóa trước đây, nhưng chưa hoàn hảo. Embedding theo ngữ cảnh nắm bắt được sắc thái, và các mô hình tinh chỉnh trên dữ liệu dịch vụ khách hàng học được các mẫu giọng điệu đặc thù của lĩnh vực. Kết hợp phân tích văn bản với tín hiệu âm thanh trên kênh thoại giúp cải thiện thêm khả năng nhận diện, dù sự mỉa mai mang tính văn hóa vẫn là thách thức.

Độ chính xác của NLP trong dịch vụ khách hàng doanh nghiệp ra sao?

Độ chính xác thay đổi tùy tác vụ và độ phức tạp của lĩnh vực. Với phân loại ý định, các hệ thống vận hành thực tế thường đạt độ chính xác trên 90%. Với tác vụ phức tạp như hiểu hội thoại nhiều lượt, độ chính xác phụ thuộc vào chất lượng dữ liệu huấn luyện và mức độ bao phủ lĩnh vực. Maven AGI đạt độ chính xác cao bằng cách kết hợp NLP dựa trên transformer với cơ chế neo RAG và học liên tục từ các tương tác đã được giải quyết.