معالجة اللغة الطبيعية (NLP)

ما هي معالجة اللغة الطبيعية (NLP)؟

معالجة اللغة الطبيعية (NLP) هي فرع الذكاء الاصطناعي الذي يُمكّن الحواسيب من فهم اللغة البشرية وتفسيرها وتوليدها. فهي تسدّ الفجوة بين الطريقة غير المنظَّمة التي يتواصل بها البشر والتمثيلات المنظَّمة التي تحتاجها الآلات لاتخاذ إجراء. وتشمل NLP كل شيء، بدءًا من تحليل قواعد الجملة وصولًا إلى فهم القصد وراء رسالة بريد إلكتروني غاضبة من أحد العملاء.

في مجال تجربة العملاء، تُعدّ NLP التقنية الأساسية التي تجعل خدمة العملاء بالذكاء الاصطناعي ممكنة. ففي كل مرة يقرأ فيها وكيل ذكاء اصطناعي تذكرة دعم، أو يفهم أمرًا صوتيًا، أو يولّد ردًا مفيدًا، تكون NLP هي المحرك الذي يعمل في الخلفية.

كيف تعمل NLP

تعمل NLP الحديثة عبر مسار متعدد المراحل، وإن كانت الحدود بين المراحل قد تلاشت مع نماذج المحوّلات (Transformer) الشاملة من البداية إلى النهاية. وتشمل المراحل الأساسية:

التقطيع إلى وحدات (Tokenization) والمعالجة المسبقة: يُقسَّم النص الخام إلى وحدات (كلمات أو أجزاء كلمات أو أحرف)، ثم يُوحَّد ويُهيّأ ليكون مُدخلًا للنموذج. كما تتولى الأنظمة متعددة اللغات في هذه المرحلة اكتشاف اللغة وتوحيد نظام الكتابة.

التحليل النحوي: يُسند وسم أقسام الكلام (POS) دورًا نحويًا لكل وحدة. ويرسم تحليل الاعتماديات العلاقات بين الكلمات، مكوّنًا بنية شجرية تساعد النظام على التمييز بين "ألغِ طلبي" و"تم إلغاء طلبي".

التحليل الدلالي: ينتقل النظام من القواعد إلى المعنى. إذ تلتقط تضمينات الكلمات والجمل التشابه الدلالي، فيفهم النظام أن "استرداد قيمة مشترياتي" و"أريد استعادة أموالي" يعبّران عن القصد نفسه. وتولّد بنى المحوّلات مثل BERT تضمينات سياقية تحصل فيها الكلمة نفسها على تمثيلات مختلفة بحسب السياق المحيط بها.

الطبقات الخاصة بالمهام: تُبنى فوق التحليل الأساسي، وتشمل التعرّف على القصد، والتعرّف على الكيانات المسماة (NER)، وتحليل المشاعر، وتصنيف النصوص، والتلخيص، وتوليد الردود. وتستخدم كل طبقة التمثيلات الناتجة عن المراحل السابقة لأداء وظيفة محددة.

تؤكد مراجعة شاملة نُشرت في PeerJ Computer Science (2024) أن البنى القائمة على المحوّلات أصبحت النموذج السائد في NLP، إذ تتيح نماذج تتعامل مع مهام متعددة (التصنيف والتوليد والاستخراج) ضمن إطار موحّد واحد، بدلًا من الحاجة إلى نماذج منفصلة لكل وظيفة.

المكونات الرئيسية لـ NLP

أدوات التقطيع (Tokenizers): تحوّل النص الخام إلى وحدات يستطيع النموذج معالجتها. وتتعامل أدوات التقطيع إلى أجزاء الكلمات مثل BPE (Byte Pair Encoding) وWordPiece مع الكلمات النادرة والنصوص متعددة اللغات عبر تقسيم الكلمات إلى أجزاء ذات معنى.

التضمينات (Embeddings): تمثيلات رقمية للكلمات أو الجمل في فضاء متجهي. وتُسند التضمينات السياقية (BERT وGPT) متجهات مختلفة بحسب السياق المحيط، فتلتقط تعدد المعاني والفروق الدقيقة التي تغفلها التضمينات الثابتة (Word2Vec).

بنية المحوّلات (Transformer): آلية الانتباه الذاتي التي تُمكّن النماذج من تقدير أهمية كل كلمة بالنسبة إلى كل كلمة أخرى. وقد حلّت المحوّلات محل البنى التكرارية (LSTMs) لأنها تعالج التسلسلات بالتوازي وتلتقط الاعتماديات بعيدة المدى بفعالية أكبر.

التعرّف على الكيانات المسماة (NER): يحدد الكيانات في النص ويصنّفها: أسماء الأشخاص، والتواريخ، والمبالغ المالية، وأرقام الطلبات، وأسماء المنتجات. وفي خدمة العملاء، يستخرج NER المعطيات التي يحتاجها وكيل الذكاء الاصطناعي لاتخاذ إجراء.

النماذج اللغوية المدرّبة مسبقًا: تُدرَّب النماذج التأسيسية مثل BERT وGPT مسبقًا على مجموعات نصية ضخمة، ثم تُضبط بدقة لمهام محددة. ويعني نهج التعلم بالنقل هذا أن أنظمة NLP في المؤسسات لا تحتاج إلى التدريب من الصفر.

لماذا تهم NLP في تجربة العملاء

يُعبَّر عن كل تفاعل مع العملاء باللغة الطبيعية. وسواء وصل في صورة رسالة دردشة أو بريد إلكتروني أو نص مكالمة هاتفية أو منشور على وسائل التواصل الاجتماعي، فإن الخطوة الأولى واحدة دائمًا: فهم ما يقوله العميل وما يحتاجه. وتجعل NLP هذا الفهم ممكنًا على نطاق واسع.

بدون NLP، تقتصر أنظمة خدمة العملاء على المطابقة الحرفية للكلمات المفتاحية والقوائم الجامدة. أما مع NLP، فإنها تتعامل مع الأخطاء الإملائية والاختصارات والطلبات متعددة الخطوات والمعاني المرتبطة بالسياق. كما تدعم NLP الجانب التحليلي من تجربة العملاء: استخلاص المشكلات الناشئة من تذاكر الدعم، وتتبّع اتجاهات المشاعر، وتحديد الثغرات المعرفية التي تؤدي إلى تكرار التواصل.

ميزة Maven

تطبّق Maven AGI تقنيات NLP في كل طبقة من طبقات التفاعل مع العملاء. إذ يستخدم النظام فهم اللغة الطبيعية (NLU) القائم على المحوّلات لتحليل القصد والكيانات، ثم يطبّق RAG لإسناد فهمه إلى معرفة مؤسسية موثّقة. والنتيجة وكيل ذكاء اصطناعي يفهم الطلبات الدقيقة متعددة الأجزاء ويحلّها بدقة وبلغات متعددة.

نشرت K1x، وهي شركة تقنية مالية، منصة Maven AGI وحققت معدل حل بلغ 80%، أي تحسّنًا بمقدار 10 أضعاف مقارنةً بنظام الذكاء الاصطناعي السابق لديها. وقد جاء هذا التحسّن بدرجة كبيرة بفضل مسار NLP المتفوق لدى Maven، الذي فهم بدقة الاستفسارات المالية المعقدة التي عجز النظام السابق عن تحليلها.

بفضل أكثر من 100 تكامل، تربط Maven فهم اللغة بالتنفيذ عبر أنظمة المؤسسة في تفاعل واحد. وللتعمق تقنيًا، اطّلعوا على هذه المقدمة إلى المحوّلات من منظور NLP على arXiv، أو اقرؤوا تقرير AI Index الصادر عن Stanford HAI حول تطورات NLP.

الأسئلة الشائعة

ما الفرق بين NLP وNLU؟

NLP هي المجال الواسع الذي يغطي كل أشكال التفاعل الحاسوبي مع اللغة البشرية: الفهم والتوليد والترجمة. أما NLU (فهم اللغة الطبيعية) فهو فرع منها يركّز على الاستيعاب: استخراج المعنى والقصد والكيانات من النص. وعمليًا، يشير NLU إلى "جانب المدخلات" في نظام الذكاء الاصطناعي المحادثي، بينما تشمل NLP أيضًا توليد الردود والتلخيص.

كيف تغيّرت NLP مع ظهور النماذج اللغوية الكبيرة؟

قبل النماذج اللغوية الكبيرة (LLMs)، كانت NLP تتطلب بناء نماذج منفصلة لكل مهمة (التصنيف، والاستخراج، والتلخيص). وقد غيّرت النماذج اللغوية الكبيرة ذلك بتوفير أساس واحد مدرّب مسبقًا يمكن تكييفه مع أي مهمة لغوية تقريبًا عبر الضبط الدقيق أو التوجيه (Prompting). وقلّص ذلك بشكل كبير الجهد الهندسي اللازم لنشر NLP في بيئة الإنتاج، وإن كان قد أفرز تحديات جديدة مثل الهلوسة والحساسية لصياغة التوجيهات.

هل تستطيع NLP فهم السخرية والنبرة؟

تكتشف أنظمة NLP الحديثة النبرة والسخرية بشكل أفضل بكثير من الأساليب السابقة القائمة على الكلمات المفتاحية، لكنها ليست مثالية. فالتضمينات السياقية تلتقط الفروق الدقيقة، والنماذج المضبوطة على بيانات خدمة العملاء تتعلم أنماط النبرة الخاصة بالمجال. كما أن الجمع بين تحليل النص والإشارات الصوتية في القنوات الصوتية يحسّن الاكتشاف أكثر، وإن ظلت السخرية المرتبطة بالثقافة تحديًا قائمًا.

كيف تبدو دقة NLP في خدمة العملاء لدى المؤسسات؟

تتفاوت الدقة بحسب المهمة ومدى تعقيد المجال. ففي تصنيف القصد، تحقق أنظمة الإنتاج عادةً دقة تتجاوز 90%. أما في المهام المعقدة مثل فهم الحوارات متعددة الأدوار، فتعتمد الدقة على جودة بيانات التدريب ومدى تغطية المجال. وتحقق Maven AGI دقة عالية من خلال الجمع بين NLP القائمة على المحوّلات والإسناد عبر RAG والتعلم المستمر من التفاعلات التي تم حلها.