Natural Language Processing (NLP)

Apa Itu Natural Language Processing (NLP)?

Natural language processing (NLP) adalah cabang kecerdasan buatan yang memungkinkan komputer memahami, menafsirkan, dan menghasilkan bahasa manusia. NLP menjembatani cara manusia berkomunikasi yang tidak terstruktur dengan representasi terstruktur yang dibutuhkan mesin untuk bertindak. Cakupannya luas, mulai dari mengurai tata bahasa kalimat hingga memahami maksud di balik email pelanggan yang sedang kesal.

Dalam pengalaman pelanggan (CX), NLP adalah teknologi dasar yang memungkinkan layanan pelanggan berbasis AI. Setiap kali agen AI membaca tiket dukungan, memahami perintah suara, atau menghasilkan respons yang membantu, NLP-lah mesin yang bekerja di baliknya.

Cara Kerja NLP

NLP modern bekerja melalui pipeline bertahap, meskipun batas antartahap kini semakin samar dengan hadirnya model transformer end-to-end. Tahap-tahap intinya meliputi:

Tokenisasi dan praproses: Teks mentah dipecah menjadi token (kata, subkata, atau karakter), dinormalisasi, lalu disiapkan sebagai input model. Sistem multibahasa juga menangani deteksi bahasa dan normalisasi aksara pada tahap ini.

Analisis sintaksis: Part-of-speech (POS) tagging memberikan peran gramatikal pada setiap token. Dependency parsing memetakan hubungan antarkata dan membangun struktur pohon yang membantu sistem membedakan "batalkan pesanan saya" dari "pesanan saya sudah dibatalkan."

Analisis semantik: Sistem beralih dari tata bahasa ke makna. Embedding kata dan kalimat menangkap kemiripan semantik, sehingga sistem memahami bahwa "kembalikan dana pembelian saya" dan "saya ingin uang saya kembali" menyatakan maksud yang sama. Arsitektur transformer seperti BERT menghasilkan embedding kontekstual, di mana kata yang sama mendapat representasi berbeda tergantung konteks di sekitarnya.

Lapisan khusus tugas: Dibangun di atas analisis dasar, lapisan ini mencakup pengenalan maksud, named entity recognition (NER), analisis sentimen, klasifikasi teks, peringkasan, dan pembuatan respons. Setiap lapisan memanfaatkan representasi dari tahap sebelumnya untuk menjalankan fungsi tertentu.

Tinjauan komprehensif yang diterbitkan di PeerJ Computer Science (2024) menegaskan bahwa arsitektur berbasis transformer telah menjadi paradigma dominan dalam NLP, memungkinkan model menangani berbagai tugas (klasifikasi, pembuatan, ekstraksi) dalam satu kerangka terpadu tanpa memerlukan model terpisah untuk setiap fungsi.

Komponen Utama NLP

Tokenizer: Mengubah teks mentah menjadi unit yang dapat diproses model. Tokenizer subkata seperti BPE (Byte Pair Encoding) dan WordPiece menangani kata langka dan teks multibahasa dengan memecah kata menjadi unit subkata yang bermakna.

Embedding: Representasi numerik kata atau kalimat dalam ruang vektor. Embedding kontekstual (BERT, GPT) memberikan vektor berbeda berdasarkan konteks di sekitarnya, sehingga mampu menangkap polisemi dan nuansa yang terlewat oleh embedding statis (Word2Vec).

Arsitektur transformer: Mekanisme self-attention yang memungkinkan model menimbang bobot setiap kata terhadap kata lainnya. Transformer menggantikan arsitektur rekuren (LSTM) dengan memproses urutan secara paralel dan menangkap dependensi jarak jauh secara lebih efektif.

Named entity recognition (NER): Mengidentifikasi dan mengklasifikasikan entitas dalam teks: nama orang, tanggal, jumlah uang, nomor pesanan, nama produk. Dalam layanan pelanggan, NER mengekstrak parameter yang dibutuhkan agen AI untuk bertindak.

Model bahasa pra-latih: Foundation model seperti BERT dan GPT dilatih terlebih dahulu pada korpus teks berukuran masif, lalu di-fine-tune untuk tugas tertentu. Pendekatan transfer learning ini berarti sistem NLP enterprise tidak perlu dilatih dari nol.

Mengapa NLP Penting bagi Pengalaman Pelanggan

Setiap interaksi pelanggan diungkapkan dalam bahasa alami. Baik datang sebagai pesan chat, email, transkrip panggilan telepon, maupun unggahan media sosial, langkah pertamanya selalu sama: memahami apa yang dikatakan pelanggan dan apa yang mereka butuhkan. NLP memungkinkan pemahaman ini dalam skala besar.

Tanpa NLP, sistem layanan pelanggan terbatas pada pencocokan kata kunci yang persis dan menu yang kaku. Dengan NLP, sistem mampu menangani salah ketik, singkatan, permintaan bertahap, dan makna yang bergantung pada konteks. NLP juga mendukung sisi analitis CX: menggali tiket dukungan untuk menemukan masalah yang mulai muncul, memantau tren sentimen, dan mengidentifikasi celah pengetahuan yang menyebabkan pelanggan menghubungi berulang kali.

Keunggulan Maven

Maven AGI menerapkan NLP di setiap lapisan interaksi pelanggan. Sistem ini menggunakan NLU berbasis transformer untuk mengurai maksud dan entitas, lalu menerapkan RAG agar pemahamannya berlandaskan pengetahuan enterprise yang terverifikasi. Hasilnya adalah agen AI yang memahami permintaan bernuansa dan berlapis, serta menyelesaikannya secara akurat dalam berbagai bahasa.

K1x, perusahaan FinTech, menerapkan Maven AGI dan mencapai tingkat resolusi 80%, peningkatan 10x dibanding sistem AI sebelumnya. Peningkatan tersebut sebagian besar didorong oleh pipeline NLP Maven yang lebih unggul, yang mampu memahami pertanyaan keuangan kompleks secara akurat, hal yang tidak bisa diurai oleh sistem sebelumnya.

Dengan lebih dari 100 integrasi, Maven menghubungkan pemahaman bahasa dengan tindakan di berbagai sistem enterprise dalam satu interaksi. Untuk pembahasan teknis yang lebih mendalam, baca pengantar transformer dari perspektif NLP ini di arXiv, atau Laporan AI Index Stanford HAI tentang kemajuan NLP.

Pertanyaan Umum

Apa perbedaan antara NLP dan NLU?

NLP adalah bidang luas yang mencakup semua interaksi komputasional dengan bahasa manusia: pemahaman, pembuatan, dan penerjemahan. NLU (natural language understanding) adalah bagian darinya yang berfokus pada pemahaman: mengekstrak makna, maksud, dan entitas dari teks. Dalam praktiknya, NLU merujuk pada "sisi input" sistem conversational AI, sementara NLP juga mencakup pembuatan respons dan peringkasan.

Bagaimana NLP berubah seiring munculnya large language model?

Sebelum ada LLM, NLP mengharuskan pembuatan model terpisah untuk setiap tugas (klasifikasi, ekstraksi, peringkasan). LLM mengubah hal ini dengan menyediakan satu fondasi pra-latih yang dapat disesuaikan untuk hampir semua tugas bahasa melalui fine-tuning atau prompting. Hal ini sangat mengurangi upaya engineering untuk menerapkan NLP di produksi, meskipun juga memunculkan tantangan baru seperti halusinasi dan sensitivitas terhadap prompt.

Apakah NLP dapat memahami sarkasme dan nada bicara?

Sistem NLP modern mendeteksi nada dan sarkasme jauh lebih baik daripada pendekatan berbasis kata kunci sebelumnya, tetapi belum sempurna. Embedding kontekstual menangkap nuansa, dan model yang di-fine-tune dengan data layanan pelanggan mempelajari pola nada khusus domain. Menggabungkan analisis teks dengan sinyal akustik di kanal suara semakin meningkatkan deteksi, meskipun sarkasme yang bergantung pada budaya masih menjadi tantangan.

Seperti apa akurasi NLP dalam layanan pelanggan enterprise?

Akurasi bervariasi tergantung tugas dan kompleksitas domain. Untuk klasifikasi maksud, sistem produksi umumnya mencapai akurasi 90% ke atas. Untuk tugas kompleks seperti pemahaman dialog multi-giliran, akurasi bergantung pada kualitas data pelatihan dan cakupan domain. Maven AGI mencapai akurasi tinggi dengan menggabungkan NLP berbasis transformer, grounding RAG, dan pembelajaran berkelanjutan dari interaksi yang telah diselesaikan.