自然語言處理（NLP）

什麼是自然語言處理（NLP）？

自然語言處理（NLP）是人工智慧的一個分支，讓電腦能夠理解、詮釋並產生人類語言。它在人類非結構化的溝通方式與機器採取行動所需的結構化表示之間搭起橋梁。NLP 涵蓋的範圍很廣，從剖析句子文法，到理解客戶在一封充滿不滿的電子郵件背後真正的意圖。

在客戶體驗（CX）領域，NLP 是實現 AI 客戶服務的基礎技術。每當 AI 代理讀取支援工單、理解語音指令或產生有幫助的回覆時，背後運作的引擎正是 NLP。

NLP 如何運作

現代 NLP 透過多階段的處理流程運作，不過隨著端對端 Transformer 模型的出現，各階段之間的界線已逐漸模糊。核心階段包括：

**斷詞（Tokenization）與前處理：**原始文字會被切分為 token（詞、子詞或字元），經過正規化後準備輸入模型。多語言系統也會在此階段處理語言偵測與文字系統正規化。

**句法分析：**詞性（POS）標註為每個 token 指派文法角色。依存剖析則對應詞與詞之間的關係，建立樹狀結構，協助系統區分「取消我的訂單」與「我的訂單已被取消」。

**語意分析：**系統從文法層面進入意義層面。詞向量與句向量能捕捉語意相似度，讓系統理解「退款我的購買」與「我想把錢拿回來」表達的是同一個意圖。BERT 等 Transformer 架構會產生情境化的嵌入向量，同一個詞會依周圍語境而有不同的表示。

**特定任務層：**建立在基礎分析之上，包括意圖辨識、命名實體辨識（NER）、情緒分析、文字分類、摘要及回覆生成。每個任務層都運用前面階段產生的表示來執行特定功能。

一篇發表於 PeerJ Computer Science（2024）的綜合性回顧證實，以 Transformer 為基礎的架構已成為 NLP 的主流典範，讓模型能在單一統一框架內處理多種任務（分類、生成、擷取），而不需要為每項功能分別建立模型。

NLP 的關鍵組成

**斷詞器（Tokenizer）：**將原始文字轉換為模型可處理的單位。BPE（Byte Pair Encoding）與 WordPiece 等子詞斷詞器會將詞拆解為有意義的子詞單位，藉此處理罕見詞彙與多語言文字。

**嵌入向量（Embeddings）：**詞或句子在向量空間中的數值表示。情境化嵌入（BERT、GPT）會依周圍語境指派不同的向量，捕捉靜態嵌入（Word2Vec）無法掌握的一詞多義與細微差異。

**Transformer 架構：**透過自注意力機制，讓模型能衡量每個詞相對於其他所有詞的重要性。Transformer 以平行方式處理序列，並更有效地捕捉長距離依存關係，因而取代了遞迴架構（LSTM）。

**命名實體辨識（NER）：**辨識並分類文字中的實體，例如人名、日期、金額、訂單編號、產品名稱。在客戶服務中，NER 負責擷取 AI 代理採取行動所需的參數。

**預訓練語言模型：**BERT 與 GPT 等基礎模型先以大量文字語料進行預訓練，再針對特定任務微調。這種遷移學習方式意味著企業的 NLP 系統不需要從零開始訓練。

NLP 為何對客戶體驗（CX）至關重要

每一次客戶互動都以自然語言表達。無論是聊天訊息、電子郵件、電話逐字稿還是社群媒體貼文，第一步永遠相同：理解客戶在說什麼、需要什麼。NLP 讓這種理解得以大規模實現。

沒有 NLP，客戶服務系統只能依賴精確的關鍵字比對與僵化的選單。有了 NLP，系統就能處理錯字、縮寫、多步驟請求以及依賴語境的含意。NLP 也驅動 CX 的分析面：從支援工單中挖掘新興問題、追蹤情緒趨勢，並找出導致客戶重複來電的知識缺口。

Maven 的優勢

Maven AGI 在客戶互動的每一層都運用 NLP。系統使用以 Transformer 為基礎的 NLU 剖析意圖與實體，再運用 RAG 讓理解建立在經過驗證的企業知識之上。成果是一個能理解細膩、多重請求，並以多種語言準確解決問題的 AI 代理。

金融科技公司 K1x 導入 Maven AGI 後，達成 80% 的解決率，較先前的 AI 系統提升 10 倍。這項進步很大程度來自 Maven 更優異的 NLP 處理流程，能準確理解先前系統無法剖析的複雜金融問題。

Maven 擁有 100+ 項整合，能在單次互動中將語言理解與跨企業系統的行動串連起來。如需深入的技術說明，請參閱 arXiv 上的從 NLP 角度介紹 Transformer，或閱讀 Stanford HAI 關於 NLP 進展的 AI Index Report。

常見問題

NLP 與 NLU 有何不同？

NLP 是涵蓋所有與人類語言進行運算互動的廣泛領域，包括理解、生成與翻譯。NLU（自然語言理解）是其中專注於理解的子集：從文字中擷取意義、意圖與實體。實務上，NLU 指的是對話式 AI 系統的「輸入端」，而 NLP 還涵蓋回覆生成與摘要。

大型語言模型興起後，NLP 有什麼改變？

在 LLM 出現之前，NLP 需要為每項任務（分類、擷取、摘要）分別建立模型。LLM 改變了這一點，提供單一的預訓練基礎，可透過微調或提示詞調整，適用於幾乎任何語言任務。這大幅減少了將 NLP 部署到正式環境所需的工程投入，但也帶來了幻覺與提示詞敏感度等新挑戰。

NLP 能理解諷刺與語氣嗎？

現代 NLP 系統在偵測語氣與諷刺方面遠優於早期以關鍵字為基礎的方法，但仍非完美。情境化嵌入能捕捉細微差異，而以客戶服務資料微調的模型則能學習特定領域的語氣模式。在語音管道中結合文字分析與聲學訊號，可進一步提升偵測效果，不過與文化相關的諷刺仍是一項挑戰。

企業客戶服務中的 NLP 準確度表現如何？

準確度因任務與領域複雜度而異。在意圖分類方面，正式環境的系統通常可達 90% 以上的準確度。至於多輪對話理解等複雜任務，準確度則取決於訓練資料品質與領域涵蓋範圍。Maven AGI 結合以 Transformer 為基礎的 NLP、RAG 知識依據，以及從已解決互動中持續學習，實現高準確度。