Natural Language Processing (NLP)

Che cos'è il Natural Language Processing (NLP)?

Il natural language processing (NLP), o elaborazione del linguaggio naturale, è il ramo dell'intelligenza artificiale che permette ai computer di comprendere, interpretare e generare il linguaggio umano. Colma il divario tra il modo non strutturato in cui comunicano le persone e le rappresentazioni strutturate di cui le macchine hanno bisogno per agire. L'NLP comprende tutto, dall'analisi grammaticale di una frase alla comprensione dell'intento dietro l'email frustrata di un cliente.

Nella customer experience, l'NLP è la tecnologia di base che rende possibile il customer service basato sull'AI. Ogni volta che un agente AI legge un ticket di supporto, comprende un comando vocale o genera una risposta utile, è l'NLP a lavorare dietro le quinte.

Come funziona l'NLP

L'NLP moderno opera attraverso una pipeline in più fasi, anche se con i modelli transformer end-to-end i confini tra le fasi sono diventati meno netti. Le fasi principali sono:

Tokenizzazione e pre-elaborazione: il testo grezzo viene suddiviso in token (parole, sottoparole o caratteri), normalizzato e preparato come input per il modello. In questa fase i sistemi multilingue gestiscono anche il rilevamento della lingua e la normalizzazione della scrittura.

Analisi sintattica: il part-of-speech (POS) tagging assegna un ruolo grammaticale a ogni token. Il dependency parsing mappa le relazioni tra le parole, costruendo una struttura ad albero che aiuta il sistema a distinguere «annulla il mio ordine» da «il mio ordine è stato annullato».

Analisi semantica: il sistema passa dalla grammatica al significato. Gli embedding di parole e frasi catturano la somiglianza semantica, così il sistema capisce che «rimborsa il mio acquisto» e «voglio indietro i miei soldi» esprimono lo stesso intento. Architetture transformer come BERT generano embedding contestuali, in cui la stessa parola riceve rappresentazioni diverse in base al contesto circostante.

Livelli specifici per attività: costruiti sopra l'analisi di base, includono riconoscimento degli intenti, riconoscimento delle entità nominate (NER), analisi del sentiment, classificazione del testo, sintesi e generazione delle risposte. Ogni livello usa le rappresentazioni delle fasi precedenti per svolgere una funzione specifica.

Un'ampia rassegna pubblicata su PeerJ Computer Science (2024) conferma che le architetture basate su transformer sono diventate il paradigma dominante nell'NLP, consentendo modelli che gestiscono più attività (classificazione, generazione, estrazione) all'interno di un unico framework, anziché richiedere modelli separati per ciascuna funzione.

Componenti chiave dell'NLP

Tokenizer: convertono il testo grezzo in unità elaborabili dal modello. I tokenizer a sottoparole come BPE (Byte Pair Encoding) e WordPiece gestiscono parole rare e testi multilingue scomponendo le parole in sottounità significative.

Embedding: rappresentazioni numeriche di parole o frasi in uno spazio vettoriale. Gli embedding contestuali (BERT, GPT) assegnano vettori diversi in base al contesto, cogliendo polisemia e sfumature che gli embedding statici (Word2Vec) non rilevano.

Architettura transformer: il meccanismo di self-attention che permette ai modelli di valutare l'importanza di ogni parola rispetto a tutte le altre. I transformer hanno sostituito le architetture ricorrenti (LSTM) elaborando le sequenze in parallelo e catturando in modo più efficace le dipendenze a lungo raggio.

Riconoscimento delle entità nominate (NER): identifica e classifica le entità presenti nel testo: nomi di persona, date, importi, numeri d'ordine, nomi di prodotto. Nel customer service, la NER estrae i parametri di cui un agente AI ha bisogno per agire.

Modelli linguistici pre-addestrati: i foundation model come BERT e GPT vengono pre-addestrati su enormi corpora di testo e poi sottoposti a fine-tuning per attività specifiche. Grazie a questo approccio di transfer learning, i sistemi NLP aziendali non devono essere addestrati da zero.

Perché l'NLP è importante per la customer experience

Ogni interazione con il cliente si esprime in linguaggio naturale. Che arrivi come messaggio in chat, email, trascrizione di una telefonata o post sui social, il primo passo è sempre lo stesso: capire cosa dice il cliente e di cosa ha bisogno. L'NLP rende possibile questa comprensione su larga scala.

Senza NLP, i sistemi di customer service si limitano a corrispondenze esatte di parole chiave e menu rigidi. Con l'NLP, gestiscono refusi, abbreviazioni, richieste in più passaggi e significati che dipendono dal contesto. L'NLP alimenta anche il lato analitico della CX: analizza i ticket di supporto per individuare problemi emergenti, monitora l'andamento del sentiment e identifica le lacune di conoscenza che generano contatti ripetuti.

Il vantaggio Maven

Maven AGI applica l'NLP a ogni livello dell'interazione con il cliente. Il sistema usa un NLU basato su transformer per interpretare intenti ed entità, poi applica la RAG per ancorare la comprensione a conoscenze aziendali verificate. Il risultato è un agente AI che comprende richieste articolate e ricche di sfumature e le risolve con precisione in più lingue.

K1x, un'azienda FinTech, ha adottato Maven AGI e ha raggiunto un tasso di risoluzione dell'80%, un miglioramento di 10 volte rispetto al sistema AI precedente. Un risultato dovuto in gran parte alla pipeline NLP superiore di Maven, capace di comprendere con precisione query finanziarie complesse che il sistema precedente non riusciva a interpretare.

Con oltre 100 integrazioni, Maven collega la comprensione del linguaggio all'azione su tutti i sistemi aziendali in un'unica interazione. Per un approfondimento tecnico, leggi questa introduzione ai transformer dal punto di vista dell'NLP su arXiv, oppure il report AI Index di Stanford HAI sui progressi dell'NLP.

Domande frequenti

Qual è la differenza tra NLP e NLU?

L'NLP è l'ambito generale che copre ogni interazione computazionale con il linguaggio umano: comprensione, generazione e traduzione. L'NLU (natural language understanding) ne è un sottoinsieme incentrato sulla comprensione: estrarre significato, intenti ed entità dal testo. In pratica, l'NLU riguarda il "lato input" di un sistema di conversational AI, mentre l'NLP copre anche la generazione delle risposte e la sintesi.

Come è cambiato l'NLP con l'arrivo dei large language model?

Prima degli LLM, l'NLP richiedeva di costruire modelli separati per ogni attività (classificazione, estrazione, sintesi). Gli LLM hanno cambiato le cose offrendo un'unica base pre-addestrata adattabile a quasi ogni attività linguistica tramite fine-tuning o prompting. Questo ha ridotto drasticamente l'impegno ingegneristico necessario per portare l'NLP in produzione, ma ha introdotto anche nuove sfide, come le allucinazioni e la sensibilità ai prompt.

L'NLP è in grado di capire sarcasmo e tono?

I sistemi NLP moderni rilevano tono e sarcasmo molto meglio dei precedenti approcci basati su parole chiave, ma non sono infallibili. Gli embedding contestuali colgono le sfumature e i modelli addestrati su dati di customer service apprendono i pattern di tono tipici del settore. Nei canali vocali, combinare l'analisi del testo con i segnali acustici migliora ulteriormente il rilevamento, anche se il sarcasmo legato a fattori culturali resta una sfida.

Qual è l'accuratezza dell'NLP nel customer service aziendale?

L'accuratezza varia in base all'attività e alla complessità del dominio. Per la classificazione degli intenti, i sistemi in produzione superano regolarmente il 90% di accuratezza. Per attività complesse come la comprensione di dialoghi multi-turno, l'accuratezza dipende dalla qualità dei dati di addestramento e dalla copertura del dominio. Maven AGI raggiunge un'elevata accuratezza combinando NLP basato su transformer, grounding tramite RAG e apprendimento continuo dalle interazioni risolte.