Processamento de linguagem natural (PLN)

O que é o processamento de linguagem natural (NLP)?

O processamento de linguagem natural (NLP) é o ramo da inteligência artificial que permite aos computadores compreender, interpretar e gerar linguagem humana. Faz a ponte entre a forma não estruturada como as pessoas comunicam e as representações estruturadas de que as máquinas precisam para agir. O NLP abrange tudo, desde a análise gramatical de uma frase até à compreensão da intenção por detrás do email frustrado de um cliente.

Na experiência do cliente, o NLP é a tecnologia de base que torna possível o serviço ao cliente com IA. Sempre que um agente de IA lê um pedido de suporte, compreende um comando de voz ou gera uma resposta útil, é o NLP que está a trabalhar nos bastidores.

Como funciona o NLP

O NLP moderno funciona através de um pipeline com várias etapas, embora as fronteiras entre elas se tenham esbatido com os modelos transformer de ponta a ponta. As etapas principais são:

Tokenização e pré-processamento: o texto em bruto é dividido em tokens (palavras, subpalavras ou caracteres), normalizado e preparado para entrar no modelo. Os sistemas multilingues tratam também, nesta fase, a deteção de idioma e a normalização da escrita.

Análise sintática: a etiquetagem morfossintática (POS tagging) atribui uma função gramatical a cada token. A análise de dependências mapeia as relações entre palavras e constrói uma estrutura em árvore que ajuda o sistema a distinguir "cancele a minha encomenda" de "a minha encomenda foi cancelada".

Análise semântica: o sistema passa da gramática ao significado. Os embeddings de palavras e frases captam a semelhança semântica, pelo que o sistema percebe que "reembolsem a minha compra" e "quero o meu dinheiro de volta" exprimem a mesma intenção. Arquiteturas transformer como o BERT geram embeddings contextuais, em que a mesma palavra tem representações diferentes consoante o contexto.

Camadas específicas de cada tarefa: assentes na análise de base, incluem o reconhecimento de intenções, o reconhecimento de entidades nomeadas (NER), a análise de sentimento, a classificação de texto, a sumarização e a geração de respostas. Cada camada usa as representações das etapas anteriores para desempenhar uma função específica.

Uma revisão abrangente publicada na PeerJ Computer Science (2024) confirma que as arquiteturas baseadas em transformers se tornaram o paradigma dominante no NLP, permitindo modelos que tratam várias tarefas (classificação, geração, extração) num único quadro unificado, em vez de exigirem modelos separados para cada função.

Componentes principais do NLP

Tokenizadores: convertem texto em bruto em unidades que o modelo consegue processar. Tokenizadores de subpalavras como o BPE (Byte Pair Encoding) e o WordPiece lidam com palavras raras e texto multilingue, decompondo as palavras em subunidades com significado.

Embeddings: representações numéricas de palavras ou frases num espaço vetorial. Os embeddings contextuais (BERT, GPT) atribuem vetores diferentes consoante o contexto, captando a polissemia e as nuances que os embeddings estáticos (Word2Vec) não apanham.

Arquitetura transformer: o mecanismo de autoatenção que permite aos modelos ponderar a importância de cada palavra em relação a todas as outras. Os transformers substituíram as arquiteturas recorrentes (LSTM) ao processar sequências em paralelo e captar dependências de longo alcance de forma mais eficaz.

Reconhecimento de entidades nomeadas (NER): identifica e classifica entidades no texto: nomes de pessoas, datas, montantes, números de encomenda, nomes de produtos. No serviço ao cliente, o NER extrai os parâmetros de que um agente de IA precisa para agir.

Modelos de linguagem pré-treinados: modelos de base como o BERT e o GPT são pré-treinados em enormes corpora de texto e depois afinados para tarefas específicas. Esta abordagem de aprendizagem por transferência significa que os sistemas de NLP empresariais não precisam de ser treinados de raiz.

Porque é que o NLP é importante para a experiência do cliente

Todas as interações com clientes são expressas em linguagem natural. Quer chegue por mensagem de chat, email, transcrição de chamada ou publicação nas redes sociais, o primeiro passo é sempre o mesmo: perceber o que o cliente diz e aquilo de que precisa. O NLP torna esta compreensão possível em escala.

Sem NLP, os sistemas de serviço ao cliente limitam-se a correspondências exatas de palavras-chave e a menus rígidos. Com NLP, conseguem lidar com erros ortográficos, abreviaturas, pedidos com vários passos e significados que dependem do contexto. O NLP suporta também a vertente analítica da CX: explorar pedidos de suporte para detetar problemas emergentes, acompanhar tendências de sentimento e identificar lacunas de conhecimento que originam contactos repetidos.

A vantagem Maven

A Maven AGI aplica NLP em todas as camadas da interação com o cliente. O sistema usa NLU baseada em transformers para interpretar intenções e entidades e aplica depois RAG para fundamentar essa compreensão em conhecimento empresarial verificado. O resultado é um agente de IA que compreende pedidos complexos e com várias partes e os resolve com precisão em vários idiomas.

A K1x, uma empresa FinTech, implementou a Maven AGI e alcançou uma taxa de resolução de 80 %, uma melhoria de 10x face ao seu anterior sistema de IA. Essa melhoria deveu-se em grande parte ao pipeline de NLP superior da Maven, que compreendeu com precisão consultas financeiras complexas que o sistema anterior não conseguia interpretar.

Com mais de 100 integrações, a Maven liga a compreensão da linguagem à ação nos sistemas empresariais numa única interação. Para uma análise técnica aprofundada, consulte esta introdução aos transformers na perspetiva do NLP no arXiv, ou leia o AI Index Report do Stanford HAI sobre os avanços em NLP.

Perguntas frequentes

Qual é a diferença entre NLP e NLU?

O NLP é o campo alargado que abrange toda a interação computacional com a linguagem humana: compreensão, geração e tradução. A NLU (compreensão de linguagem natural) é um subconjunto centrado na compreensão: extrair significado, intenções e entidades do texto. Na prática, a NLU corresponde ao "lado da entrada" de um sistema de IA conversacional, enquanto o NLP abrange também a geração de respostas e a sumarização.

Como mudou o NLP com o aparecimento dos grandes modelos de linguagem?

Antes dos LLM, o NLP exigia a criação de modelos separados para cada tarefa (classificação, extração, sumarização). Os LLM mudaram isto ao oferecer uma única base pré-treinada que pode ser adaptada a praticamente qualquer tarefa linguística através de afinação ou de prompts. Isto reduziu drasticamente o esforço de engenharia necessário para colocar o NLP em produção, embora tenha trazido novos desafios, como as alucinações e a sensibilidade aos prompts.

O NLP consegue compreender sarcasmo e tom?

Os sistemas de NLP modernos detetam o tom e o sarcasmo muito melhor do que as abordagens anteriores baseadas em palavras-chave, mas não são perfeitos. Os embeddings contextuais captam nuances e os modelos afinados com dados de serviço ao cliente aprendem padrões de tom específicos do setor. Combinar a análise de texto com sinais acústicos nos canais de voz melhora ainda mais a deteção, embora o sarcasmo dependente da cultura continue a ser um desafio.

Que precisão tem o NLP no serviço ao cliente empresarial?

A precisão varia consoante a tarefa e a complexidade do domínio. Na classificação de intenções, os sistemas em produção atingem habitualmente mais de 90 % de precisão. Em tarefas complexas, como a compreensão de diálogos com várias interações, a precisão depende da qualidade dos dados de treino e da cobertura do domínio. A Maven AGI alcança uma precisão elevada ao combinar NLP baseado em transformers com fundamentação por RAG e aprendizagem contínua a partir das interações resolvidas.