Fine-tuning (per il servizio clienti)

Che cos'è il fine-tuning?

Il fine-tuning è una tecnica di machine learning in cui un large language model pre-addestrato viene ulteriormente addestrato su un dataset più piccolo e specifico di un dominio, per migliorarne le prestazioni in determinati compiti. Il modello di base comprende già linguaggio, ragionamento e conoscenze generali grazie all'addestramento iniziale. Il fine-tuning adatta questa capacità generale a un dominio specifico, come il servizio clienti, esponendo il modello a esempi del comportamento, del tono e dei modelli di conoscenza che deve adottare.

Nel servizio clienti, il fine-tuning può consistere nell'addestrare il modello su migliaia di interazioni di supporto riuscite, insegnandogli a gestire domande specifiche sui prodotti, seguire determinati schemi di escalation o rispecchiare lo stile comunicativo di un brand.

Fine-tuning vs. RAG vs. prompt engineering

Le aziende hanno 3 approcci principali per personalizzare il comportamento dell'AI nel servizio clienti:

• ** Prompt engineering:** scrivere istruzioni che guidano il comportamento del modello senza modificarne i pesi. Rapido da implementare, ma di portata limitata.
• ** RAG (Retrieval-Augmented Generation):** collegare il modello a knowledge base esterne perché possa recuperare e citare informazioni specifiche. Ideale per l'accuratezza dei fatti e per mantenere le informazioni aggiornate.
• Fine-tuning: modificare effettivamente i parametri interni del modello. Il metodo migliore per cambiare il comportamento di fondo, il tono o le prestazioni del modello su determinati compiti.

La maggior parte delle implementazioni enterprise nel servizio clienti usa una combinazione: RAG per l'ancoraggio ai fatti, prompt engineering per i guardrail comportamentali e fine-tuning mirato per compiti che richiedono prestazioni specializzate.

Quando ha senso il fine-tuning

Il fine-tuning è più utile quando serve che il modello mantenga con costanza comportamenti specifici difficili da ottenere con il solo prompting: ad esempio seguire in modo affidabile procedure di supporto complesse e articolate in più passaggi, rispecchiare con precisione il tono di un brand o gestire una terminologia di settore che il modello di base non comprende bene.

Contesto di settore: costi e complessità del fine-tuning sono diminuiti in modo significativo dal 2024, e alcuni approcci richiedono appena 50-100 esempi di alta qualità. Tuttavia, la manutenzione dei modelli sottoposti a fine-tuning richiede investimenti continui, man mano che i modelli di base vengono aggiornati e le esigenze dei clienti evolvono.

Il vantaggio di Maven: nessun fine-tuning necessario

La piattaforma di Maven AGI raggiunge elevati tassi di risoluzione combinando RAG, retrieval tramite knowledge graph e un prompt engineering sofisticato, senza richiedere ai clienti di effettuare il fine-tuning dei modelli. Questo significa che Maven può essere operativo in appena 1 settimana, che la conoscenza può essere aggiornata all'istante senza riaddestramento e che la piattaforma beneficia automaticamente dei miglioramenti dei foundation model sottostanti.

Risultati con Maven: K1x ha implementato Maven AGI in appena 1 settimana e ha raggiunto l'80% di risoluzione, un miglioramento di 10 volte rispetto all'AI precedente, senza alcun fine-tuning: la prova che l'architettura giusta può superare i modelli sottoposti a fine-tuning grazie a retrieval e ragionamento migliori.

Domande frequenti

Il fine-tuning migliora l'accuratezza dell'AI più della RAG?

Dipende dal compito. Per l'accuratezza dei fatti su prodotti, policy e procedure specifici, la RAG con un buon grounding supera in genere il fine-tuning, perché il modello fa sempre riferimento a fonti aggiornate. Il fine-tuning è più adatto per schemi comportamentali, coerenza del tono e compiti in cui il modello deve "ragionare diversamente" su una categoria di problemi.

Quanti dati servono per il fine-tuning?

Le tecniche moderne possono essere efficaci con appena 50-100 esempi di alta qualità per compiti specifici, mentre cambiamenti comportamentali più ampi possono richiederne migliaia. Qualità e varietà dei dati di addestramento contano più della quantità.

Quali sono i rischi del fine-tuning per il servizio clienti?

L'overfitting sugli esempi di addestramento può rendere il modello rigido e incapace di gestire situazioni nuove. I modelli sottoposti a fine-tuning possono anche perdere capacità generali nel processo (catastrophic forgetting). Inoltre, non si aggiornano automaticamente quando cambiano prodotti, policy o procedure, a differenza dei sistemi basati su RAG, in cui aggiornare la knowledge base aggiorna immediatamente le risposte dell'agente.