Il costo di possedere un agente AI
Costi di manutenzione
La manutenzione rappresenta in media circa il 60% del costo del ciclo di vita di un sistema software, con valori dal 40% all'80% a seconda del tipo di sistema. Gran parte riguarda miglioramenti dovuti all'evoluzione dei requisiti.
Deriva del modello
Sullo stesso compito di distinzione tra numeri primi e composti, l'accuratezza di GPT-4 è scesa dall'84,0% di marzo 2023 al 51,1% di giugno 2023. Gli autori concludono che il comportamento degli LLM può cambiare in modo sostanziale in poco tempo e richiede un monitoraggio continuo.
Successo: sviluppare o acquistare
Gli strumenti AI acquistati da fornitori specializzati hanno avuto successo nel 67% dei casi. Quelli sviluppati internamente hanno avuto successo un terzo delle volte rispetto a questi. Lo studio si basa su 150 interviste a dirigenti, un sondaggio su 350 dipendenti e l'analisi di 300 implementazioni AI pubbliche.
Dal pilota alla produzione
L'88% dei proof of concept AI osservati non arriva a un'implementazione su larga scala. Ogni 33 proof of concept AI avviati da un'azienda, solo 4 sono passati in produzione.
Responsabilità dell'agente
Un tribunale della British Columbia ha condannato Air Canada a pagare risarcimento, interessi e spese dopo che il chatbot del suo sito web aveva fornito a un cliente informazioni errate sulle tariffe per lutto. Il tribunale ha respinto la tesi secondo cui il chatbot sarebbe un'entità separata, responsabile delle proprie affermazioni.
Progetti cancellati
Gartner prevede che oltre il 40% dei progetti di agentic AI verrà cancellato entro la fine del 2027, a causa di costi crescenti, valore di business poco chiaro o controlli dei rischi inadeguati.
Tempo per arrivare in produzione
Gartner ha rilevato che “in media, solo il 48% dei prototipi AI arriva in produzione” e che passare dal prototipo AI alla produzione richiede “in media 8,2 mesi”.
Investimento iniziale
Secondo Gartner, l'investimento iniziale per sviluppare agenti AI va da $2,5M a $4,3M, contro $1,5M–$2,7M per acquistarli.
Il carico continuo
Sviluppare internamente significa farsi carico della manutenzione del modello che altrimenti gestirebbe un fornitore, assumere talenti AI difficili da trovare e sostenere audit di conformità più onerosi. Gartner avverte di non sovrastimare la capacità del tuo team di reggere questo impegno.
Metodologia. I dati sono riportati così come pubblicati da ciascuna fonte e non sono stati modificati da Maven AGI. I grafici sono illustrazioni realizzate da Maven AGI a partire dai dati citati. I riferimenti completi sono disponibili nella sezione Fonti.
Le pubblicazioni di ricerca di Gartner riflettono le opinioni dell'organizzazione di ricerca di Gartner e non devono essere interpretate come dichiarazioni di fatto. GARTNER è un marchio registrato e un marchio di servizio di Gartner, Inc. e/o delle sue affiliate negli Stati Uniti e a livello internazionale ed è utilizzato qui con autorizzazione. Tutti i diritti riservati.
Maven AGI