O custo de ter seu próprio agente de IA
Custo de manutenção
A manutenção responde, em média, por cerca de 60% do custo do ciclo de vida de um sistema de software, variando de 40% a 80% conforme o tipo de sistema. A maior parte são melhorias motivadas por mudanças nos requisitos.
Deriva do modelo
Na mesma tarefa de identificar números primos e compostos, a precisão do GPT-4 caiu de 84,0% em março de 2023 para 51,1% em junho de 2023. Os autores concluem que o comportamento dos LLMs pode mudar substancialmente em pouco tempo e exige monitoramento contínuo.
Sucesso: desenvolver vs. comprar
Ferramentas de IA compradas de fornecedores especializados tiveram sucesso em 67% dos casos. Os desenvolvimentos internos tiveram sucesso com um terço dessa frequência. O estudo se baseou em 150 entrevistas com lideranças, uma pesquisa com 350 funcionários e a análise de 300 implementações públicas de IA.
Do piloto à produção
88% das provas de conceito de IA observadas não chegam a uma implementação em larga escala. A cada 33 provas de conceito de IA lançadas por uma empresa, apenas 4 chegaram à produção.
Responsabilidade pelo agente
Um tribunal da Colúmbia Britânica condenou a Air Canada a pagar indenização, juros e custas depois que o chatbot do site da empresa deu a um cliente informações erradas sobre tarifas para luto. O tribunal rejeitou o argumento de que o chatbot era uma entidade separada, responsável por suas próprias declarações.
Cancelamento de projetos
O Gartner prevê que mais de 40% dos projetos de IA agêntica serão cancelados até o fim de 2027, devido ao aumento dos custos, ao valor de negócio pouco claro ou a controles de risco inadequados.
Tempo até a produção
O Gartner constatou que “em média, apenas 48% dos protótipos de IA chegam à produção” e que passar do protótipo de IA à produção leva “em média 8,2 meses”.
Investimento inicial
O Gartner estima o investimento inicial para desenvolver agentes de IA entre US$ 2,5 milhões e US$ 4,3 milhões, contra US$ 1,5 milhão a US$ 2,7 milhões para comprar.
O peso contínuo
Desenvolver significa assumir a manutenção do modelo que um fornecedor faria, contratar talentos raros em IA e encarar auditorias de compliance mais pesadas. O Gartner alerta para não superestimar a capacidade da sua equipe de sustentar tudo isso.
Metodologia. Os números são apresentados conforme publicados por cada fonte e não foram ajustados pela Maven AGI. Os gráficos são ilustrações criadas pela Maven AGI a partir dos números citados. As referências completas estão em Fontes.
As publicações de pesquisa do Gartner consistem nas opiniões da organização de pesquisa do Gartner e não devem ser interpretadas como declarações de fato. GARTNER é marca registrada e marca de serviço da Gartner, Inc. e/ou de suas afiliadas nos EUA e internacionalmente, e é usada aqui com permissão. Todos os direitos reservados.
Maven AGI