El costo de tener tu propio agente de IA
Costo de mantenimiento
El mantenimiento representa, en promedio, cerca del 60 % del costo del ciclo de vida de un sistema de software, con un rango del 40 % al 80 % según el tipo de sistema. La mayor parte corresponde a mejoras impulsadas por requisitos cambiantes.
Deriva del modelo
En la misma tarea de distinguir números primos de compuestos, la precisión de GPT-4 cayó del 84,0 % en marzo de 2023 al 51,1 % en junio de 2023. Los autores concluyen que el comportamiento de los LLM puede cambiar sustancialmente en poco tiempo y requiere supervisión continua.
Éxito: desarrollar o comprar
Las herramientas de IA compradas a proveedores especializados tuvieron éxito el 67 % de las veces. Los desarrollos internos lo lograron 3 veces menos. El estudio se basó en 150 entrevistas con directivos, una encuesta a 350 empleados y el análisis de 300 implementaciones públicas de IA.
Del piloto a producción
El 88 % de las pruebas de concepto de IA observadas no llega a implementarse a gran escala. Por cada 33 pruebas de concepto de IA que lanzó una empresa, solo 4 pasaron a producción.
Responsabilidad por el agente
Un tribunal de Columbia Británica ordenó a Air Canada pagar daños, intereses y costas después de que el chatbot de su sitio web diera a un cliente información errónea sobre las tarifas por duelo. El tribunal rechazó el argumento de que el chatbot era una entidad independiente responsable de sus propias declaraciones.
Cancelación de proyectos
Gartner prevé que más del 40 % de los proyectos de IA agéntica se cancelarán antes de finales de 2027 por el aumento de los costos, un valor de negocio poco claro o controles de riesgo insuficientes.
Tiempo hasta producción
Gartner determinó que “en promedio, solo el 48 % de los prototipos de IA llega a producción” y que pasar de un prototipo de IA a producción lleva “en promedio 8,2 meses”.
Inversión inicial
Gartner estima la inversión inicial para desarrollar agentes de IA entre 2,5 y 4,3 millones de USD, frente a entre 1,5 y 2,7 millones de USD para comprarlos.
La carga continua
Desarrollar implica asumir el mantenimiento del modelo que haría un proveedor, contratar talento de IA escaso y afrontar auditorías de cumplimiento más exigentes. Gartner advierte que no hay que sobrestimar la capacidad de tu equipo para sostenerlo.
Metodología. Las cifras se presentan tal como las publicó cada fuente y Maven AGI no las ha ajustado. Los gráficos son ilustraciones elaboradas por Maven AGI a partir de las cifras citadas. Las referencias completas aparecen en Fuentes.
Las publicaciones de investigación de Gartner reflejan las opiniones de la organización de investigación de Gartner y no deben interpretarse como declaraciones de hecho. GARTNER es una marca registrada y marca de servicio de Gartner, Inc. y/o sus filiales en EE. UU. y a nivel internacional, y se utiliza aquí con autorización. Todos los derechos reservados.
Maven AGI