De kosten van een eigen AI-agent
Onderhoudskosten
Onderhoud is gemiddeld goed voor zo’n 60% van de levenscycluskosten van een softwaresysteem, variërend van 40% tot 80% afhankelijk van het type systeem. Het grootste deel bestaat uit verbeteringen die voortkomen uit veranderende eisen.
Modeldrift
Bij dezelfde taak (priemgetal of samengesteld getal) daalde de nauwkeurigheid van GPT-4 van 84,0% in maart 2023 naar 51,1% in juni 2023. De auteurs concluderen dat het gedrag van LLM’s in korte tijd sterk kan veranderen en continue monitoring vereist.
Succes van bouwen vs. kopen
AI-tools die bij gespecialiseerde leveranciers werden gekocht, waren in 67% van de gevallen succesvol. Intern gebouwde oplossingen slaagden slechts een derde zo vaak. Het onderzoek is gebaseerd op 150 interviews met leidinggevenden, een enquête onder 350 medewerkers en een analyse van 300 openbare AI-implementaties.
Van pilot naar productie
88% van de onderzochte AI-proofs-of-concept haalt geen grootschalige uitrol. Van elke 33 AI-proofs-of-concept die een bedrijf lanceerde, gingen er slechts 4 door naar productie.
Aansprakelijkheid voor agents
Een tribunaal in British Columbia veroordeelde Air Canada tot het betalen van schadevergoeding, rente en kosten nadat de chatbot op de website een klant onjuiste informatie had gegeven over rouwtarieven. Het verwierp het argument dat de chatbot een afzonderlijke entiteit was die zelf verantwoordelijk was voor zijn uitspraken.
Geannuleerde projecten
Gartner voorspelt dat meer dan 40% van de agentic AI-projecten tegen eind 2027 wordt geannuleerd vanwege oplopende kosten, onduidelijke bedrijfswaarde of ontoereikende risicobeheersing.
Tijd tot productie
Gartner stelde vast dat “gemiddeld slechts 48% van de AI-prototypes in productie komt” en dat de stap van AI-prototype naar productie “gemiddeld 8,2 maanden” duurt.
Initiële investering
Gartner schat de initiële investering om AI-agents zelf te bouwen op $2,5 miljoen tot $4,3 miljoen, tegenover $1,5 miljoen tot $2,7 miljoen om ze te kopen.
De blijvende last
Zelf bouwen betekent dat je het modelonderhoud draagt dat een leverancier anders voor je doet, schaars AI-talent moet aannemen en zwaardere compliance-audits moet doorstaan. Gartner waarschuwt ervoor de capaciteit van je team om dit vol te houden niet te overschatten.
Methodologie. Cijfers worden weergegeven zoals gepubliceerd door elke bron en zijn niet aangepast door Maven AGI. De afbeeldingen zijn illustraties die Maven AGI heeft gemaakt op basis van de geciteerde cijfers. Volledige bronvermeldingen staan onder Bronnen.
Onderzoekspublicaties van Gartner bevatten de meningen van de onderzoeksorganisatie van Gartner en mogen niet worden opgevat als feitelijke uitspraken. GARTNER is een geregistreerd handelsmerk en dienstmerk van Gartner, Inc. en/of haar dochterondernemingen in de VS en internationaal en wordt hier met toestemming gebruikt. Alle rechten voorbehouden.
Maven AGI