Każdy może zbudować agenta AI. Czy potrafią Państwo go utrzymać?

Utrzymanie odpowiada średnio za około 60% kosztu cyklu życia systemu oprogramowania, a w zależności od typu systemu od 40% do 80%. Większość tego kosztu to rozbudowa wynikająca ze zmieniających się wymagań.

W tym samym zadaniu rozróżniania liczb pierwszych i złożonych dokładność GPT-4 spadła z 84,0% w marcu 2023 r. do 51,1% w czerwcu 2023 r. Autorzy stwierdzają, że zachowanie modeli LLM może się istotnie zmienić w krótkim czasie i wymaga stałego monitorowania.

Narzędzia AI kupione od wyspecjalizowanych dostawców odnosiły sukces w 67% przypadków. Rozwiązania budowane wewnętrznie – 3 razy rzadziej. Badanie objęło 150 wywiadów z kadrą kierowniczą, ankietę wśród 350 pracowników oraz analizę 300 publicznych wdrożeń AI.

88% obserwowanych projektów proof of concept z zakresu AI nie trafia do wdrożenia na szeroką skalę. Na każde 33 uruchomione przez firmę projekty proof of concept tylko 4 przeszły do produkcji.

Trybunał w Kolumbii Brytyjskiej nakazał Air Canada zapłatę odszkodowania, odsetek i opłat po tym, jak chatbot na stronie internetowej przewoźnika przekazał klientowi błędne informacje o taryfach żałobnych. Trybunał odrzucił argument, że chatbot był odrębnym podmiotem odpowiedzialnym za własne wypowiedzi.

Gartner przewiduje, że do końca 2027 roku ponad 40% projektów agentowej AI zostanie anulowanych z powodu rosnących kosztów, niejasnej wartości biznesowej lub niewystarczającej kontroli ryzyka.

Według Gartnera „średnio tylko 48% prototypów AI trafia do produkcji”, a przejście od prototypu AI do produkcji trwa „średnio 8,2 miesiąca”.

Gartner szacuje początkową inwestycję w budowę agentów AI na 2,5–4,3 mln USD, wobec 1,5–2,7 mln USD w przypadku zakupu.

Budowa własnego rozwiązania oznacza samodzielne utrzymanie modeli, którym zająłby się dostawca, zatrudnianie trudno dostępnych specjalistów AI oraz bardziej wymagające audyty zgodności. Gartner ostrzega przed przecenianiem możliwości zespołu w zakresie długofalowego utrzymania.