Eksperci: długie czaty z AI - obciążające dla budżetu firmy
Niewłaściwe nawyki pracowników w pracy ze sztuczną inteligencją mogą narażać firmy na poważne koszty – uważają eksperci. Doradzają, żeby wklejać do agentów AI tylko krótkie fragmenty dokumentów i po zakończeniu każdego zadania zamykać okno chatu.
Jak napisano w komunikacie nadesłanym we wtorek do PAP z firmy firmy Capgemini Polska, wklejanie wielkich dokumentów do okna czatu, wielogodzinne dyskusje w jednej sesji z botem i proszenie sztucznej inteligencji o kwieciste opisy to codzienność w wielu polskich biurach. „Choć pracownicy są przekonani, że po prostu sprawnie korzystają z technologii, w rzeczywistości uruchamiają ukryty licznik kosztów” – wytłumaczyli eksperci Capgemini Polska i ostrzegli przed zjawiskiem „puchnącego kontekstu”.
Okazuje się, że proste nawyki mogą oszczędzić firmie „cyfrowej rozrzutności”. „Każda sesja ze sztuczną inteligencją działa na zasadzie skończonego budżetu pamięci roboczej, czyli tzw. okna kontekstowego. Kiedy prowadzimy jedną, niekończącą się rozmowę, generujemy gigantyczny, niepotrzebny szum. Model nie tylko staje się droższy w utrzymaniu, ale z czasem zaczyna działać mniej stabilnie i gubi wątek” – tłumaczył cytowany w materiale Hubert Nafalski, Project Manager, Insights & Data w Capgemini Polska.
Wprowadzenie sztucznej inteligencji w biznesie miało przynieść gigantyczne oszczędności czasu i pieniędzy. Choć efektywność zespołów rośnie, działy finansowe i IT w firmach coraz częściej z niepokojem analizują faktury przesyłane przez dostawców dużych modeli językowych (LLM). Przyczyną rosnących wydatków jest niewidzialny cennik oparty na tzw. tokenach, czyli cząstkach tekstu, które model językowy musi odczytać i zapisać.
Jak podkreślają eksperci, znaczna część użytkowników nie ma świadomości, że każde kliknięcie przycisku „Wyślij” w oknie czatu kosztuje tym więcej, im dłuższa jest historia rozmowy. Zjawisko to wynika z mechanizmu nazywanego przez inżynierów „ekonomią tokenów”. Brak wiedzy na temat działania tego mechanizmu sprawia, że w firmy są narażone na dodatkowe koszty.
Najczęstszym błędem popełnianym przez użytkowników sztucznej inteligencji jest wykorzystywanie jednego okna czatu podczas całodniowej pracy. W trakcie ośmiogodzinnej interakcji z użytkownikiem model językowy przy każdym nowym pytaniu ponownie analizuje całą historię rozmowy prowadzonej od rana – w tym wszystkie wcześniejsze pytania, wygenerowane odpowiedzi i załączone pliki. Najprostszym rozwiązaniem obniżającym wynikające z tego koszty jest otwieranie nowego, czystego okna czatu do każdego nowego zadania.
Kolejnym kosztownym elementem korzystania z AI tzw. sztuczna gadatliwość AI. Polega ona na obudowywaniu odpowiedzi treściami, o które nikt nie prosił. Czyli gdy użytkownik prosi o drobną zmianę w długim dokumencie lub kodzie programistycznym, dostaje cały plik przepisany od nowa, z rozbudowanym wstępem i podsumowaniem. Z punktu widzenia biznesowego to marnotrawstwo. „Na większości platform tzw. tokeny wyjściowe (czyli to, co AI dla nas pisze) są znacznie droższe niż tokeny wejściowe (to, co AI czyta). Płacimy więc podwójnie: najpierw za wygenerowanie zbędnej całości, a następnie własnym czasem przeznaczonym na odszukanie pojedynczej zmiany” – zaznaczyli eksperci.
Okazuje się, że aby ograniczyć koszty przeznaczane na sztuczną inteligencję w firmie, nie są konieczne skomplikowane procedury, tylko zmiana kilku podstawowych nawyków każdego pracownika podczas codziennej pracy.
W przypadku poprawiania kodu lub dokumentu należy prosić AI wyłącznie o zmieniony fragment, bez generowania całości i zbędnych wstępów, a o wyjaśnienia pytać osobno. Zamiast wklejać do okna czatu całe bazy danych lub kilkunastostronicowe dokumenty, należy przesyłać wyłącznie wycięte akapity i fragmenty ściśle związane z problemem. Po zakończeniu każdego zadania należy zamknąć dotychczasowe okno i otworzyć nową sesję przed rozpoczęciem kolejnej pracy. Pozwoli to sztucznej inteligencji skupić uwagę na nowym problemie, bez obciążania pamięci (i budżetu) starym kontekstem.
Sztuczna inteligencja staje się dojrzałym narzędziem biznesowym, a to oznacza, że należy patrzeć na nią również przez pryzmat kosztów. Jak podsumowali eksperci Capgemini Polska, przemyślane, precyzyjne korzystanie z czatów to nie tylko lepsze wyniki, ale przede wszystkim realne oszczędności, które w skali całej organizacji mogą sięgać setek tysięcy złotych rocznie. (PAP)
abu/ zan/
sztuczna inteligencja
Fundacja PAP zezwala na bezpłatny przedruk artykułów z Serwisu Nauka w Polsce pod warunkiem mailowego poinformowania nas raz w miesiącu o fakcie korzystania z serwisu oraz podania źródła artykułu. W portalach i serwisach internetowych prosimy o zamieszczenie podlinkowanego adresu: Źródło: naukawpolsce.pl, a w czasopismach adnotacji: Źródło: Serwis Nauka w Polsce - naukawpolsce.pl. Powyższe zezwolenie nie dotyczy: informacji z kategorii "Świat" oraz wszelkich fotografii i materiałów wideo.