Porażka AI w inwestowaniu na GPW: -1.5% (z AI) vs +15% (bez AI)

Hej! Pomyślałem, że to może zainteresować społeczność #AI i #gielda.

Co chwilę ktoś wrzuca info, że " Claude mi napisał, które akcje kupić, a teraz mam dużo hajsu, oto mój magiczny prompt: ". Albo " wczoraj zrobiłem nowy system giełdowy i już prawie jestem bogaty ".

Jest to nawet zabawne - jeśli ktoś wie, że to bait, ale niestety dużo poważnych firm i organizacji też używa AI w taki sam - naiwny - sposób.

Sprawdzam!

Postanowiłem dlatego zrobić eksperyment, a pełne wyniki, opisy, decyzje udostępnić publicznie. Zero malowania trawy na zielono i torturowania danych i AI aż coś wyjdzie.

Zbudowałem lab - w formie funduszu inwestycyjnego. Wybrałem z GPW 60 największych spółek (wig20 i mwig40). Następnie powołałem czternastu różnych agentów AI. Zbudowałem dla nich platformę danych: analitycy mają aktualne: notowania, newsy, fundamenty i makro.

Flow jest taki, że eksperci kłócą się w debatach (wymusza to spojrzenie z obu stron). Dyrektor researchu wydaje rekomendację na podstawie tej debaty-kłótni, a AI-prezes może ją odrzucić (gdy przestaje ufać podwładnym, gdy np. często podejmują złą decyzję na jakiejś spółce). Na końcu co tydzień, dla każdej spółki, pada decyzja: gramy na wzrost albo na spadek. Rozliczam wynik i tak w kółko.

Jakie są wnioski?

Prawdziwy, realny, pełny, nieoszukany wynik finansowy to -1.5%, a w tym samym czasie giełda zrobiła +15% (i to bez AI, tylko kup i trzymaj). Skąd -1.5%? Jest to wariant, w którym fundusz gra na spadki i wzrosty (long-short). Policzyłem też łagodniejsze warianty rozliczenia - każdy z nich przegrywa z indeksem (najlepszy to +8.7% long-only, czyli wciąż prawie dwa razy gorzej niż zwykłe kup i trzymaj).

Trafność kierunku (co wzrośnie, co spadnie): 48% 1200 decyzjach (1140 do chwili pisania tego artykułu rozliczonych). Typowanie losowe daje 50%.

Najciekawsze odkrycie: nadzór AI nad AI pogorszył wynik. AI-prezes, który miał kontrolować AI-analityków i odrzucać słabe rekomendacje, zmienił 321 z 1200 decyzji - i kosztowało to 3.8 punktu procentowego. Gdyby nie ruszył niczego, fundusz miałby lepszy wynik. Czyli dokładanie kolejnych AI do AI i budowanie zaawansowanych struktur decyzyjnych nie poprawiło wyniku - najbardziej zaawansowana warstwa wprost mu zaszkodziła.

AI nie zna przyszłości i nie jest magiczne, nawet jak przeczyta wszystkie newsy i połączy wszystkie kropki. Nie znalazłem dowodów na to, że analiza newsów poprawia trafność prognoz. Ten sam news może przesunąć cenę w górę lub dół.

AI zmienia zdanie (jak kilka razy zadasz to samo pytanie, to dostaniesz różne decyzje agentów - raz kup, raz sprzedaj). Możesz tego nie widzieć w czacie, bo nie pytasz 100 razy o to samo. W moich pomiarach ta sama decyzja przy powtórzeniu potrafiła się odwrócić w około 1/4 przypadków. To oznacza, że rekomendacje AI to loteria.

Nie znalazłem "magicznego prompta". Kręcenie parametrami modelu, temperaturą, promptami zmienia pojedyncze decyzje, ale efekt ostateczny jest wciąż bliski losowemu.

Nie udało mi się wyeliminować wszystkich halucynacji i kłamstw AI.

Nic nie dało to, że AI znało swoje poprzednie wpadki i błędne decyzje - nie umiało się poprawić ani wyciągnąć wniosków (nie w testowanej konfiguracji).

Pomyślałem, że należą Wam się pełne wyniki i zdemaskowanie "sukcesów" systemów, które co chwilę powstają i które są reklamowane np. na X. Dlatego chcę te wyniki i wnioski tutaj zostawić.

Ważna uwaga: to NIE jest dowód, że "AI nie działa - sprawa zamknięta, i cyk, pora na CSa".

To co zostało policzone, to jest baseline - punkt wyjściowy. Nie porównywałem jeszcze wszystkich rodzin modeli - planuję to na następny etap. Te same dane, ta sama architektura, ale Claude vs Gemini vs GPT vs DeepSeek.

Nie miejmy jednak wielkich oczekiwań - Amerykanie (Nof1), którzy na podobny eksperyment z areną modeli dostali 15 milionów dolarów finansowania, dostają wyniki podobne do moich. Kolejne generacje LLM-ów będą te liczby zmieniać - i dokładnie to zamierzam mierzyć.

Co pokazują magiczne systemy AI z internetu

Można by tu właściwie zakończyć podsumowanie fatalnych wyników AI na GPW, ale warto zerknąć jeszcze na to, co może wprowadzać w błąd i sugerować, że system jest dobry. Oto pułapki:

1. Zawsze można pokazać, że "jest super". Przy dużej liczbie spółek i decyzji, zawsze znajdzie się kilka takich, które przypadkiem zostały świetnie trafione.

2. Można zrobić kilka wyliczeń skuteczności i wybrać coś, co pokazuje, że "fundusz zarabia".

3. Można wrzucić kilkadziesiąt wskaźników technicznych, które rzekomo wszystko objaśniają. "Patrzcie ile mielimy danych".

4. Można czytać, analizować, interpretować wszystkie newsy. Fajnie to wygląda, ale nie znalazłem śladu, żeby przekładało się to na przewidywanie ceny.

5. Można robić skomplikowane dywagacje np. na temat fundamentów (to jest to, co zawsze chciałeś zrozumieć), ale to też nie daje przewagi. Czyli w sumie dobrze, że się tego nie uczyłeś.

BONUS - trochę technicznych szczegółów dla ludzi zainteresowanych technologią - co potwierdza eksperyment:

Modele są biased by default (np. 40/60 dla bullish/bearish) - różne rodziny mają różnie, jedne na dzień dobry bardziej optymistyczne, inne mniej.

Modele wykazują zmienność decyzji (pokaż to samo wiele razy, a model raz powie kup, raz sprzedaj). I ten baseline może się przesuwać, np. przez obliterację modeli (która w teorii miała tego nie robić).

Modele spłaszczają wymiary - np. mówisz mu - podaj mi 0-100 pewność decyzji, to on powie prawie zawsze 0.55 (a inny LLM np. 0.7 itd).

Modele stosują uproszczenia, np. jak im dasz dużo wskaźników analizy technicznej, to zaczną je np. podliczać (pomijają fakt, że wszystkie są oparte na średniej, a nabierają pewności).

Dla modeli kolejność ma znaczenie: mówisz - porównaj dwie spółki, to np. druga wygrywa częściej. Porównania rodzin modeli zostawiam sobie na osobny wpis, jak będę miał pełne dane z czystych biegów (osobny fundusz per model).

BONUS 2 - jeszcze trochę jeszcze bardziej technicznych szczegółów:

Nie jest zupełnie tak, że to wszystko z AI jest bez sensu, ale nie można działać w naiwny sposób (np. wrzucić wszystkiego do LLMa i zapytać "co robić") .

Obiecujące są sygnały budowane na metadanych , np. model ocenia spółkę i ma podać jej wady i np. okazuje się, że nie to co on pisze jest istotne, ale alphą może być to, że on nie umie rozpoznać ryzyk spółki (brak informacji to też jakiś reżim), albo że napisał znacznie więcej słów niż zwykle (volatility ahead). Tu zapraszam do wymyślania podobnych hipotez - mogę je szybko sprawdzić.

Obecny stack LLM : DeepSeek V4 w dwóch odmianach (szybki do analiz, reasoning do decyzji), a prompty i architekturę stroiłem modelami z rodzin Anthropic (Claude) i Google (Gemini). Po okresie strojenia nic już nie zmieniałem. Wyniki obejmują 20 tygodni i 1200 decyzji. Jedno wyjaśnienie metodologiczne: DeepSeek V4 wyszedł pod koniec kwietnia, więc wcześniejsze tygodnie (od początku marca) policzyłem na zamrożonych danych historycznych (czysty backfill, oos, strojenie wcześniej) - system dostawał wyłącznie to, co było znane w danym tygodniu, bez podglądania przyszłości. Od czerwca system działa publicznie out-of-sample: live, co sobotę, na bieżących danych. Koszt działania: około 6 zł tygodniowo za analizę 60 spółek. Największy problem to utrzymanie platformy danych (scrapery, embeddery, vectory i całe zoo).

ZAMIAST PODSUMOWANIA - PYTANIE

Cel tego projektu od początku był inny niż "zarobić", tylko nauczyć AI czytać GPW tak, jak czyta ją polski inwestor - te same dane, te same newsy, ten sam rytm tygodnia. Jak sądzicie, udało się?

Pełne wyniki, wszystkie decyzje, debaty i pomyłki (za darmo, bez rejestracji): funduszai.pl

DO #GIELDA

Nie dajcie się sami siebie oszukać. Dobrze znam to uczucie (i marzenie) odkrycia sygnału. Nawet jeśli kilka razy AI podpowiedziało dobrą decyzję, to był to przypadek. Na dużej próbie tego nie ma.

Czytaj cały artykuł u źródła — Wykop.pl — Strona Główna