Naukowcy opracowali metodę, która pozwala lepiej zrozumieć decyzje modeli AI
Badacze z Uniwersytetu Jagiellońskiego i Max Planck Institute for Informatics opracowali metodę, która pozwala lepiej wyjaśniać decyzje modeli sztucznej inteligencji analizujących obrazy.
Systemy sztucznej inteligencji są coraz częściej wykorzystywane do wspomagania decyzji w medycynie, finansach czy systemach bezpieczeństwa. Jednocześnie zwykle działają jak tzw. „czarne skrzynki” – osiągają wysoką skuteczność, choć trudno zrozumieć, dlaczego wskazały właśnie taki, a nie inny wynik. Wyjaśnialność sztucznej inteligencji (Explainable AI, XAI) to dziedzina badań, której celem jest opracowanie metod pozwalających zajrzeć do wnętrza modeli i lepiej zrozumieć mechanizmy ich działania.
Szczególnym wyzwaniem są modele typu Vision Transformer (ViT), które w ostatnich latach zrewolucjonizowały rozpoznawanie obrazów i stanowią podstawę wielu nowoczesnych systemów AI. Dotychczasowe metody wyjaśniania ich decyzji często prowadziły jednak do powstawania rozmytych lub niestabilnych wyników.
Nowa metoda DAVE (Distribution-aware Attribution via ViT Gradient Decomposition) została zaprojektowana specjalnie dla modeli Vision Transformer. – DAVE jest metodą wyjaśniania działania modeli sztucznej inteligencji, tzw. metodą atrybucji. Jej zadaniem jest wskazanie, które fragmenty obrazu były najważniejsze dla podjęcia przez model konkretnej decyzji – wyjaśnił PAP dr hab. Bartosz Zieliński, prof. UJ, dyrektor Jagiellońskiego Centrum Sztucznej Inteligencji.
Jak dodał, metoda analizuje sposób przepływu informacji przez model i oddziela sygnały związane z rzeczywistym przetwarzaniem obrazu od elementów wynikających z architektury modelu lub jego lokalnej niestabilności. Dzięki temu powstają bardziej precyzyjne i stabilne mapy pokazujące, na jakie obiekty i struktury wizualne zwraca uwagę sztuczna inteligencja.
To odróżnia DAVE od większości obecnie stosowanych metod wyjaśnialności AI.
– Większość obecnych metod traktuje model jak „czarną skrzynkę” i analizuje jedynie zależność między wejściem a wyjściem. DAVE wykorzystuje wiedzę o wewnętrznej architekturze Vision Transformerów, dzięki czemu potrafi odfiltrować elementy odpowiedzialne za szum i niestabilność wyjaśnień oraz dokładniej wskazać, które fragmenty obrazu rzeczywiście wpłynęły na decyzję modelu – wytłumaczył PAP dr Adam Wróbel, pierwszy autor publikacji pt. „DAVE: Distribution-aware Attribution via ViT Gradient Decomposition”. Publikacja opisująca metodę dostępna jest w serwisie arXiv, w którym gromadzone są wstępne wersje prac naukowych, zanim te przejdą proces recenzji i zostaną opublikowane w renomowanych czasopismach.
Badacze sprawdzili skuteczność metody na kilku grupach modeli Vision Transformer, obejmujących zarówno klasyczne modele uczone w sposób nadzorowany, jak i modele samo-nadzorowane oraz architektury zaprojektowane z myślą o interpretowalności. We wszystkich testowanych rozwiązaniach DAVE osiągał wyniki porównywalne lub lepsze od dotychczasowych metod wyjaśniania AI.
Zdaniem naukowców metoda może znaleźć zastosowanie wszędzie tam, gdzie wykorzystywane są systemy analizujące obrazy. Dotyczy to m.in. diagnostyki medycznej opartej na zdjęciach rentgenowskich, tomografii komputerowej i obrazach mikroskopowych, kontroli jakości w przemyśle, systemów wspomagających pojazdy autonomiczne oraz analizy zdjęć satelitarnych.
– Największą zaletą DAVE jest możliwość sprawdzenia, na które elementy obrazu zwraca uwagę model podczas podejmowania decyzji. W zastosowaniach wysokiego ryzyka może to pomóc ekspertom ocenić, czy sztuczna inteligencja opiera swoje wnioski na rzeczywiście istotnych cechach, czy też na przypadkowych artefaktach – podkreślił dr Dawid Rymarczyk, autor korespondencyjny.
Jak zaznaczył, obecna wersja DAVE została opracowana dla modeli wizyjnych, jednak zespół pracuje już nad rozszerzeniem metody na modele przetwarzające tekst oraz systemy multimodalne łączące obraz i język.
O znaczeniu osiągnięcia świadczy także wyróżnienie na tegorocznej International Conference on Machine Learning (ICML), jednej z najbardziej prestiżowych konferencji poświęconych sztucznej inteligencji i uczeniu maszynowemu. W tym roku organizatorzy otrzymali rekordowe 23 918 zgłoszeń, z których do programu zakwalifikowano 26,6 proc. Tytuł „Spotlight”, przyznawany pracom uznanym przez komitet programowy za szczególnie istotne dla rozwoju dziedziny, otrzymało jedynie 536 artykułów, czyli około 2,2 proc. wszystkich zgłoszeń.
Metoda jest bardzo nowa i zostanie oficjalnie zaprezentowana podczas lipcowej konferencji ICML 2026. Naukowcy przygotowują obecnie publiczną wersję kodu, która umożliwi innym zespołom wykorzystanie DAVE we własnych badaniach.
– Już teraz otrzymaliśmy pierwsze zapytania od badaczy ze Stanów Zjednoczonych i Chin zainteresowanych wykorzystaniem naszej metody. Spodziewamy się, że po udostępnieniu kodu DAVE będzie szeroko wykorzystywany i porównywany z innymi rozwiązaniami w dziedzinie wyjaśnialnej sztucznej inteligencji – zapowiedzieli autorzy rozwiązania. (PAP)
wl/ zan/
sztuczna inteligencja
Fundacja PAP zezwala na bezpłatny przedruk artykułów z Serwisu Nauka w Polsce pod warunkiem mailowego poinformowania nas raz w miesiącu o fakcie korzystania z serwisu oraz podania źródła artykułu. W portalach i serwisach internetowych prosimy o zamieszczenie podlinkowanego adresu: Źródło: naukawpolsce.pl, a w czasopismach adnotacji: Źródło: Serwis Nauka w Polsce - naukawpolsce.pl. Powyższe zezwolenie nie dotyczy: informacji z kategorii "Świat" oraz wszelkich fotografii i materiałów wideo.