Badacze z Uniwersytetu Jagiellońskiego, we współpracy z naukowcami z Max Planck Institute for Informatics, opracowali nową metodę DAVE, która pozwala zajrzeć „do środka” nowoczesnych modeli AI i zrozumieć, na jakiej podstawie podejmują one swoje decyzje.
Kiedy chatbot, system medyczny lub algorytm rozpoznający twarze wydaje wyrok, skąd wiadomo, że można mu ufać? To pytanie staje się coraz ważniejsze w czasach, gdy sztuczna inteligencja podejmuje decyzje w bankach, szpitalach i sądach. Odpowiedzią na nie jest dziedzina zwana wyjaśnialnością AI (Explainable AI, XAI): naukowcy szukają metod, które pozwolą zobaczyć, co tak naprawdę „widzi” i „myśli” model.
Szczególnie trudnym orzechem do zgryzienia jest Vision Transformer – architektura AI, która w ostatnich latach zrewolucjonizowała rozpoznawanie obrazów i stała się fundamentem wielu nowoczesnych systemów, w tym modeli wielomodalnych łączących tekst z obrazem. Problem w tym, że dotychczasowe metody wyjaśniania ich decyzji dawały niestabilne, niewyraźne wyniki – trochę jakby próbować zrozumieć lekarza, który wskazuje przypadkowe miejsca na zdjęciu rentgenowskim zamiast faktycznej zmiany.
Naukowcy Jagiellońskiego Centrum Sztucznej Inteligencji (JCSI) i Grupy Metod Uczenia Maszynowego, działającej na Wydziale Matematyki i Informatyki Uniwersytetu Jagiellońskiego, we współpracy z uczonymi z Max Planck Institute for Informatics, opracowali nową metodę DAVE, która rozwiązuje ten problem przez matematycznie uzasadnione „rozkładanie” tego, jak model przetwarza obraz.
Metoda rozdziela to, co w działaniu sieci jest stabilne i znaczące, od artefaktów wynikających wyłącznie z jej architektury – szumów, które zaciemniają prawdziwy obraz decyzji. Efekt? Precyzyjne, wysokiej rozdzielczości mapy pokazujące dokładnie, które fragmenty obrazu wpłynęły na decyzję modelu i które pozostają spójne, nawet gdy obraz jest lekko obrócony czy przesunięty.
Praca „DAVE: Distribution-aware Attribution via ViT Gradient Decomposition” jest dostępna na stronie internetowej arxiv.org.
Łukasz Wspaniały, źródło: UJ