Międzynarodowy zespół naukowców z udziałem Polaka zbudował neurosymboliczny szkielet SACR (Structure Aware Causal Reasoning) znacznie przybliżający możliwość wnioskowania kontrfaktycznego w dużych modelach językowych. Wyniki badań opublikowano na łamach „International Journal of Approximate Reasoning”.
Wnioskowanie kontrfaktyczne (ang. counterfactual reasoning) to proces myślowy polegający na rozważaniu scenariuszy alternatywnych wobec faktów, które już się wydarzyły. Skupia się on na pytaniu: „co by było, gdyby?”. Umiejętność takiego wnioskowania, to kluczowy element ludzkiej inteligencji, psychologii, oraz przyczynowości.
Modele LLM (Large Language Models).zrewolucjonizowały klasyczne podejście do uczenia maszynowego, przesuwając środek ciężkości z tworzenia dedykowanych systemów na adaptację modeli ogólnego przeznaczenia. Pomimo semantycznej biegłości dużych modeli językowych, ich zdolność do prowadzenia wnioskowania kontrfaktycznego pozostaje bardzo niedoskonała i wadliwa, szczególnie w systemach logicznie strukturalnie splątanych.
Krytyczne niedopasowanie w obecnych podejściach można zidentyfikować następująco: modele standardowe przetwarzają grafy przyczynowe jako spłaszczony kontekst tekstowy, nie rozróżniając prawidłowych mechanizmów przyczynowych od fałszywych korelacji w obecności koliderów i wielościeżkowych zależności. Powoduje to częste halucynacje przy odpowiedziach na pytania „co by było, gdyby?” – wyjaśnia prof. Edward Szczerbicki z Wydziału Zarządzania i Ekonomii Politechniki Gdańskiej.
Aby rygorystycznie zniwelować tę wadę, zespół naukowców z University of Information Technology (Chiny) i Politechniki Gdańskiej zaproponował SACR (Structure Aware Causal Reasoning), neurosymboliczne ramy wymuszające spójność topologiczną na czarnych skrzynkach LLM. W przeciwieństwie do heurystycznego promptowania, SACR integruje zasady ekstrakcji granic Markowa oraz teorii d-separacji, aby teoretycznie zagwarantować izolację minimalnego wystarczającego podgrafu, skutecznie redukując niepewność aleatoryczną, czyli losową i absolutnie przypadkową prowadzącą do halucynacji w przypadku wnioskowania kontrfaktycznego.
Obszerna eksperymentalna weryfikacja przeprowadzona przez polsko-chiński zespół badawczy bezsprzecznie wykazuje, że SACR osiąga znakomite rezultaty przewyższając GPT-4 o 22,0% w złożonych scenariuszach wielościeżkowych, jednocześnie utrzymując konkurencyjną dokładność według ustalonych benchmarków dla przyczynowego wnioskowania kontrfaktycznego.
Chociaż proponowane ramy SACR wykazują silne empiryczne wyniki we wnioskowaniu kontrfaktycznym, pozostaje kilka ograniczeń nad eliminacją których zespół kontynuuje badania w tym obszarze. Po pierwsze, podstawowe komponenty – w tym punktacja ścieżek i klasyfikacja koliderów – opierają się na strategiach heurystycznych, takich jak ważenie długości i wpływu, oraz zdroworozsądkowe promptowanie oparte na LLM. Chociaż skuteczne i ogólne, metody te mogą nie być odporne na niejednoznaczne wejścia semantyczne.
Nasze przyszłe badania będą dotyczyć modeli trafności ścieżek nauczonych, takich jak na przykład punktacja oparta na metrykach informacyjnych, a także interpretacji koliderów opartych na klasyfikatorach w celu poprawy precyzji i adaptacji – zapowiada prof. Szczerbicki. – Co więcej, niektóre grafy w zbiorze danych mogą zawierać nierealistyczne powiązania przyczynowe lub uproszczone zależności nie obejmujące jeszcze struktur czasowych ani cykliczno-przyczynowych, powszechnych w systemach rzeczywistych. Dodatkowo zakres konfiguracji zderzaczy i wariantów wielościeżkowych można jeszcze bardziej rozszerzyć, aby lepiej kwestionować i oceniać zdolności wnioskowania przyczynowego. Dlatego też w przyszłych iteracjach planujemy zwiększyć realizm grafów, poszerzyć zasięg domeny, oraz wprowadzić systematycznie zróżnicowane zapytania kontrfaktyczne dla bardziej kompleksowej oceny.
Wyniki badań zostały opublikowane w czasopiśmie „International Journal of Approximate Reasoning”.
MK