Czy raport przygotowany przez sztuczną inteligencję może zostać oceniony wyżej niż ten stworzony przez doświadczonych ekspertów? W najnowszej publikacji Polskiej Agencji Rozwoju Przedsiębiorczości i Uniwersytetu SWPS przeanalizowano, jak generatywna AI radzi sobie w zadaniach analitycznych i badawczych w sektorze publicznym. Wyniki są zaskakujące!
„Generatywna AI w badaniach. Praktyczne zastosowania w ewaluacji polityk publicznych” – to najnowsza publikacja PARP i Uniwersytetu SWPS, w której nie tylko wyjaśniono potencjał tej technologii, lecz przede wszystkim pokazano, jak wykorzystać ją w codziennej pracy instytucji publicznych. Przykładem może być eksperyment, który rzucił nowe światło na możliwości generatywnej sztucznej inteligencji.
Jednostka Ewaluacyjna PARP wspólnie z Krajową Jednostką Ewaluacji postanowiła sprawdzić, czy AI potrafi stworzyć dokumenty analityczne dorównujące, a nawet przewyższające jakością prace zespołu ekspertów. Na potrzeby badania przygotowano dwie wersje tego samego opracowania: jedną stworzoną tradycyjnie przez ludzi, drugą – wygenerowaną przez AI na podstawie kilku prostych pytań. Oba dokumenty trafiły do oceny uczestników konferencji i członków zespołu sterującego, którzy nie wiedzieli, kto jest autorem tekstu. Oceniali je według jasnych kryteriów merytorycznych i redakcyjnych.
Wynik? W każdej kategorii wyżej oceniono dokument przygotowany przez AI – średnia ocen wyniosła 4,3–4,4 w pięciopunktowej skali, podczas gdy opracowanie eksperckie uzyskało noty w przedziale 3,8–4,1. Recenzenci podkreślali spójność, przejrzystość i kompletność wersji AI. To właśnie ten eksperyment stał się impulsem do powstania publikacji i rozpoczęcia szerokiej dyskusji o tym, jaką rolę w świecie analiz i ewaluacji programów może odgrywać sztuczna inteligencja – i jak zmienia się miejsce człowieka w procesie tworzenia wysokiej jakości polityk opartych na dowodach pochodzących z badań.
Książka odpowiada na pytanie: jak możemy konstruktywnie współpracować z AI? Pokazujemy, od czego zacząć, na co zwrócić uwagę, z jakimi elementami eksperymentować. To coś więcej niż zbiór przykładów. Wyjaśniamy mechanizmy i pokazujemy strategie współpracy z AI – czyli kwestie, które będą aktualne niezależnie od wersji modelu, z którym pracujemy. Nazwaliśmy to architekturą współpracy z GenAI. Nasza architektura współpracy z GenAI to cztery rodzaje wyborów, które mogą kształtować użytkownicy: rola i zadania dla AI, wybór technologii/platformy, sposoby interakcji z GenAI, dobór zasobów informacyjnych, na których AI pracuje. Tak więc nasza publikacja to poradnik pracy, a raczej współpracy z GenAI – wyjaśnia dr hab. Karol Olejniczak, kierownik Centrum Projektowania i Ewaluacji Polityk Publicznych Uniwersytetu SWPS.
Nowe możliwości dla ewaluacji programów i polityk
Publikacja PARP i Uniwersytetu SWPS pokazuje, że generatywna sztuczna inteligencja może wspierać jednostki analityczno-badawcze na każdym etapie ich pracy. AI pomaga już na samym początku – przy identyfikacji potrzeb wiedzy czy planowaniu badań – a także w trakcie realizacji projektów, analizie danych i przygotowywaniu raportów. Sztuczna inteligencja usprawnia zarówno analizy jakościowe, jak i ilościowe, automatyzuje przeglądy źródeł, wspiera kodowanie danych oraz ułatwia syntezę i interpretację wyników.
W publikacji podkreślono rosnącą rolę AI w komunikacji dowodów naukowo-badawczych pochodzących z procesów ewaluacyjnych – dzięki zastosowaniu odpowiednich technologii, możliwe staje się dopasowanie formy i treści raportów do różnych grup odbiorców, co zwiększa użyteczność wyników badań. Wszystkie te zastosowania zilustrowano przykładami z pracy instytucji publicznych, pokazując, jak AI realnie skraca czas realizacji zadań, zwiększa efektywność i poprawia jakość analiz. Autorzy zaznaczają przy tym, że skuteczne wdrożenie AI w ewaluacji polityk publicznych to nie tylko kwestia technologii, ale także rozwijania nowych kompetencji i redefinicji roli człowieka w procesach badawczych.
Polska AI szyta na miarę
Sztuczna inteligencja rozwijana w Polsce coraz śmielej wchodzi do sektora publicznego. Modele językowe, takie jak Bielik i PLLuM, to fundamenty budowanego właśnie lokalnego ekosystemu AI, który odpowiadać ma na konkretne potrzeby administracji – od języka urzędowego, przez analizy prawnicze, po automatyzację dokumentów. Oba modele powstały z myślą o specyfice języka polskiego, której nie uwzględniają globalne, anglojęzyczne systemy.
Twórcy publikacji podkreślają, że kluczem do efektywnego wykorzystania GenAI w administracji nie jest zastąpienie człowieka, ale połączenie technologii i ekspertyzy. Sztuczna inteligencja powinna służyć jako partner – automatyzować rutynowe zadania, przyspieszać przetwarzanie informacji i pomagać w przygotowywaniu wstępnych wersji raportów, które następnie trafiają w ręce specjalistów, aby sformułowali wnioski. Równocześnie eksperci zwracają uwagę na potrzebę rozwoju nowych kompetencji wśród pracowników administracji oraz tworzenia jasnych zasad i standardów etycznych dla odpowiedzialnego wdrażania tej technologii.
Choć generatywna AI otwiera nowe możliwości w sektorze publicznym, jej wdrażanie wiąże się z istotnymi wyzwaniami. Autorzy książki podkreślają, że kluczowe znaczenie mają kwestie bezpieczeństwa i transparentności procesu generowania treści. Sztuczna inteligencja musi być wykorzystywana w sposób odpowiedzialny – z zachowaniem jasnych standardów etycznych i prawnych, które minimalizują ryzyko błędów i nadużyć. W praktyce oznacza to konieczność opracowania wewnętrznych procedur, kodeksów postępowania oraz systemów „drugiego spojrzenia”, które zapewnią kontrolę człowieka nad kluczowymi procesami i pozwolą na bieżąco weryfikować efekty działania AI. Istotnym wyzwaniem pozostaje także rozwój kompetencji cyfrowych pracowników administracji oraz budowanie zaufania społecznego do nowych technologii, co wymaga ciągłego dialogu, edukacji i przejrzystości we wdrażaniu rozwiązań generatywnej AI.
Odpowiedzialne podejście do wdrażania AI to nie tylko warunek skutecznej cyfrowej transformacji sektora publicznego, lecz także szansa na budowanie niezależnego, krajowego zaplecza technologicznego i wzmacnianie zaufania obywateli do nowoczesnej administracji.
Publikacja „Generatywna AI w badaniach. Praktyczne zastosowania w ewaluacji polityk publicznych” jest dostępna na stronie internetowej PARP.
MK
Po lekturze tego artykułu nie mam dalej jasności, co za opracowania były sporządzane i oceniane, więc trudno mi się odnieść do sprawy.
Natomiast niebezpiecznie brzmią entuzjastyczne konkluzje, które dotyczą możliwości stosowania AI w "sektorze publicznym"., gdzie właśnie powinna ona być najbardziej blokowana. Jeden z takich pomysłów to tłumaczenie pism urzędowych na "ludzki język" przez AI. Teraz jak się dostaje jakieś urzędowe pismo, decyzję administracyjną, czy np. wyrok sądu, jest przede wszystkim jednoznaczne określone, jaką dyspozycję, rozstrzygniecie dane pismo niesie, można to stosować, analizować pod kątem prawnym, skarżyć, itd. Ciekawe, jak by się np. zaskrażało wyrok sądu, którego dokładnie nie znamy, bo jego treść rozmyła się w trakcie tłumaczenia na "zrozumiały dla zwykłego człowieka język". Kafka w pełnej krasie.
Zaryzykuję twierdzenie, że eksperyment opisuje przede wszystkim schematyczność ocen, którym oba raporty podlegały.