Procesy oceny wniosków grantowych w NCN wymagają modyfikacji, a w szczególności pierwszy etap, w wyniku którego bardzo duża liczba aplikacji jest odrzucana. Jak to zrobić, by system rzeczywiście poprawić, nie opóźniając ostatecznych decyzji? Jedną z możliwych opcji jest wykorzystanie algorytmów sztucznej inteligencji do wspomagania pracy koordynatorów, ekspertów i recenzentów – piszą profesorowie Janusz M. Bujnicki i Jacek Kuźnicki z Międzynarodowego Instytutu Biologii Molekularnej i Komórkowej.
Narodowe Centrum Nauki (NCN) jest organizacją dla naukowców i prowadzoną przez naukowców. Naukowcami są dyrektor i jego zastępca, członkowie Rady NCN i koordynatorzy paneli. Jest to więc z oczywistych względów grupa osób otwarta na dyskusję, krytykę i gotowa do zmian. I taka jest piętnastoletnia historia NCN, które wsłuchując się
w głos środowiska stale zmienia się i modyfikuje procedury; wysoka częstość tych zmian jest czasem nawet krytykowana.
Uważamy, że powstanie NCN było i jest największym sukcesem zmian w organizacji nauki w Polsce. Co nie znaczy, że działa ono idealnie. Nieuzasadnione w naszej opinii są jednak głosy krytyczne co do ogólnych zasad jego funkcjonowania i procedur, choć można zrozumieć niezadowolenie osób, których projekty nie zostały ocenione pozytywnie. Trzeba jednak pamiętać, że w każdej procedurze konkursowej są zwycięzcy i pokonani, a w przypadku najlepszego finansowania NCN, które było kilka lat temu, zadowolonych mogło być co najwyżej 30% osób aplikujących w danym konkursie. Centrum stara się, by procedury oceny wniosków grantowych były prowadzone z dbałością o unikanie konfliktu interesów, bez faworyzowania określonych grup, środowisk, organizacji, tematów, czy konkretnych osób.
To, co napisaliśmy powyżej, nie oznacza, że nie zgadzamy się z niektórymi głosami krytycznymi wobec efektów działalności NCN. Na przykład uważamy za słuszne opinie wyrażone przez dr. Tomasza Ratajczyka w artykule Rzetelna analiza czy pozory oceny? („Forum Akademickie”, 1/2025) oraz komentarze czytelników tego tekstu, dotyczące decyzji i recenzji pierwszego etapu oceny grantów przez panel ekspertów. Tak, opinie ekspertów są często bardziej przydatne dla panelu, a mniej dla aplikujących. Tak, czasem zawierają błędy merytoryczne. Zdarza się nawet, że zawierają logiczne błędy lub wskazują na niezrozumienie niektórych aspektów projektu przez eksperta. Warto przy tym pamiętać, że błędy językowe, merytoryczne i niejasności zdarzają się całkiem często w samych wnioskach grantowych. Zupełnie nie zgadzamy się natomiast z opiniami, że eksperci rutynowo nie czytają wniosków i przesyłają bezsensowne recenzje, choć pobierają za to wynagrodzenie. Takie oskarżenia nie powinny mieć miejsca bez dowodów.
Problemy na całym świecie
W tytule postawiliśmy prowokacyjne pytanie: czy NCN i AI są na siebie gotowe? To, czy NCN jest gotowe, będzie zależało od jego Rady, dyrektora, koordynatorów, a na koniec od oceny społeczności naukowej. Natomiast wydaje się, że metody AI są już w dużej mierze gotowe do wspomagania procesu oceny recenzji. Modele językowe mogłyby m.in. weryfikować adekwatność tekstu recenzji (nawet bez porównywania recenzji z wnioskiem), sprawdzając poprawność językową i logiczną tekstu, a także zgodność z instrukcjami dla recenzentów. Możliwe byłoby również wykrywanie nieodpowiednich lub nacechowanych emocjonalnie sformułowań oraz recenzji z prawdopodobnymi ingerencjami AI, a nie stworzonymi przez człowieka.
Jeżeli AI miałaby dostęp do tekstu wniosku, mogłaby analizować, czy recenzja odnosi się do właściwego dokumentu oraz na ile zawarte w niej uwagi są zgodne z faktami związanymi z wnioskiem. Na przykład AI mogłaby ocenić, czy recenzent słusznie wskazuje brak określonych informacji we wniosku lub czy rzeczywiście zawiera on wskazane treści bądź błędy. Tego typu analiza mogłaby być przeprowadzana automatycznie, natychmiast po wprowadzeniu recenzji do systemu. Wyniki takiej analizy przeprowadzonej przez AI mogłyby wspierać pracowników NCN w podejmowaniu decyzji o akceptacji recenzji lub odesłaniu jej do poprawy.
Niezależnie od analizy samych recenzji, recenzenci mogliby być rutynowo oceniani pod kątem jakości sporządzanych opinii, co sprzyjałoby podnoszeniu standardów ich przygotowywania. Wprowadzenie takiego procesu mogłoby znacząco poprawić jakość typowych recenzji merytorycznych oraz wyplenić przypadki recenzji byle jakich i nieprofesjonalnych.
Na całym świecie występują problemy z oceną wniosków grantowych i poszukiwane są sposoby na ich przezwyciężenie. A. Recio-Saucedo i współautorzy w obszernym artykule What works for peer review and decision-making in research funding: a realist synthesis („Research Integrity and Peer Review”, 2022 Mar 4;7(1):2) opisują
wyniki 50 zmian wprowadzanych na różnych etapach recenzji eksperckich zebranych z 96 publikacji i 36 stron internetowych. Działania, które wydają się najbardziej skuteczne w ulepszaniu recenzji w różnych obszarach badawczych, to skrócenie wniosków grantowych, szkolenie recenzentów, wprowadzenie wirtualnych zamiast klasycznych paneli oraz ulepszone modele decyzyjne, np. z wykorzystaniem odpowiednich programów komputerowych, jak ProGrid czy Teamworker. Autorzy zwrócili też uwagę, iż jednym ze sposobów zwiększenia finansowania prawdziwie innowacyjnych projektów jest np. nieujawnianie osiągnięć naukowych aplikujących oraz tzw. złoty bilet dla recenzenta, czyli prawo do nominowania jednego projektu, który nie musi spełniać oficjalnych kryteriów. Stwierdzając, że żadna ze zmian zebranych w tabeli zawierającej kilkadziesiąt pozycji nie jest uniwersalna, autorzy uznają, iż mechanizmy podejmowania decyzji, w tym sama recenzja ekspercka, muszą być poddawane ciągłej ocenie, usprawniającym modyfikacjom i kontroli publicznej. To zdaniem autorów może sprawić, że finansowanie badań będzie bardziej skuteczne, uczciwe i adekwatne do potrzeb społeczeństwa.
Pionierzy z Południa
Czy możemy pozostać przy obecnym systemie oceny wniosków grantowych oraz publikacji, w którym biorą udział wyłącznie ludzie? Na niedostosowanie do współczesności dotychczasowych sposobów oceny typu peer review w aspekcie ocen artykułów naukowych zwrócił uwagę R.M. Montgomery (The Obsolescence of Traditional Peer Review: Why AI Should Replace Human Validation in Scientific Research, Preprint, Nov 4, 2024). Uważa on, że tradycyjna recenzja stała się przestarzałym, nieefektywnym i ostatecznie wadliwym mechanizmem zapewniania jakości badań, a obecny system oceny, charakteryzujący się znaczącymi opóźnieniami i kosztami oraz możliwymi do wykazania uprzedzeniami recenzenta wobec określonych zagadnień czy autorów, znacząco ogranicza postęp naukowy. Zdaniem autora współczesne algorytmy sztucznej inteligencji wykazują możliwości kompleksowej analizy metodologicznej, statystycznej i literaturowej, a są przy tym pozbawione ludzkich uprzedzeń poznawczych, rywalizacji i instytucjonalnej polityki. Autor proponuje wprowadzenie w pełni zautomatyzowanej oceny prac naukowych opartej na AI działającej w czasie rzeczywistym, identyfikującej wady metodologiczne, weryfikującej błędy w analizach statystycznych i oceniającej ich znaczenie w szerokim kontekście naukowym.
Entuzjazm autora do kompleksowego wykorzystania obecnych narzędzi AI może wynikać ze stosowania ich przez coraz większą liczbę instytucji wydawniczych. Sądzimy jednak, że problemem może być np. to, że AI może lepiej
oceniać wnioski stworzone przez AI niż przez ludzi, mimo że takie wnioski będą wykorzystywać nieprawdziwe dane, w tym całkowicie zmyślone publikacje.
Wskazany przez dr. Tomasza Ratajczyka problem z recenzjami w pierwszym etapie oceny grantów przez panel ekspertów w NCN był wcześniej dostrzeżony i dyskutowany w czasie, gdy współautor tego tekstu był przewodniczącym Rady NCN (Jacek Kuźnicki w latach 2020–2022 – przyp. red.). Nie udało się jednak znaleźć sposobu jego naprawy. Teraz proponujemy, by rozważyć wprowadzenie AI jako pomocy dla koordynatorów i ekspertów NCN. Nie jest to wbrew pozorom pomysł innowacyjny, bo NCN nie byłby pierwszą agencją, która wprowadziłaby AI do pomocy przy ocenie projektów grantowych. Jedną z takich agencji jest hiszpańska Fundacja „la Caixa”, jedna z największych na południu Europy organizacji finansująca badania naukowe w Hiszpanii i Portugalii.
Zmniejszyć obciążenie ekspertów
C.C. Cortés ze współautorami w swoim artykule AI-assisted prescreening of biomedical research proposals: ethical considerations and the pilot case of „la Caixa” (Foundation Data & Policy (2024), 6: e49) opisał literaturę dotyczącą zastosowania AI przez wydawnictwa do recenzji prac naukowych oraz przez organizacje grantowe do pomocy w analizie wniosków grantowych. Zebrali i przedyskutowali różne wątpliwości związane z takimi procedurami łącznie z kwestiami prawnymi i etycznymi. Wskazali też na potencjalne problemy wynikające z zastosowania AI do oceny projektów oraz szczegółowo opisali różne aspekty, które muszą być wzięte pod uwagę. I tak, aby uznać wyniki działania AI za wiarygodne i akceptowalne, muszą być one zgodne z prawem i etyką. Autorzy wymieniają 7 cech, które są istotne przy omawianym wykorzystywaniu AI. Są to:
Autorzy opisali, jak na podstawie przeprowadzonych analiz podjęto w Fundacji „la Caixa” decyzję, by wprowadzić eksperymentalny system oceny w naukach biomedycznych, w którym AI pomaga zidentyfikować wnioski, które nie powinny być skierowane do recenzji eksperckich.
Program „Caixa Reseach Health” (HR) to flagowy program Fundacji „la Caixa”, który obejmuje onkologię, neurobiologię, choroby zakaźne, choroby układu krążenia i metaboliczne oraz wspomagające technologie. Spośród 500–700 corocznych aplikacji kilkanaście procent wniosków przechodzi do końcowego etapu w wyniku zdalnej oceny przeprowadzanej przez około 200 ekspertów (peer review). W trakcie indywidualnych bezpośrednich rozmów kwalifikacyjnych (interview) do finansowania zostaje wybranych około 30% wniosków, co daje wskaźnik sukcesu od 5% do około 7%. Ponieważ etap zdalnej ewaluacji stanowi poważne wyzwanie z powodu dużej liczby
wniosków o różnej tematyce oraz potrzeby zorganizowania ekspertów o zróżnicowanej wiedzy i doświadczeniu, już wcześniej Fundacja „la Caixa” zdecydowała się na wykorzystanie AI do wyboru recenzentów, a ostatnio rozpoczęła stosowanie AI do identyfikacji wniosków, które mają nikłe szanse na uzyskanie finansowania.
Na podkreślenie zasługuje fakt, iż usunięcie przez AI wniosku z listy do dalszej oceny jest tylko rekomendacją, i że wszystkie takie wnioski są następnie sprawdzane przez ekspertów, którzy mają pełną autonomię, by rekomendację algorytmu zignorować. Można oczywiście kwestionować sens takiej podwójnej analizy, najpierw przez AI, a potem przez ludzi, jednak zdaniem autorów tego artykułu, pracujących w Fundacji „la Caixa”, jest to korzystne, bo
zmniejsza obciążenie ekspertów.
Algorytmy bardziej liberalne niż eksperci
W artykule, na który się powołujemy, opisano wyniki wprowadzenia AI do selekcji wniosków w dwóch konkursach. W konkursie HR22 z 546 wniosków eksperci wycofali 466 z dalszej analizy. Pozostałe 80 skierowano do panelu, który przeprowadził rozmowy z aplikującymi. W ich wyniku 33 wnioski zostały skierowane do sfinansowania. W przypadku wykorzystania AI z tych samych 546 aplikacji tylko 116 zostało wskazanych do odrzucenia, ale eksperci 30 z nich wskazali jako warte tradycyjnej analizy. Co ciekawe, żaden z tych 30 wniosków nie trafił do panelu w wyniku tradycyjnej oceny. Wśród pozostałych odrzuconych przez AI wniosków były dwa, które były wśród 33 na liście skierowanych do finansowania. W konkursie HR23 eksperci „uratowali” 35 wniosków z 98 zatrzymanych przez AI. Wśród nich jeden był oceniany przez panel ekspertów, ale ostatecznie nie został sfinansowany. To pokazuje, że zastosowane algorytmy były bardziej liberalne niż eksperci, a ich ocena wydaje się tylko częściowo przydatna.
Podsumowując doświadczenie z pilotażowego wykorzystania AI w konkursach HR22 i HR23, autorzy konkludują, iż skuteczne decyzje muszą być wynikiem odpowiedzialnego wykorzystania mocnych stron sztucznej inteligencji, takich jak szybkie przetwarzanie ogromnych ilości danych, zidentyfikowanie ukrytych wzorów i ocen stronniczych. Do sensownego wykorzystania wyników automatycznych procesów wymagane jest jednak doświadczenie ekspertów wnoszących możliwość zrozumienia niuansów i dostrzeżenia kontekstu.
Wykorzystanie sztucznej inteligencji w procesie podejmowania decyzji niesie ze sobą liczne wyzwania, w tym ryzyko „odhumanizowania” ocen, nawet jeśli ostateczna decyzja pozostaje w rękach człowieka, a AI jedynie dostarcza rekomendacji. Recenzenci, którzy otrzymają do oceny kilkadziesiąt wniosków z dołączonymi sugestiami AI, mogą ulec pokusie szybkiej i pobieżnej weryfikacji, co zwiększa prawdopodobieństwo błędnych decyzji. Szczególnie problematyczne mogą być skrajne przypadki. Wniosek o niskiej wartości merytorycznej, ale świetnie napisany z pomocą zaawansowanego AI, może otrzymać pozytywną ocenę zarówno od algorytmu, jak i nieuważnego recenzenta. Z kolei projekt proponujący realizację prawdziwie nowatorskiego i przełomowego pomysłu badawczego, napisany przez naukowca bez wsparcia AI i obciążony językowymi czy strukturalnymi niedociągnięciami, może zostać niesłusznie oceniony negatywnie przez AI i na tej podstawie odrzucony przez recenzenta.
Sztuczna inteligencja nie jest z natury obiektywna. Jej stronniczość może wynikać z danych użytych do trenowania, samego algorytmu lub generowanych przez nią przewidywań. Może to odzwierciedlać i utrwalać ludzkie uprzedzenia, różnice kulturowe, czy nierówności społeczne. Styl pisania naukowców z różnych obszarów geograficznych czy kultur różni się, nawet jeżeli weźmie się pod uwagę pisanie wniosków grantowych w tym samym języku (np. angielskim). Elementy takie jak bezpośredniość lub dystans, stopień pewności w argumentacji, styl opisowy lub perswazyjny, zdania długie i skomplikowane lub krótkie i konkretne, skromność lub podkreślanie własnego wkładu – to wszystko może wpływać na percepcję tekstu przez AI. W związku z tym algorytm wytrenowany na wnioskach grantowych pisanych przez Polaków może inaczej oceniać wnioski składane do NCN przez cudzoziemców pracujących w Polsce lub Polaków z doświadczeniem zagranicznym (i odwrotnie).
Należy podkreślić, że tego typu uprzedzenia są również powszechnie obecne w interpretacji ludzkiej, a recenzenci wniosków grantowych także im nieświadomie ulegają. W przypadku stosowania AI istotne jest uwzględnienie i kontrolowanie tych stronniczości oraz dążenie do ich zminimalizowania, co nie jest łatwe, ponieważ wymaga dużej ilości odpowiednio zbalansowanych danych. Eliminowanie uprzedzeń w uczeniu maszynowym przy trenowaniu i testowaniu nowych metod jest skomplikowanym zadaniem. Ponadto istnieją udokumentowane przypadki umyślnego wprowadzania uprzedzeń i ograniczania dostępu do niektórych treści przez twórców metod AI, np. poprzez ukrywanie niewygodnych politycznie faktów oraz adaptowanie narracji do aktualnych norm politycznej poprawności (Jeremy Baum and John Villasenor, The politics of AI: ChatGPT and political bias, 2023).
Odpowiedzialność na człowieku
Biorąc pod uwagę powyższe uwarunkowania, wracamy do tytułowego pytania: czy NCN jest gotowe na stosowanie AI przy ocenie wniosków grantowych oraz ich recenzji, by wyeliminować potencjalną stronniczość, wyrównując szanse aplikujących i radykalnie ograniczyć niesłuszne, niewystarczające, nielogiczne i błędne recenzje pierwszego etapu oceny? Odpowiedź nie jest prosta. Wydaje się, że pewien postęp uzyska się, wykorzystując AI do oceny samych recenzji i ewentualnie korelacji treści recenzji z samym wnioskiem. AI mogłaby też identyfikować najbardziej adekwatnych recenzentów do oceny wniosków w drugim etapie, tym samym eliminując obawy niektórych aplikujących o niewłaściwy ich wybór.
Jeśli jednak AI miałaby być zastosowana do wspomagania ekspertów, to można by zrezygnować z krótkiej wersji wniosku, utrzymując dwustopniową ocenę. Nowy formularz składałby się z dwóch części ocenianych osobno: jedna to część merytoryczna bez możliwości identyfikacji osoby aplikującej, jej statusu naukowego i afiliacji, a druga to opis dorobku osoby aplikującej. Algorytm analizowałby naukową część wniosku pod kątem poprawności ze stanem wiedzy i wskazywał, jakie wnioski mają niskie szanse na dobrą ocenę w procesie recenzji przez specjalistów oraz uzasadniał to odpowiednim komentarzem. Eksperci mieliby za zadanie ocenić, czy wnioski, które zdaniem AI nie mają szans na pozytywną ocenę, zostały właściwie ocenione i czy komentarz AI jest uzasadniony. Jeśli przynajmniej jeden ekspert nie zgodziłby się z negatywną oceną, wniosek wróciłby do puli przesyłanej do drugiego etapu.
Czy AI miałaby oceniać dorobek aplikujących, czy jedynie sam projekt? Wnioski w najbardziej powszechnym konkursie OPUS są przygotowywane przez osoby na bardzo różnym etapie kariery naukowej i dlatego taką ocenę należałoby całkowicie pozostawić ekspertom. Natomiast w konkursach dedykowanych dla określonych grup badaczy, jak Preludium, SONATA czy MAESTRO, można by rozważyć wykorzystanie AI do wstępnej oceny dorobku takich osób jako materiału pomocniczego dla ekspertów. To mogłoby im pomóc zidentyfikować merytorycznie nieuzasadnioną ocenę wykonaną przez człowieka, gdyby taka ocena znacząco odbiegała od oceny AI.
Ewentualne wprowadzenie AI do wspomagania pracy koordynatorów i ekspertów w NCN należałoby robić stopniowo, w wybranej grupie paneli i pilotażowo porównać efekty tradycyjnej oceny z efektami pracy wspomaganej przez AI, czyli tak, jak to zrobiła Fundacja „la Caixa”. Należy wyraźnie podkreślić, że na każdym etapie oceny to ludzie powinni decydować o rankingu wniosków i ocenach aplikujących, a ostateczną decyzję o skierowaniu wniosków do finansowania podejmowałby, tak jak obecnie, panel ekspertów.
Fundacja „la Caixa” nie jest jedyną, która wprowadziła AI do asystowania przy ocenie wniosków grantowych. Oprócz niej AI stosują m.in. National Natural Science Foundation of China, Canadian Institutes of Health Research oraz The Research Council of Norway. Należy jednak zauważyć, że niektóre duże organizacje sprzeciwiają się takiemu stosowaniu AI. Jedną z nich są Narodowe Instytuty Zdrowia (NIH) w USA i Australijska Rada Badań (ARC), a naukowcy związani z Europejską Radą Nauki (ERC) podkreślają, że AI może mieć tylko rolę wspierającą w automatyzacji powtarzalnych i administracyjnych zadań oraz w sprawdzaniu faktów, podsumowaniach i tłumaczeniach (C.C. Cortés i inni, j.w.).
Punktem wyjścia naszego artykułu było przywołanie licznych głosów krytyki i przyznanie, że procesy oceny wniosków grantowych w NCN wymagają modyfikacji, a w szczególności pierwszy etap oceny, w wyniku którego bardzo duża liczba wniosków jest odrzucana. Zasadniczym pytaniem jest, jak to zrobić, by system rzeczywiście poprawić, nie opóźniając ostatecznych decyzji. Biorąc pod uwagę globalne problemy z oceną artykułów i projektów naukowych, zaproponowaliśmy, iż jedną z możliwych zmian jest wykorzystanie algorytmów sztucznej inteligencji do wspomagania pracy koordynatorów, ekspertów i recenzentów. Na początek AI mogłaby zostać zaangażowana w weryfikację zgodności recenzji z wymaganiami formalnymi oraz w podnoszenie ich jakości. Jeśli to rozwiązanie okazałoby się skuteczne, możliwe byłoby wprowadzenie systemów AI w kontrolowany sposób do wspomagania recenzentów w ocenie zgodności wniosków z kluczowymi kryteriami NCN. We wszystkich tych przypadkach całkowita odpowiedzialność musi spoczywać na człowieku, który powinien być odpowiednio przeszkolony i świadomy wyzwań oraz ryzyka związanego z wykorzystaniem AI w procesach decyzyjnych.
Zdajemy sobie sprawę z tego, iż zgoda na takie działanie wywoła burzliwą dyskusję. Chcielibyśmy zasugerować, by oprócz krytyki dyskutanci i komentatorzy zaproponowali inne rozwiązania. Miejmy nadzieję, że w wyniku takiej wymiany opinii członkom Rady NCN i jej pracownikom uda się wypracować oczekiwane zmiany w procedurach oceny wniosków grantowych, które będą dobrze przyjęte przez środowisko naukowe.
Janusz M. Bujnicki, Jacek Kuźnicki
(śródtytuły od redakcji)
Dzięki AI wojsko będzie mogło sprawniej wydawać żołnierzom używane buty i mundury oraz lepiej dopasuje stare wyposażenie. Armia wyda na to grube miliony złotych ..... tylko beton w głowach pułkowników i generałów zostanie ten sam.
na razie, używając chata GPT, można stwierdzić, że czat często generuje bzdury (szczególnie, jeśli nie zna prawidłowej odpowiedzi). Ciekawe, czy w ramach recenzji narzędzie AI będzie generować wyłącznie prawdę, czy będzie znacznie bardziej twórcze, niż nam się wydaje. I kto będzie odpowiadał za tę twórczość? Zamiast Komisji ODwoławczej też damy AI?
Wnioskodawca, przed złożeniem wniosku, też będzie mógł przecież użyć modelu AI do sprawdzenia oceny własnego wniosku, i używając tej samej AI odpowiednio go podkręcać, by zmaksymalizować uzyskaną ocenę.
Jedyne nad czym bym się być może zastanawiał w kontekście użycia AI do oceny wniosków to ocena dorobku kandydatów. Chociaż od dawna uważam, że ocena ta powinna być zero-jedynkowa: powinno oceniać się, czy dorobek kandydata daje przesłanki na pozytywną realizację zaplanowanych badań. Jeżeli tak - ocenie podlega jedynie wniosek. Jeżeli nie (np. dwóch recenzentów stwierdziło to wprost) to wniosek nie jest oceniany.
1. Uwielbiam czytać artykuły prof. Kuźnickiego. Nawet jeśli się tylko częściowo z Nim zgadzam ;-)
2. Mam wrażenie, że cała dyskusja o jakości recenzji oraz innych bolączkach nauki w PL, to tak naprawdę odwracanie uwagi od prawdziwych problemów..
Oczywiście, błędy w recenzjach/opiniach były, są i będą (z lub bez AI) i nie uciekniemy od tego. Ale problemem jest przede wszystkim jakość samych naukowców w PL.
3. Wyobrażam siebie, że w którymś z paneli AI nie przepuści ani jednego wniosku do 2 etapu…
4. Ciekawe, co będzie, jeżeli AI wykryje wniosek pisany przez samą siebie…czy się do tego przyzna, czy inteligentnie się ukryje ;-)
Wszystkiego dobrego :-)
A co tam, pisać, wysyłać, co tam recenzje. Po co to peer review? To tylko przeszkadza, ludzie się czepiają, recenzenci się czepiają.
Zapytałbym, jakie są te bolończyki, ale jeśli masz taką filozofię, to po co mam pytać? Co ty tam możesz rozumieć?
Aha, czyli teraz winę za odrzucenie wniosku będzie ponosić wnioskodawca lub ewentualnie AI ? Sprytne wyjście... teraz będzie sztuczny kozioł ofiarny, na którego będzie można zwalić winę.
Ten pomysł nie jest nawet niedorzeczny, on jest po prostu wstrząsająco niedorzeczny.
Nawet mi się nie chce tłumaczyć rzeczy, które dla każdej osoby zajmującej się obliczeniami numerycznymi w jakiejkolwiek specjalności, czy dla każdego matematyka, ale i dla większości ścisłowców są oczywiste.
Niestety, polityka jest polityką i nie wykluczyłbym na wstępie, że ktoś w ministerstwie tego nie łyknie. No, a pomysł zgłaszają, jak widzę, biolodzy molekularni.
Czy mógłby Pan wyjaśnić swoje zastrzeżenia? To nie jest pytanie retoryczne, temat naprawdę mnie interesuje.
Co powiedziałby Pan na pomysł, by udostępnić recenzentom wstępną analizę tekstu wniosku wykonaną przez AI? Na przykład podstawowe informacje typu: tematyka wniosku jest bliska takim a takim publikacjom z ostatnich lat; cel wniosku zdaje się przeczyć obecnemu stanowi wiedzy; ten a ten fragment jest przepisany słowo w słowo z takiej a takiej publikacji. To jest chyba do zrealizowania.
Ja to czuję w trzewiach, ale spróbuję jakoś uzasadnić.
Najważniejsze są chyba powszechne intuicje typu, że dzieło nie może być większe od twórcy, to intuicja zarówno np. teologiczna, jak i matematyczna, czy informatyczna. Praktycznie żąda Pan, żeby algorytm wykazywał się wiedzą w danej dziedzinie równą wiedzy naukowca. A wie Pan co to znaczy? Najpierw naukowiec musi być człowiekiem, z mechanizmami poznania wbudowanymi w mózg o stopniu skomplikowania, o jakim nam się nie śniło (a i to nie jest pewne, czy rozum i intuicję człowieka da się w sposób fizyczny wyjaśnić, to trochę kwestia światopoglądu). Dziecko rozpoznawanie twarzy ma wrodzone, a ileż musiała się nad tym nabiedzić nauka? Człowiek intensywnie uczy się przez całe życie, w wieku niemowlęcym najwięcej. Mechanizmów uczenia wbudowano w nas nie wiem ile, może setki tysięcy, ileż z tego jesteśmy w stanie odtworzyć? Potem nauka, poczynając od szkoły do pracy naukowej, posługiwanie się pojęciami, twierdzeniami, rutyną wytworzoną na licznych przykładach, jak i starszymi, wbudowanymi mechanizmami. W szczególności taki smaczek: rozważmy recenzowanie prac z dziedziny sztucznej inteligencji. Czyli automatyczny recenzent, dzieło specjalisty od AI musiałoby się stać równe innemu specjaliście od AI (mówimy przecież o peer-review, czyli tu równy ocenia równego). Wierzy Pan w to? Pisze Pan o rozpoznawaniu, że "cel wniosku zdaje się przeczyć obecnemu stanowi wiedzy"? To przecież utopia. Ten automat musiałby znać dziedzinę (a i umieć doszukiwać się sprzeczności).
Ja, choć jako młodzieniec pasjonowałem się sieciami neuronowymi, nie zajmowałem się naukowo sztuczną inteligencją (to jeszcze, nawiasem, bardzo wieloznaczny termin), z jednym niedużym wyjątkiem. Jednak myślę, że każdy numeryk (jakiejkolwiek specjalności), wielu innych matematyków, informatyków, nawet fizyków, bo to rzutcy ludzie, próbowało rozmaite odłamy AI implementować do działającego programu i coś takim programem rozpoznać, coś zaklasyfikować, itd., i po prostu wie, ile można. Ja pamiętam, jeszcze z czasów studiów, jak kazano nam za pomocą sieci neuronowej, prostego back-propagation, aproksymować nieskomplikowaną funkcję skalarną wielu zmiennych, ale o symetrii radialnej. Męczyła się z tym strasznie, a przy rozmiarze zadania (liczbie zmiennych funkcji radialnej) powyżej, powiedzmy, pięciu zadanie robiło się już tak złożone, że nie obliczenia nie kończyły się w rozsądnym czasie. Znane jest zjawisko tzw. "przekleństwa wymiarowości" - bardzo wiele rzeczy wydaje się wykonalnych (np. natchnionym opowiadaczom o sieciach neuronowych, czy nawet początkującemu studentowi świetnie znającemu fragmenty matematyki, ale który nie zjadł jeszcze zębów na problemach złożoności obliczeniowej), ale jak przychodzi co do czego, okazuje się, że czas obliczeń rośnie wykładniczo z rozmiarem problemu, praktycznie problem staje się nierozwiązywalny.
Przyznam, że ostatnio dokonał się ogromny postęp, rozmowa z różnymi chatami to potwierdza. Jednak czaty to jednak dość nisko położony model językowy. Klasycznie analiza zdań w języku naturalnym ma z grubsza warstwę leksykalną (trywialną, podział tekstu na wyrazy), składniową (rozbiór zdania, też dobrze rozpoznany) i semantyczną (co to zdanie znaczy). I w warstwie semantycznej otwiera się kosmos, ale czaty penetrują ją - wg moich przypuszczeń - płytko, koncentrując się jednak na składni, bardzo pewnie uogólnionej. Jak lepsza wyszukiwarka - znajdą w swoich zasobach teksty, które jakoś tam składniowo (bądź "składniowo+") pasują do pytania i tym plują w odpowiedzi. Wychodzą stąd ładne i na pierwszy rzut oka poprawne opisy (o pięknej prezencji), ale nader często skrajnie nieprawdziwe lub bezsensowne. W jaki sposób AI może ocenić, czy artykuł mieści się w dziedzinie? Ano najpewniej, patrząc na słówka, jakie się pojawiają, jak są względem siebie ułożone, itd. Ale to dalej w gruncie rzeczy prosta metoda, łatwo prowadząca do zabawnych nieraz błędów (mniej więcej takich, jak w automatycznych tłumaczeniach tekstu).
Można by teoretycznie, jak sugerują autorzy eseju, użyć AI do weryfikacji kiepskich recenzji - to właśnie na podstawie analizy "prezencji" tekstu recenzji. Jak zawiera ledwie trzy zdania ze słowami "poprawny", "interesujący", itd, to znaczy, że recenzent nie przeczytał manuskryptu. Z tym, że to samo można zrobić prostszymi metodami, np. statystycznymi, a przede wszystkim recenzenci mogliby się łatwo nauczyć to obchodzić (tworząc tekst ładnie wyglądający, ale nic nie wnoszący, dokładnie tak jak czynią papiernicy). Natomiast znajdowanie plagiatów, ale prostych, to chyba rzeczywiście wykonalne zastosowanie, w prostej formie nie potrzebuje aż sztucznej inteligencji, wystarczą prostsze metody. Gdyby plagiator używał nieskomplikowanych maskowań, np. wyrazów bliskoznacznych, to pewnie byłaby robota dla AI. Ale gdyby czyjś rezultat opisał sam od nowa, inteligentnie się maskując - to nie wiem, czy AI by sobie poradziło.
Na koniec ważna uwaga. Osobiście jestem bardzo zaniepokojony tym, że użycie sztucznej inteligencji, pomimo jej niedoskonałości, jest wymuszane, albo praktyką rynkową, albo, co gorsza przepisami prawa, chociaż niedoskonałości te niosą dla człowieka istotne konsekwencje. Wszyscy chyba popadliśmy we frustracje, dzwoniąc do jakiejś firmy, wszystko jedno, czy taksówkarskiej, czy ubezpieczeniowej, czy jakiejkolwiek innej, próbowaliśmy załatwić jakąś bardziej skomplikowaną sprawę z odbierającym robotem; ja regularnie nie mogę się powstrzymać i wyzywam te biedne urządzenia od matołów. To jest, przeniesione na wyższy poziom, to samo zjawisko, jakie znamy od lat przy informatyzacji/cyfryzacji tradycyjnymi systemami informatycznymi, np. bazodanowymi. Ile razy człowiek cierpi z tego powodu, że choć ma rację, to system informatyczny tego nie uznaje, bo czegoś tam nie da się wpisać. I nawet - jeśli Pan pisze, że opinie AI mogłyby być do weryfikacji - to ja, znając praktykę, na taką weryfikację bym nie liczył. Esej proponował moim zdanie tego typu bardzo niebezpieczne użycie AI, był to powód, dla którego wpadłem w rozedrganie.
Nie zgadzam się, że cechą AI jest przejrzystość. Jest dokładnie odwrotnie. Nawet w prostym uczeniu maszynowym nie jesteśmy w stanie stwierdzić dlaczego wynik jest taki, a nie inny (z resztą o to chodzi, algorytm ma dostrzegać połączenia, których ludzie nie widzą). Co dopiero w bardziej zaawansowanych modelach AI. To black box - wrzucasz dane wejściowe i wychodzi wynik. Jak działa to super, ale jeśli jest coś nie tak w algorytmie (np. bo został źle wyszkolony), to nie da się tego zauważyć inaczej niż empirycznie - najwyżej w kliku edycjach granty dostaną nie ci co powinni ;).
Efekt wprowadzenia AI do oceny wniosków będzie taki sam listy ministerialnej. Naukowcy zamiast skupić się na prowadzeniu badań na wysokim poziomie skupią się na tym jak napisać wniosek w taki sposób aby przechytrzył algorytm. Potem pozostaje już wstrzelić się w klucz bez względu na jakość wniosku. Czyli z poziomu szkolnictwa wyższego schodzimy do poziomu matury.
Może to i niegłupi pomysł. AI mogła by wykonać szczegółową ocenę formalną. Następnie wykorzystać AI do recenzji wniosku i do oceny dorobku kierownika jako trzeci recenzent, a następnie do werfikacji recenzji otrzymanej od recenzenta nr 1 oraz 2. Następnie szansa dla recenzentów na odpowieź na zarzuty AI oraz recenzja recenzji niezależnej wygenerowanej przez AI. Przygotowanie consensus raport. Wtedy najprawdopodobniej recenzje byłyby bardziej szczegółowe i przemyślane. Następnie warto by było uprościć procedurę, np. rezygnacja z oceny skrócowego wniosku lub składanie pre-proposalu tylko bez żadnych innych dokumentow a tylko propozycje wybrane do druguego etapu przez AI, będa recenzowane przez AI (recenzent 1), recenzent 2 oraz recenzent 3. Stosowanie AI do oceny recenzji przygotowanej przez ludzi i werfikacja recenzji AI przez ludzi. Consensus raport.
AI mógłby prowadzić ocenę formalną, ocenę planu zarzadzania danymi i ocenę kwesti etycznych oraz ocenę dorobku kierownika, ocenę kompletności wniosku.
Już oczami wyobraźni widzę, jaki cyrk by wtedy powstał. Przy tym dzisiejsze problemy z ewaluacją, NCN-em i papiernikami były elementem dawnej, statecznej, klasycznej epoki.
Dwie uwagi. Po pierwsze, w obecnym systemie w etapie I oceny merytorycznej nie ma ścisłych kryteriów, zakwalifikowanie lub nie wniosku do realnej oceny merytorycznej (czyli do etapu II) jest obecnie uznaniowe. Nie twierdzę, że procedura jest zawsze ułomna, ale zarzuty takie podnoszone są regularnie i podawane przykłady. Obsadzenie tak pomyślanej oceny w roli "sita", które odcedza większość złożonych projektów, nie powinno mieć miejsca. I druga kwestia: "odpowiedzialność na człowieku". Otóż odpowiedzialność na człowieku jest żadna, dopóki decyduje osoba anonimowa.
Tak, przejście do II etapu jest uznaniowe. Eksperci wybierają projekty, które muszą im się w jakiś sposób podobać (ale nie jest to upodobanie oparte na merytoryce), a resztę odrzucają, pisząc czasem bzdury. Taka jest moja opinia.
Rzeczywiście, AI mogłoby pomóc w zidentyfikowaniu eksperckich bredni (i to można prosto zaimplementować) – pod tym względem pomysł autorów bardzo mi się podoba. I tak jak autorzy zauważyli, takie procedury są już powszechnie używane (znacznie częściej poza nauką).
Jednak uważam, że eksperci powinni reprezentować pewien poziom. Wydaje mi się, że niestety szwankuje dobór ekspertów. Z tego, co wiem, to rada wybiera ekspertów. Jak widać, średnio im to wychodzi – przykład grantami papierników -powiedzmy sobie szczerze zidentyfikowanie przypadków opisanych w FA powinno zając 15 minut.
Ciągle słychać głosy, że eksperci muszą być zagraniczni. Może to jednak rada powinna być zagraniczna? Może warto odwrócić sytuację – niech zagraniczna rada wybiera polskich ekspertów.
Tak na dobrą sprawę, to cała procedura powinna przebiegać "na zewnątrz." Ale jakoś podejrzewam, że Rada NCN nie przystanie na ten pomysł.
Dziękuję za świetny tekst, w tym za linki do materiałów źródłowych (zwłaszcza zestawu dobrych praktyk). Propozycje w tekście moim zdaniem są dobre, ale dodałbym, że jest jeszcze temat stosowania "AI" przez samych ekspertów, która też wymaga jakichś regulacji, albo przynajmniej wytycznych. Nawet jesli zaufamy ekspertom, że będą to robić odpowiedzialnie, to pojawiają się kwestie np. własności intelektualnej. MSCA np. podkreśla, że o ile co do zasady ekspert mógłby wspomagać swoją ocenę LLM, to wczytanie treści wniosku do np. ChatGPT stanowi naruszenie umowy, bo jest to de facto udostępnienie treści w sumie niewiadomym podmiotom zewnętrznym.
Generalnie nie ma żadnych wątpliwości, że "AI" i tak będzie używana coraz częściej i że lepiej jest być częścią tego trendu (i się go na bieżąco uczyć) niż zostać kilka lat w tyle i potem nadganiać.
A pan w ogóle wie, co to jest ta cała sztuczna inteligencja? Nie jak to wygląda ale jak działa. Na poziomie takim, żeby samemu umieć napisać przynajmniej prototyp.
Pan na pewno wie. Buc roku 2025 wśród profesorów PAN wybrany. Dziękujemy!
Wie pan, różne mamy specjalności, może też się zdarzyć, że czyjąś jest sztuczna inteligencja.
A pan skończył choć dwie klasy szkoły? Bo poziom kindersztuby nie wskazuje, by miał pan jakiś związek z nauką. Że zadam tradycyje pytanie: kto go tu wpuścił?
Niech się pan nie przejmuje. Kolega rzeczywiście nie zachowuje się jak naukowiec. Ale już jako neonaukowiec - może i tak.
Ale takiego pajaca administracja nie powina wpuścić.
Profesor PAN... Da się odczuć, że nie Pan Profesor.
https://www.youtube.com/watch?v=g-bVEc8oZvk