02 Maja

Źródło: archiwum prywatne

Recenzowanie wniosków grantowych

Ocena wniosków o finansowanie badań naukowych jest znaczącym wyzwaniem zarówno dla agencji grantowych, jak i samych recenzentów.

Jednym z bardziej wymagających zadań recenzyjnych jest opiniowanie wniosków o finansowanie badań. Ocenie podlega bowiem nie tylko to, co już osiągnięto, ale przede wszystkim to, co dopiero zamierza się zrobić. Zadanie jest szczególnie trudne, gdy mamy do czynienia z badaniami wyprzedzającymi obecny stan wiedzy. Są one obarczone znacznym ryzykiem niepowodzenia, jednak ich sukces daje szansę na znaczny postęp czy wręcz dokonanie przełomu w nauce. Dotyczy to na przykład badań finansowanych przez Europejską Radę ds. Badań Naukowych (ERC), a także, w pewnym stopniu, przez Narodowe Centrum Nauki.

Dobór ekspertów

Kluczem do jakości procesu recenzyjnego jest przede wszystkim wybór odpowiednich recenzentów, zarówno świetnych naukowo, jak i o nieposzlakowanej opinii etycznej. To spore wyzwanie, ponieważ najlepsi eksperci są zwykle bardzo zajęci, a poważne recenzowanie wniosków grantowych wymaga sporo czasu i wysiłku. W przypadku ambitnych propozycji w niektórych dyscyplinach pula potencjalnych opiniodawców jest ograniczona i stąd konieczność sięgania, także w agencjach narodowych, po recenzentów z innych krajów. Nie jest więc przypadkiem, że poważne agencje na całym świecie wymagają pisania wniosków grantowych w międzynarodowym języku nauki, jakim jest język angielski. Zapraszanie do recenzowania ekspertów z zagranicy ma tę dodatkową zaletę, że na ogół całkowicie uniezależnia opinie od zdarzających się niekiedy miejscowych układów, a w przypadku projektów z obszaru nauk humanistycznych pozwala także na spojrzenie na propozycje badań z innej perspektywy kulturowej, co w połączeniu z recenzjami z własnego obszaru, umożliwia znacznie pogłębioną ocenę projektu. Moje doświadczenia z NCN wskazują także na to, że naukowcy z zagranicy, opiniujący wnioski, mają świetną okazję zapoznania się z prowadzonymi w Polsce badaniami i poznania pracujących w naszym kraju naukowców. Miałem wiele sygnałów ze świata, że odkrycie naszego intelektualnego potencjału było dla nich mile zaskakujące.

Ocena przez zespoły ekspertów

Każdy wniosek o finansowanie badań jest recenzowany przez kilku ekspertów. Niekiedy ich opinie znacząco się różnią. Na ogół nie wynika to ze złej woli czy z braku kompetencji któregoś z recenzentów. Eksperci mają prawo mieć różne opinie, a także czasami może się zdarzyć, że nie zauważą błędu w rozumowaniu wnioskodawcy, nie docenią jego pomysłów czy też któryś z nich ma wiedzę o podobnych badaniach prowadzonych w innym miejscu na świecie. Decydowanie wtedy o przyznaniu grantu na podstawie uśredniania ocen nie prowadzi na ogół do niczego dobrego. Eksperci muszą po prostu podyskutować i ustalić wspólną opinię. Stąd pomysł organizowania paneli ekspertów wspólnie oceniających wnioski. Tego typu debaty są szczególnie ważne w przypadku wniosków dotyczących badań interdyscyplinarnych.

Panele organizuje się wokół pewnej tematyki, obejmującej zazwyczaj kilka zbliżonych dyscyplin. Przykładowo, cały obszar nauki jest podzielony w NCN na 26 paneli, a w ERC na 27. Ze względów praktycznych liczba ekspertów w jednym panelu dyscyplinowym jest ograniczona do kilkunastu osób, a każdy z paneli ocenia kilkadziesiąt bądź nawet ponad sto wniosków grantowych zgłoszonych w jednym konkursie. Ponieważ nierealne byłoby wymaganie, by kilkunastu ekspertów zasiadających w jednym panelu było wybitnymi ekspertami w tematyce wszystkich zgłoszonych projektów, najczęściej stosuje się ocenę dwuetapową. W pierwszym etapie panel dokonuje wstępnej selekcji na podstawie pierwszej, dosyć ogólnej części aplikacji. Wnioski, które dostały się do drugiego etapu oceny są wysyłane do bardziej wyspecjalizowanych ekspertów, potrafiących wnikliwie ocenić szczegółowy opis projektu badawczego. Ich recenzje otrzymują eksperci panelowi, którzy na swoim kolejnym posiedzeniu, poprzedzonym często rozmową z naukowcem ubiegającym się o grant, podejmują ostateczną decyzję o wyborze projektów do finansowania. Paneliści w trakcie oceny są niekiedy zmuszeni do zignorowania niektórych recenzji bądź ich części, gdy uznają je za niekompetentne bądź napisane w złej wierze.

Kryteria oceny

Kryteria brane pod uwagę przez recenzentów wniosków o finansowanie badań są odmienne w różnych agencjach grantowych. W przypadku badań, jakie finansują ERC czy NCN ocenie podlega zarówno sam pomysł badawczy, jak i potencjał intelektualny głównego wykonawcy, gwarantujący realizację przedstawionego projektu.

W ERC eksperci powinni ocenić czy pomysł badawczy jest nowatorski, ambitny, mający szansę na dokonanie przełomu bądź na otwarcie nowej ścieżki w nauce. W NCN te wymagania są, siłą rzeczy, nieco łagodniejsze, ale i tutaj projekty banalne, mało oryginalne bądź będące prostą kontynuacją wcześniejszych dociekań, nawet zakończonych sukcesem, mają małe szanse akceptacji. Eksperci powinni dopuścić pewien poziom ryzyka niepowodzenia proponowanych badań, ale ryzyko to powinno być utrzymane w racjonalnych granicach. Recenzenci oceniają również klarowność celów badawczych i metody, jakimi mają być prowadzone badania. Ich zadaniem jest także ocena tego, czy szerokość proponowanych badań nie jest nadmierna bądź zbyt ograniczona.

Jeżeli chodzi o ocenę samego badacza, który ma realizować projekt, liczy się głównie jego (bądź jej) potencjał intelektualny i kreatywność. Ocenia się to przede wszystkim na podstawie dorobku naukowego, przy czym ocena ta ma charakter jakościowy. Eksperci mają obowiązek stwierdzić, czy na danym etapie rozwoju naukowego główny wykonawca opublikował prace wnoszące coś istotnego do nauki światowej. Nie liczy się liczba opublikowanych prac, ale zawartość tych najistotniejszych. To znaczące wymaganie w stosunku do eksperta, który musi zapoznać się z treścią kluczowych artykułów i ocenić ich wpływ na rozwój nauki, w tym na prace innych naukowców. W przypadku humanistów ważne są także monografie i ich oddziaływanie. Recenzenci nie powinni kierować się miejscem opublikowania pracy, a jej zawartością. Niemniej, opublikowanie pracy w znakomitym czasopiśmie czy prezentacji jej na renomowanej konferencji nie tylko zwiększa zasięg i tym samym oddziaływanie danej pracy, ale także, ze względu na solidny proces recenzyjny, zwiększa jej wiarygodność.

Eksperci nie powinni kierować się w ocenie wniosków miejscem, skąd pochodzi główny wykonawca i gdzie zamierza wykonywać badania. W ERC jest to wręcz zakazane. Jedynym wyjątkiem jest możliwość wskazania przez recenzenta, że jego zdaniem, danych badań nie da się w proponowanej jednostce po prostu wykonać, na przykład z powodu braku specjalistycznej aparatury. Jakkolwiek formalnie większość agencji grantowych nie wymaga od ekspertów oceny dotychczasowej mobilności naukowej głównego wykonawcy, fakt prowadzonych z sukcesem badań naukowych poza jednostką macierzystą pozytywnie wpływa na jego wizerunek naukowy, a tym samym wskazuje na większe szanse realizacji zgłaszanego projektu badawczego.

W ocenie głównego wykonawcy liczy się jego bądź jej doskonałość naukowa. Ale w niektórych agencjach grantowych bierze się także pod uwagę inne, dodatkowe kryteria. Delikatną i kontrowersyjną sprawą jest możliwość uwzględniania pozanaukowych osiągnięć wnioskodawców. Na przykład czy fakt, że ktoś przez ostatnich kilka lat był dziekanem wydziału, służąc w ten sposób społeczności naukowej, powinien wpływać na złagodzenie wymagań dotyczących dorobku publikacyjnego w ostatnich latach? Wiadomo, że duże obowiązki administracyjne odbijają się na ilościowym dorobku wnioskodawcy.

Jest także oczywiste, że recenzent nie powinien kierować się w swojej ocenie takimi czynnikami jak płeć wnioskodawcy, kraj pochodzenia, orientacja seksualna czy wyznanie. Agencje grantowe dbają także, by unikać konfliktu interesów, wyłączając z oceniania ekspertów pracujących w tej samej jednostce naukowej co wnioskodawca, wspólnie prowadzących badania czy też w inny sposób, na przykład rodzinny, powiązanych z ocenianym.

Problem jawności

Ogólnie przyjętą zasadą w agencjach grantowych jest nieujawnianie danych ekspertów oceniających konkretne wnioski. Ułatwia to szczere formułowanie opinii przez recenzentów. W przeciwnym wypadku trudno sobie wyobrazić w naszym nieidealnym świecie, że na przykład młody ekspert tuż przed habilitacją napisze rzetelną recenzję słabego wniosku grantowego jego potencjalnego recenzenta w postępowaniu habilitacyjnym. Zarzut braku transparentności jest w tym przypadku absurdalny. Ujawnianie nazwisk recenzentów szybko doprowadziłoby do znanej nam z przeszłości sytuacji, w której odpowiedzialny proces wyboru najlepszych wniosków do finansowania zamienia się w grę układów i podział łupów przez wąskie grono wpływowych graczy, przede wszystkim kosztem młodych badaczy znajdujących się poza układami. Inną sprawą jest ujawnianie zbiorczej listy ekspertów oceniających wnioski, bez przypisania do konkretnych projektów, już po ogłoszeniu wyników konkursu. Pozwala to na ocenę przez całą społeczność naukową jakości recenzentów zapraszanych przez agencję grantową.

Dobrym zwyczajem agencji jest przekazywanie wnioskodawcom uwag i opinii recenzentów. Zdarza się, że uwagi te bywają lekko redagowane przez pracowników agencji, którzy usuwają pojawiające się niekiedy niegrzeczne czy niezręczne sformułowania opiniodawców.

Odwołania od wyników oceny

Praktycznie wszystkie agencje grantowe muszą mierzyć się z odwołaniami od wyników oceny. Nie ma wątpliwości, że takie odwołania powinny być brane pod uwagę, gdy wskazują na ewidentne błędy formalne w procesie oceny, co oczywiście niekiedy może się zdarzyć. Uwzględniane są także odwołania wskazujące na błędy w recenzjach, które mogły wpłynąć na ostateczną ocenę danego projektu. Zajmują się tym zespoły odwoławcze. Nie dopuszcza się natomiast możliwości polemiki między wnioskodawcami i ekspertami. Przy dużych liczbach wniosków napływających do agencji grantowych taka możliwość doprowadziłaby do kompletnego paraliżu agencji.

Ocena wniosków o finansowanie projektów badawczych jest dużym wyzwaniem zarówno dla agencji grantowych, jak i dla recenzentów. Jeszcze trudniejsza jest ocena projektów konsorcyjnych, dotyczących badań stosowanych, szczególnie, gdy uczestniczą w nich nie tylko podmioty naukowe.