Sprawy nauki

17 Listopada

Fot. Magdalena Kordziałek

Gorzka debata o ewaluacji

„Ewaluacja jest dziś narzędziem, które służy do dzielenia się biedą”, „Mało kto z nas wierzy, że to dobry sposób na rozliczenie się z publicznych pieniędzy”, „System działa wedle zasady: nie idzie nam strzelanie bramek, to ustalmy wynik liczbą podań piłki”, „Przestańmy wreszcie tańczyć ewaluacyjnego chochoła” – takie głosy padały podczas piątkowej debaty zorganizowanej przez Komitet Naukoznawstwa PAN.

O modelu ewaluacji działalności naukowej w Polsce dyskutowano w ostatni piątek w siedzibie PAN w Pałacu Staszica w Warszawie. W debacie wzięli udział: prof. Zbigniew Błocki, matematyk, były dyrektor Narodowego Centrum Nauki; prof. Agnieszka Chacińska, biolog molekularna, dyrektor Międzynarodowego Instytutu Mechanizmów i Maszyn Molekularnych Polskiej Akademii Nauk; dr hab. Adam Gendźwiłł; socjolog i geograf z Uniwersytetu Warszawskiego; prof. Błażej Skoczeń, przewodniczący Komisji Ewaluacji Nauki w latach 2019–2023. Spotkanie, które podzielono na cztery części, prowadziła dr hab. Joanna Golińska-Pilarek z UW. Patronem medialnym wydarzenia było „Forum Akademickie”. Poniżej zapis najważniejszych wątków dyskusji.

• Gdzie dziś jesteśmy?

W jakim miejscu znajduje się polska nauka po przeszło trzech dekadach poddawania się różnym systemom instytucjonalnej oceny? Co, o ile w ogóle, dzięki nim się zmieniło? Jak z dzisiejszej perspektywy należy je oceniać? Czy przyniosły realną zmianę w sposobie funkcjonowania instytucji naukowych?

Zbigniew Błocki: Główny problem polskiej nauki polega na tym, że w zasadzie nigdy jej nie zreformowano. Gospodarka po upadku komunizmu przeszła radykalną transformację, w nauce nic takiego nie miało miejsca. Jeśli już wprowadzano zmiany, to na ogół na gorsze. Dzisiejsza ewaluacja przypomina mi model gospodarki socjalistycznej, który stale był reformowany i nigdy nie działał. Jest strasznie skomplikowana, pracochłonna i pochłania bardzo dużo energii, a całą para idzie na dobrą sprawę w gwizdek, skoro i tak można ręcznie poprawiać wyniki. W dodatku ta ocena do niczego nie motywuje i za nic nie nagradza. Absurdalnie tworzona punktacja publikacji nie rozróżnia topowych czasopism od błahych tytułów. Bezsensowność systemu najlepiej widać po popularności drapieżnych publikacji, na które wydaje się ogromne sumy.

Agnieszka Chacińska: Zgadzam się, że brak reformy nauki zaraz na początku, gdy stawiano filary nowego państwa, odbija się dzisiaj czkawką. Produkujemy dużą liczbę publikacji, które nic nie znaczą. W takim właśnie miejscu dziś jesteśmy. Oprócz tego przegrywamy w konkurencji nie tylko z technologicznymi gigantami, jak Niemcy, ale już nawet z Czechami. Oczywiście, są i pozytywy, na przykład stworzenie systemu grantowego. Decyzja o powołaniu Narodowego Centrum Nauki niosła za sobą dalekosiężne skutki: zwiększyła naszą efektywność w staraniach o granty europejskie i odwróciła „brain drain” – wielu Polaków, którzy wcześniej wyjechali po wykształcenie i doświadczenie naukowe za granicę, powróciło do kraju, tutaj odnajdując swoje miejsce w nauce.

Adam Gendźwiłł: Jedyne, co pozostaje niezmienne w polskiej nauce, to jej zła sytuacja finansowa. Mechanizm ewaluacji służy dziś tak naprawdę do dzielenia się biedą. Miał być narzędziem do alokacji pieniędzy z subwencji oraz selekcji w przyznawaniu uprawnień do awansów naukowych. Trudno jednak mówić o tym, żeby kategorie naukowe miały realny wpływ na wysokość subwencji, skoro warunkiem brzegowym jest tzw. tunel, ograniczający wzrost finansowania jednostek względem poprzedniego roku. Podobnie z awansami – po ostatniej ocenie prawie 94% dyscyplin posiada kategorię B+ lub wyższą. System rozróżnia więc poszczególne jednostki czysto symbolicznie. Poza tym, jednym z podstawowych wyzwań, które musimy przezwyciężyć, żeby jakkolwiek zaprojektowany system ewaluacji zadziałał, jest brak kultury feedbacku. Ocena okresowa jest karykaturalna, informacji zwrotnej naukowcy nie dostają też na poziomie recenzji awansowych, których jakość w wielu przypadkach pozostawia wiele do życzenia. Trudno w tej sytuacji planować rozwój kariery, kiedy nie wiadomo, co robi się dobrze, a co trzeba poprawić.

Błażej Skoczeń: Mamy już czwartą generację systemu ewaluacji, który zainicjowano jeszcze w latach dziewięćdziesiątych od oceny w pełni eksperckiej. Uważam, że przez ten czas wzrosła wśród akademików świadomość związku między środkami publicznymi wydawanymi na naukę a koniecznością stałego podnoszenia jakości działalności naukowej. Rocznie wydajemy na naukę około 40 mld zł, czyli w ciągu pięciu lat 200 mld zł. Trzeba wyjaśnić społeczeństwu, co się z tymi środkami dzieje i jaki jest ich wpływ na rozwój naukowy.

To, w jakim miejscu obecnie jesteśmy, dobrze pokazuje pozycja dziedzin nauki na arenie międzynarodowej w bazie danych Scimago. W dziedzinie nauk humanistycznych i nauk o sztuce w roku 2012 zajmowaliśmy 24 pozycję, a w ubiegłym – już 11. Liczba dokumentów cytowalnych wzrosła w tym okresie z 626 do 3767. W naukach społecznych awansowaliśmy z 29 na 16 miejsce, a liczba dokumentów cytowalnych urosła pięciokrotnie – z 1450 do 7577. Przyrost jest widoczny, idziemy do przodu. W ewaluacji z roku 2022 zaangażowano około 900 ekspertów, co oznacza, że wykształciliśmy dużą grupę osób, które mają nie tylko potencjał, ale i kompetencje do wykonywania tego rodzaju działań. Stopniowe przesuwanie ewaluacji w stronę modeli eksperckich już się więc dokonuje.

• Ewaluacja potrzebna czy nie?

Jaki powinien być właściwy cel oceny jakości działalności naukowej? Czy ewaluacja ma być głównym narzędziem dystrybucji środków, czy może powinna też wspierać rozwój jakości badań? I czy w ogóle potrzebujemy ewaluacji?

Agnieszka Chacińska: Gdyby ewaluacja przekładała się na rzeczywistą dystrybucję środków, okazałoby się, że jednostkom naukowo słabszym, należałoby dać mniej pieniędzy. W moim przekonaniu niesie to jednak za sobą bardzo negatywne konsekwencje i nie uważam, by była to dobra droga. Nie chcę przez to powiedzieć, że jednostkom, które nie są w stanie utrzymać choćby przeciętnego poziomu nauki, należy i tak dosypywać pieniędzy. Trzeba jednak wypracować zupełnie inne mechanizmy, które zminimalizowałyby koszty społeczne takiej ewaluacji. Polityka państwa powinna wspierać mechanizmy doskonałości, które będą promowały również innowacyjność i naszą konkurencyjność w Unii Europejskiej. Do tego niezbędne jest jednak zwiększenie funduszy, bo z 1% PKB nie ma na to szans. Jednym z takich mechanizmów mogłyby być sprawnie działające agencje grantowe.

Adam Gendźwiłł: Ewaluacja jest bardzo drogim narzędziem, które ma jednak znikomy wpływ na alokację środków w porównaniu z innymi instrumentami, jak np. program IDUB. Ale skoro zdecydowaliśmy się mieć publiczny sektor badawczy i szkolnictwa wyższego, to algorytm określający wysokość subwencji jest po prostu niezbędny. Jeśli ma on uwzględniać kryterium jakości, to trzeba wypracować mechanizm, który różnicuje podmioty pod tym względem. Model w obecnym kształcie, zepsuty przez kolejne decyzje polityczne lub ich zaniechanie, stracił legitymizację w środowisku, a przez to trudno tłumaczyć społeczeństwu, że jest to nasz sposób na rozliczenie się z publicznych pieniędzy. W gruncie rzeczy mało kto z nas wierzy, że to dobry sposób.

Błażej Skoczeń: Ewaluacja jest uprawiana niemal we wszystkich krajach europejskich. W Polsce wydajemy na nią stosunkowo niewiele, a dostajemy efekt w postaci ocen wszystkich jednostek naukowych i dyscyplin. Kształtując system, można pójść dwiema ścieżkami: pozwolić jednostkom rozwijać się w takim kierunku, jaki sobie życzą, albo wyznaczyć główne osie rozwoju nauki, które nadałyby kierunek zmian w podmiotach. Tę drugą koncepcję przyjęliśmy w Polsce.

Wyniki ewaluacji powinny dawać podstawę do poprawy jakości badań naukowych, ze szczególnym uwzględnieniem sektorów, które wydają się ważne z punktu widzenia rozwoju nauki. Tak, żeby przy skromnych środkach, którymi dysponujemy, można było powiedzieć: „Jesteśmy zadowoleni po kolejnej ewaluacji, bo widać wyraźny wzrost jakości badań naukowych”. Ewaluacja ma też dostarczyć informacje o tym, jak jednostki w danej dyscyplinie nauki się rozwijają, dzięki czemu można je porównywać ze sobą, bez potrzeby ich rankingowania. Ewaluacja daje także podstawy do przyznania podmiotom uprawnień. Przyjęliśmy, że na podstawie wyników przyznajemy jednostkom naukowym uprawnienia. W tej chwili toczą się dyskusje o wprowadzeniu dodatkowego elementu w tym zakresie w postaci minimum kadrowego.

Zbigniew Błocki: Odnoszę wrażenie, że jeśli chodzi o ewaluację poszliśmy w takim kierunku, że skoro nie idzie nam strzelanie bramek, to ustalamy wynik liczbą podań albo wykopów piłki. Mamy rozwijającą się gospodarkę i naukę, która do pozycji gospodarki wyraźnie nie doskoczyła. Nasze ambicje powinny być znacznie większe. Japonia w 2000 roku opracowała strategię rozwoju, w której założono zdobycie minimum 30 Nagród Nobla w ciągu pół wieku. Zdobyli już 2/3 z tego planu.

Jestem sobie w stanie wyobrazić system nauki bez ewaluacji. Działalność naukowa może być finansowana przez różne strumienie, np. koszty pośrednie z grantów. Wynosiłyby one nie 20% jak teraz, a np. 100%. De facto na tym poziomie odbywałaby się ewaluacja, bo granty przyznawane są przecież na zasadzie oceny eksperckiej. Innym sposobem dystrybucji środków jest „zamawianie” badań. Państwo decyduje, że np. badania polarne muszą być prowadzone na wysokim poziomie, więc przeznacza na nie odpowiednie fundusze. Jak pokazuje przykład wydatków na badania z zakresu technologii obronnych nie wykorzystujemy jednak zbyt sensownie tej możliwości. W polskiej nauce, jeżeli naprawdę chcemy ją porządnie zreformować, należy zacząć budować nowe elementy systemu, dokładnie tak jak zrobiono to swego czasu z Narodowym Centrum Nauki. Jeżeli będziemy zwiększać finansowanie kiepsko działających instytucji, niczego nie osiągniemy.

• Wymarzona ewaluacja

Jak powinien wyglądać system ewaluacji? Czy ocenie powinny podlegać dyscypliny, jednostki organizacyjne czy zespoły badawcze? Czy oceniać jakość badań, czy publikacje? Jakie elementy usunąć, a jakie wprowadzić?

Adam Gendźwiłł: Jakiego modelu byśmy nie zastosowali, bez dodatkowych środków na badania system będzie generował błędne decyzje. Niedofinansowanie nauki grozi nawet nie tym, że pieniądze trafią nie tam, gdzie nie trzeba, ale że nie zostaną przeznaczone na rzeczy, na które powinniśmy je wydać, m.in. na zatrzymanie najzdolniejszych badaczy w Polsce. W takim przypadku manipulowanie parametrami ewaluacji daje efekt jedynie czysto estetyczny.

Moja wymarzona ewaluacja powinna mieć jaśniej zdefiniowane cele i służyć mniejszej ich liczbie niż obecnie. Na pewno nie powinna obejmować popularyzacji nauki – od tego są inne instrumenty. System premiujący np. występy w mediach doprowadzi do szeregu nadużyć, a dodatkowe zachęty tylko zwiększą skalę już istniejącego problemu. W systemie eksperckim kluczowa jest przejrzystość. Jeśli brakuje transparentności przy powoływaniu ekspertów, a potem jawności ich ocen, to łatwo później podważać cały system. Mamy złe doświadczenia przy modyfikowaniu listy czasopism i to nie może tak wyglądać. Ewaluacja powinna także różnicować misję instytucji badawczych. I wreszcie, powinna składać się nie tylko z oceny parametrycznej, ale również z dobrze zaprojektowanych programów ministerialnych. Chciałbym, by było to skoordynowane, ale przyznam szczerze, że na razie trudno to dostrzec na horyzoncie.

Błażej Skoczeń: Zarówno DORA (Declaration on Research Assessment), jak i COARA (Coalition for Advancement of Research Assement) wskazują kierunek rozwoju systemów ewaluacji: postulują, by ocena miała charakter ekspercki, czyli peer review, ale była poparta parametrami, które są niezbędne, żeby ekspert mógł podjąć właściwą decyzję. W Wielkiej Brytanii ewaluacja ma charakter ekspercki, oceniane jest po pierwsze środowisko wspierające badania naukowe (25%), jakość wyników badań (50%) i wpływ wyników poza akademią (25%). Z kolei w modelu holenderskim jednostki naukowe ewaluują się same na podstawie protokołu przygotowanego przez tamtejsze ministerstwo. Jest oczywiście powoływany międzynarodowy zespół ekspertów, ale jednostka ewaluuje się sama. Ocenia się, po pierwsze, jakość badań naukowych, następnie ich znaczenie dla społeczeństwa oraz wykonalność i opłacalność. Natomiast we Francji jednostki naukowe ocenia się w sposób holistyczny, a więc pod kątem zarządzania strategicznego i operacyjnego, badań naukowych, innowacji, roli nauki w społeczeństwie oraz kształcenia. Takie całościowe podejście pozwala sprawdzić na przykład, czy badania naukowe przekładają się na jakość kształcenia. To są trzy różne systemy, ale wszystkie mają jedną cechę wspólną – są oparte na międzynarodowych ekspertach oceniających jednostkę. Myślę, że powinniśmy też w tym kierunku zmierzać.

Zbigniew Błocki: Przywołane trzy modele potwierdzają tylko to, co mówiłem wcześniej o absurdalności polskiej ewaluacji. Ona jest kompletnie oderwana od tamtych systemów. U nas dominującą rolę pełnią publikacje w czasopismach drapieżnych, czyli kompletnie bezwartościowych, a równocześnie bardzo drogich. Uważam, że o wiele lepiej siłę naukową poszczególnych jednostek w Polsce pokazuje liczba otrzymywanych grantów. Przede wszystkim ich przyznawanie oparte jest na ocenie międzynarodowych ekspertów. Owszem, nie jest to tanie, ale Brytyjczycy, którzy wydają na ewaluację ponad 400 mln funtów, jednak widzą w tym sens.

Agnieszka Chacińska: Dla mnie idealny system to bardzo mocno uproszczona ewaluacja, zupełnie podstawowa, od której zależy jedynie baza finansowa. Środki, które mają zapewnić rozwój, widziałabym natomiast już w decyzjach międzynarodowych ekspertów. To już się przebija do naszej świadomości, coraz więcej osób dostrzega, że bez porządnej eksperckiej ewaluacji międzynarodowej nie damy rady prawidłowo dystrybuować pieniędzy na naukę. System powinien też uwzględniać różnice między dyscyplinami, bo obecnie jest to w niewystarczający sposób akcentowane. Trzeba także wprowadzić zróżnicowanie w ocenie uczelni i instytutów, których głównym celem jest działalność naukowa. Daję głowę, że eksperci międzynarodowi nie mieliby z tym problemu.

• Ewolucja czy rewolucja?

Czy lepiej stopniowo zmieniać obecny system, czy budować zupełnie nowy? Jakie zmiany są realnie możliwe w najbliższym czasie? Czy środowisko jest gotowe na duże zmiany, czy raczej na wariant kompromisowy?

Błażej Skoczeń: W moim przekonaniu ocena działalności naukowej mogłaby się stać oceną w pełni ekspercką, co zapewniłoby już nie tylko ilościowe, ale także jakościowe spojrzenie na osiągnięcia. I taka zmiana, ewolucyjna, już się dokonuje. Ale jest też inna propozycja, bardziej rewolucyjna – to wprowadzenie drugiego filaru w postaci holistycznej oceny jednostki naukowej, na wzór francuski. To podejście całościowe uwzględniałoby strategię jednostki, jej współpracę ze środowiskiem wewnętrznym i zewnętrznym, w szczególności z otoczeniem społeczno-gospodarczym, a także badania naukowe widziane z perspektywy procesu kształcenia. W tej chwili przepływ informacji z sektora badań do sektora kształcenia nie zawsze jest właściwy i holistycznym systemem można by go poprawić. Przygotowanie takiej zmiany wymaga jednak czasu, sądzę, że co najmniej dwóch lat, w związku z tym na taką rewolucję trzeba jeszcze poczekać.

Zbigniew Błocki: Myślę, że najpierw musimy się zdecydować na to, czy chcemy wszystkim dawać po równo, czy nie. Na podstawie doświadczeń innych krajów wiadomo, że z rozsmarowywania po równo poziom nauki nie wzrośnie. Ewaluacja musi zasadniczo, a nie tylko kosmetycznie, różnicować oceny. Nie uważam przy tym, żeby musiał to być aż tak skomplikowany proces jak teraz, można by go uprościć.

Agnieszka Chacińska: Rewolucja w naszych warunkach jest niemożliwa. Podstawowy poziom oceny musi być uproszczony, powinien jasno wskazywać cele i brać pod uwagę nie liczbę publikacji, tylko jakość wytworzonej własności intelektualnej. I najważniejszy element całej układanki: wiarygodni eksperci, najlepiej międzynarodowi. Ich zresztą moglibyśmy bardziej angażować do doradztwa na szczeblu ministerialnym. Biurokraci nie powinni zarządzać nauką, od tego powinni mieć doradców naukowych.

Adam Gendźwiłł: Jesteśmy skazani na rozwiązania ewolucyjne, przynajmniej w najbliższych latach. Po pierwsze ze względów politycznych – współpraca rządu z prezydentem w obecnym kształcie uniemożliwia de facto przeprowadzenie większych reform państwa, w tym również reformy nauki i szkolnictwa wyższego. Po drugie, Ministerstwo Nauki i Szkolnictwa Wyższego nie ma w tej chwili zdolności do tego, żeby wdrażać radykalne reformy. Brak tam przywództwa, określonych celów, nie ma jakiejkolwiek wizji polityki naukowej. Uważam, że dużym zaniechaniem było to, że bezpośrednio po zmianie władzy nie uzdrowiono listy czasopism. Do dziś pozostaje ona skażona, a najbardziej cierpią na tym nauki społeczne i humanistyka. Oczywiście, system powinien być prostszy, liczba ewaluowanych osiągnięć ograniczona, a lista czasopism zmieniona. Chciałbym, by ewaluacja w Polsce przestała być chochołem, wokół którego wszyscy tańczymy. Ona ma bowiem o wiele mniejsze znaczenie, niż nam się wydaje.

Nagranie audio z debaty, której patronem medialnym było „Forum Akademickie”, dostępne jest na kanale YouTube.

Not. Mariusz Karwowski