Sprawy nauki

06 Grudnia

Źródło: archiwum prywatne

Do czego potrzebujemy ewaluacji?

Nikt nie przeczy, że nauka – jak każda sfera życia – winna być oceniona przez tych, którzy ją finansują. Kłopot w tym, że wcale nie jest pewne, do czego tak naprawdę potrzebujemy ewaluacji – o tym, na ile ocena jakości działalności naukowej zrealizowała postawione przed nią cele, pisze dla FA prof. Andrzej Skrendo, literaturoznawca, polonista, prorektor Uniwersytetu Szczecińskiego ds. nauki.

Ewaluacja jakości działalności naukowej wciąż trwa: nie zakończył się etap odwoławczy. Liczba odwołań – złożyło je 580 na 1145 ocenianych podmioto-dyscyplin – oznacza, że ponad połowa wyników została podważona. O czym świadczy tak duża liczba odwołań? O założeniach całej procedury i kryteriach oceny? O sposobie przeprowadzania oceny i charakterze ocen ekspertów? O nastawieniu uczelni wobec procesu ewaluacji?

Nikt nie przeczy, że nauka – jak każda sfera życia – winna być oceniona przez tych, którzy ją finansują. Kłopot w tym, że wcale nie jest pewne, do czego tak naprawdę potrzebujemy ewaluacji? Z Przewodnika opracowanego przez Ministerstwo Nauki i Szkolnictwa Wyższego dowiadujemy się, że do tego, aby przekonać „podatników i zarazem wyborców, że [łożenie na naukę] byłoby rozsądną inwestycją”. Jest to jednak coraz trudniejsze – i to z powodów leżących poza nami.

„Wyobraź sobie, że twoje pieniądze z podatków poszły na budowę nowej drogi w twojej okolicy. Teraz wyobraź sobie, że firma nadzorująca prace drogowe pobiera od swoich pracowników opłatę, zamiast wypłacać im wynagrodzenie. Nadzorcy odpowiedzialni za upewnienie się, że droga jest zgodna ze standardem, również nie otrzymali wynagrodzenia. A jeśli ty, podatnik, chcesz dziś uzyskać dostęp do drogi, musisz kupić siedmiocyfrową roczną subskrypcję lub zapłacić wysokie opłaty za jednorazowe przejazdy. Nie mówimy o drogach – taki jest stan badań naukowych i sposób, w jaki są one dziś rozpowszechniane poprzez publikacje akademickie” – to chyba dość dobry opis tego, czym w ostatnich kilkunastu latach stał się biznes obrotu artykułami naukowymi (Brian Resnick and Julia Belluz „The war to free science”). Marża zysku netto największego wydawcy Elseviera (równocześnie właściciela bazy SCOPUS) w 2018 roku wynosiła 19% i była dwukrotnie wyższa niż Netflixa (tamże). Liczba numerów specjalnych w MDPI wzrosła z 388 w roku 2013 do 39 587 w roku 2021, co oznacza wzrost o ponad 10 000% (Paolo Crosetto, „Is MDPI a predatory publisher?”). Osoby, które dużo recenzują, mają również rekordowe liczby cytowań, z czego wynika, że zachodzi osobliwa korelacja między liczbą wykonanych recenzji, a liczbą cytowań publikacji recenzentów (jak wynika z badań dr. inż. Adama Sulicha). A to tylko elementy dużo większej układanki.

Czy uczestnicząc w tym globalnym przedsięwzięciu handlowym istotnie osiągamy cele, które założyliśmy? Na jakich zasadach chcemy uczestniczyć w tym wyścigu, bo przecież uczestniczyć musimy? Czy chcemy systemu, w którym uniwersytety stają się korporacjami, naukowcy menadżerami własnej kariery, wykształcenie prywatnym dobrem pozyskiwanym w celu uzyskania przewagi konkurencyjnej, a studenci konsumentami usług edukacyjnych? Taki chyba był ideał i nawet dziś od niektórych zwolenników obowiązującej ustawy można usłyszeć narzekania, że wybito jej zęby, i że niestety nie udało się wdrożyć na uczelniach w pełni menedżerskiego sposobu zarządzania…

Inna odpowiedź na pytanie o cel ewaluacji brzmi: jako zwornik całej reformy szkolnictwa wyższego miała ona służyć zmianie obiegu pieniądza w systemie. Jeśli celem miał być większy udział w „globalnym dyskursie”, to w sytuacji, w której wiadomo było od początku, że nie nastąpi skokowe zwiększenie nakładów finansowych, jedyna szansa osiągnięcia sukcesu mogła polegać na wzmocnieniu silnych jednostek kosztem słabszych. Kłopot oczywiście w tym, że ci silniejsi dalej pozostaliby słabi w ujęciu globalnym. W efekcie reguły się zmieniły, ale obiecane zmiany finansowania nie nastąpiły. Stan polskiej nauki warto rozpatrywać w odniesieniu do ponoszonych nią nakładów, a nie w oderwaniu od nich.

Z Przewodnika można się było też dowiedzieć, że system oceny nauki był w Polsce „zbyt liberalny”, czyli że oceny były za wysokie w stosunku do rzeczywistego poziomu. Tu ukrywa się jeszcze inna odpowiedź na pytanie, do czego potrzebujemy ewaluacji?. Chodziło o to, żeby zwiększyć presję i skalę niepewności dotyczącą przyszłości uczelni. Od dokonywanej co 4 lata oceny jakości uprawiania nauki uzależnione zostały wszystkie niemal najważniejsze elementy działania szkoły wyższej, łącznie z możliwościami otwierania nowych kierunków kształcenia, nadawania stopni naukowych, prowadzenia szkół doktorskich etc. Zatem odtąd miało już nie być tak „liberalnie”, a naukowcy mieli stracić poczucie domniemanej przyjemnej „małej stabilizacji”.

Tymczasem najbardziej potrzebujemy właśnie stabilności. Niestety, mija pierwszy rok nowego okresu ewaluacyjnego, a my nie znamy nowych reguł ewaluacji. Biorąc pod uwagę długość cyklu publikacyjnego, nie wydaje się, aby poczucie niepewności miało znacznie zmaleć.

Jak się zdaje, liczba odwołań wynika w znacznej mierze z wątpliwości związanych z oceną kryterium III, czyli wpływu działalności naukowej na funkcjonowanie społeczeństwa i gospodarki. Cokolwiek deprymująca jest sytuacja, w której dana podmioto-dyscyplina w kryterium I – ściśle naukowym, bo publikacyjnym i mającym największą wagę – przekracza próg na kategorię A, a ostateczny wynik brzmi B+ z powodu, jak się niekiedy wydaje, zaniżonej oceny w kryterium III. Nie powiedziałbym jednak, że w tym kryterium mamy do czynienia z większą „uznaniowością” niż w przypadku pozostałych kryteriów. Rzecz raczej w tym, że niejako strukturalnie ocena w tym kryterium zagrożona jest swego rodzaju ryzykiem regresu w nieskończoność, czyli zawsze można dowolnie długo zastanawiać się – trudno oprzeć się temu wrażeniu po lekturze niektórych recenzji eksperckich – gdzie tak naprawdę należy umiejscowić miejsce wpływu, żeby dał się on rzetelnie zmierzyć? Np. jeśli podstawą wpływu było wydarzenie kulturalne X, to ekspert pytał o liczbę uczestników; gdy podano liczbę uczestników, inny pytał na ilu z nich wydarzenie wpłynęło i w jaki sposób; jeśli wpływ zbadano za pomocą ankiety, ekspert miał za złe, że ankietę skonstruowała i przeprowadziła uczelnia, bo to podważa jej wiarygodność etc. Pytania takie w gruncie rzeczy nie są bezzasadne – i tu leży problem, ale uczelnie nie mają narzędzi i środków, aby na nie odpowiadać.

Niekwestionowanym osiągnięciem obecnych reguł ewaluacji jest ocena dyscyplin, a nie jednostek naukowych. Powinna ona w coraz większym zakresie stawać się oceną ekspercką, czyli jakościową, co wydaje się być szczególnie istotne w dziedzinach nauk humanistycznych i społecznych. To jednak wymaga dużego wzajemnego zaufania od wszystkich podmiotów uczestniczących w procedurze ewaluacji. Z powodów systemowych poziom ten nie jest, niestety, wysoki. Tworzenie warunków do wzrostu zaufania, co jest długotrwałym procesem, wydaje się najważniejszym wzywaniem dla nas wszystkich.

Andrzej Skrendo