Największą wadą jest centralizacja systemu, wspólna lista punktacji czasopism z wszystkich dyscyplin, mgliste zasady i definicje poszczególnych rodzajów publikacji.

Ocena parametryczna dzisiaj i jutro

Maciej Żylicz

W chorym systemie finansowania nauki w Polsce, w którym prawie 70 procent budżetu przeznaczonego na naukę jest wydatkowanych na podtrzymanie działalności statutowej (DS) jednostek naukowych, muszą istnieć jasne kryteria podziału tych pieniędzy. Musi istnieć system promujący dobre zespoły badawcze, kosztem tych zespołów, które jedynie pozorują pracę naukową. Pamiętajmy jednak o tym, że utrzymanie takich proporcji wydatków budżetu na naukę (70 proc. DS, 20 proc. system grantowy – w tym projekty własne, zamawiane itp. – i czasami ok. 10 proc. na inwestycje aparaturowe oraz budowlane) jest czymś złym. Czymś, co nie pozwoliło w ciągu ostatnich 15 lat zreformować nauki w Polsce, wyjść ze struktur narzuconych przez okres, w którym nie byliśmy wolnym krajem. W systemach anglosaskich proporcje są inne. Większość funduszy na naukę rozdzielana jest tam w ramach konkursów projektów badawczych ocenianych na zasadzie peer review, a instytucje naukowe utrzymują się z kosztów pośrednich projektów badawczych. Placówce naukowej opłaca się wtedy zatrudniać najlepszych z najlepszych, którzy są w stanie wygrywać konkursy.

Jedynie proteza

Dlaczego tej sytuacji nie potrafiliśmy zmienić? Niestety, nie zrobiliśmy tego z dwóch zasadniczych przyczyn: 1. politycy, niezależnie od opcji partyjnych, lubią i chcą osobiście rozdawać pieniądze; 2. odziedziczona struktura nauki polskiej, z czasów „tak zwanych minionych”, pełna jest nadal pseudonaukowców, którzy jak ognia boją się jakichkolwiek konkursów, rankingów oraz porównań, które obnażyłyby ich słabość.

Tak więc poprzednio wprowadzona przez KBN ocena parametryczna była jedynie protezą pozwalającą w tylko nielicznych zespołach KBN na bardziej racjonalny, choć daleki od doskonałości, rozdział dotacji na działalność statutową. Niestety, w wielu innych zespołach (opanowanych nadal przez środowiska, które za wszelką cenę broniły się przed zmianami) ocena parametryczna i, co za tym idzie, przełożenie jej wyników na poziom dotacji były czasami czymś, delikatnie mówiąc, głęboko niewłaściwym. Przez całe lata ocena parametryczna krytykowana była prawie przez wszystkich. Przez tych, co pracują naukowo, że jest za słabo różnicująca i przez tych, co nie pracują naukowo, że stanowi ich zagrożenie. Ze sporu środowiska skorzystała administracja ministerstwa, zręcznie manipulując nastrojami środowiska. Spowodowano likwidację KBN i centralizację władzy w ręku ministra, w stopniu niespotykanym w żadnym kraju UE.

Nawet w zespołach, w których starano się wprowadzić ocenę parametryczną zauważano jej główne mankamenty systemowe:

• inflację publikacji i wdrożeń. Za mała różnica punktowa pomiędzy najlepszymi osiągnięciami naukowymi/wdrożeniowymi a pracami przeciętnymi. Opłacało się np. publikować więcej przeciętnych prac niż mniej, ale za to dobrych;
• brak preferencji jednostek oszczędnych. Efektywność prowadzonych badań tylko w nieznacznym stopniu wpływała na zakres finansowania tych jednostek;
• w małych jednostkach system oceny parametrycznej gorzej odzwierciedlał rzeczywistość;
• bardzo trudno było zaproponować relację pomiędzy liczbą punktów uzyskanych z poszczególnych osiągnięć, bo jak porównywać dobrą publikację naukową z patentem czy punktami uzyskanymi za doktorat? W wyniku tych wadliwych relacji zdarzały się jednostki, które przeszło 60 procent punktów uzyskiwały za punktację doktoratów, czyli „produkowano” doktoraty bez pracy naukowej i wdrożeń;
• „kupowanie” punktów. Zatrudniano częstokroć fikcyjnie, na cząstkach etatu, naukowców polskiego pochodzenia niepracujących na stałe w Polsce lub pracowników naukowych z innych instytucji. Dzięki ich podwójnej afiliacji, niektóre polskie instytucje uzyskiwały punkty za prace nie wykonywane w ocenianej jednostce.

Na powyższe mankamenty systemowe nałożyły się inne błędy, takie jak: podawanie niewłaściwej liczby pracowników naukowych zaangażowanych w badania (parametr N, chyba najpilniej strzeżony przez kierowników jednostek), zbyt pojemna definicja „monografii” czy „wdrożenia”, a także ignorowanie „przez przypadek” zasady jednoznacznej afiliacji autora publikacji naukowej.

Poprzeczka wyżej

Umiejętnie szermując krytycznymi uwagami na temat oceny parametrycznej, administracja Ministerstwa Nauki i Informatyzacji, chcąc uzyskać władzę absolutną nad 70 procentami budżetu MNiI, przygotowała pierwszy projekt rozporządzenia dotyczącego kryteriów i trybu przyznawania i rozliczania środków finansowych na naukę, w ogóle nieuwzględniającego oceny parametrycznej, jako metody podziału dotacji statutowej pomiędzy jednostkami naukowymi. Po długich bojach i przepychankach utworzony został jednak zespół roboczy (w składzie: J. Brzeziński, J.K. Frąckowiak, K. Kurzydłowski, K. Szubski, M. Żylicz – jako przewodniczący), który miał opracować nowe, bardziej rygorystyczne i przejrzyste zasady oceny parametrycznej. W następnej kadencji prace tego zespołu były prowadzone pod kierownictwem prof. M. Karońskiego.

W wyniku działalności zespołów roboczych, 14 kwietnia 2004 KBN podjął uchwałę, zgodnie z którą nowa ocena parametryczna miała zagwarantować:

• stabilność systemu ocen przy jednoczesnym ograniczeniu oceny punktowej do najlepszych osiągnięć naukowych/naukowo−wdrożeniowych;

• taki sposób liczenia efektywności sumarycznej ocenianych jednostek, aby uwzględnić: 1) specyfikę zadań, jakie określone grupy jednostek powinny spełniać oraz 2) oczekiwania organów założycielskich.

Następny projekt rozporządzenia, opracowany przez ministerstwo, zawierał część naszych postulatów, ale niestety także rozwiązania, które były niezgodne z naszą wizją. Po likwidacji KBN i wejściu w życie nowej ustawy projekt rozporządzenia był opiniowany przez Komitet Polityki Naukowej i Naukowo−Technicznej Rady Nauki, którego byłem członkiem i osobą referującą te zagadnienia. 21 kwietnia 2005 komitet przyjął opinię, w której m.in. czytamy: Niestety opiniowane Rozporządzenie (...) nie spełnia pierwotnego postulatu środowiska naukowego..., czyli postulatu dotyczącego stabilności systemu ocen przy jednoczesnym ograniczeniu oceny punktowej do najlepszych osiągnięć naukowych/naukowo−wdrożeniowych.

Następnie komitet złożył 21 szczegółowych propozycji poprawek (9 stron maszynopisu). Ministerstwo uwzględniło tylko kilka i w rezultacie powstał dokument niespójny i posiadający wiele wad. Największą wadą jest centralizacja systemu, wspólna lista punktacji czasopism do wszystkich dyscyplin, wspólne – w związku z tym bardzo mgliste – zasady i definicje poszczególnych rodzajów publikacji, oparcie rankingu na efektywności, a nie kolejności w rankingach itp. Ta ostatnia uwaga doprowadza znowu do porównywania punktów za osiągnięcia w poszczególnych kategoriach. Moim zdaniem, nie da się wypracować wspólnych zasad, list, definicji np. pomiędzy naukami humanistycznymi i biologią molekularną, naukami podstawowymi a technicznymi, nastawionymi na wdrożenia. Te sprawy trzeba pozostawić zespołom merytorycznym oceniającym poszczególne dziedziny lub grupy dziedzin.

Przy wszystkich swoich wadach i ułomnościach przeprowadzana obecnie ocena parametryczna posiada pewien pozytywny wymiar. W dziedzinach nauki, w których publikowanie w czasopismach o zasięgu międzynarodowym było ewenementem, obecny system jest znaczącym podwyższeniem poprzeczki. Niestety stało się to kosztem dziedzin od lat pracujących w międzynarodowych standardach, dla których obecny system jest zbyt mało różnicujący. No cóż, na tym polega kompromis. Wprowadzenie jednak zasady przedstawiania tylko najważniejszych osiągnięć proporcjonalnie do liczby N, do pewnego stopnia niweluje spłaszczenie punktacji. Dlatego trzeba dbać o to, aby w następnych rozwiązaniach nie zrezygnować z tej zasady. Liczba osiągnięć wskazywana na jednego statystycznego pracownika naukowego powinna być mała, ale nie tak mała, żeby najlepsze jednostki nie mogły wskazać wszystkich swoich prac z najwyższej półki.

Myślę, że przeprowadzana obecnie parametryzacja dostarczy nam wiadomości o tym, czy istnieje w Polsce jednostka, która przez ograniczenie liczby wskazanych osiągnięć do 2N nie mogła przedstawić publikacji posiadających najwyższą punktację (tzn. publikacji za 24 punkty). Osobiście w to wątpię. Pozytywnym elementem zwrotnym w rozporządzeniu jest także wyznaczenie jasnego sposobu naliczania dotacji statutowej, zależnej od efektywności naukowej jednostki i aktywności jednostki w pozyskiwaniu innych środków na naukę.

Niezbędne zmiany

Jak powinna wyglądać przyszła, przeprowadzana za cztery lata, ocena parametryczna? Jakie zmiany są niezbędne w dotychczasowych uregulowaniach prawnych?

Moim zdaniem powinno się wprowadzić następujące zmiany:

• zmniejszyć liczbę dokonań, za które uzyskuje się punkty. Jestem przeciwny punktowaniu doktoratów, habilitacji, tytułów profesorskich, nagród, uprawnień, liczby uzyskanych grantów itp. Osiągnięcia te uzyskuje się dzięki publikacjom naukowym, monografiom, patentom czy wdrożeniom, które brane są już pod uwagę w ocenie parametrycznej. Obecna sytuacja tylko zaciemnia obraz, gdyż niektóre dokonania liczone są czasami podwójnie, a nawet potrójnie. A co ważniejsze, może ona doprowadzić do „produkcji” stopni naukowych na podstawie miernych prac, których jednostka nie może zaliczyć do swoich najważniejszych osiągnięć naukowych/naukowo−wdrożeniowych;

• zwiększyć zakres punktowy pomiędzy najlepszą (np. 50 pkt.) i najgorszą publikacją (np. 1 pkt). Postulaty niektórych środowisk, aby punktację oprzeć bezpośrednio na bezwzględnej liczbie współczynnika przebicia danego czasopisma, uważam za nieporozumienie. Trudno jest porównywać IF najlepszego czasopisma w biologii molekularnej (ok. 40) z przeszło 10−krotnie mniejszą siłą przebicia najlepszego czasopisma, na przykład z zakresu ekologii;

• nie konstruować jednej listy czasopism, lecz trzy listy: nauk humanistycznych i społecznych, drugą – nauk o życiu i nauk ścisłych, trzecią – nauk inżynierskich. Dalsze zróżnicowanie list byłoby błędem, gdyż w Polsce istnieją całe dziedziny czy dyscypliny nauki, które nadal nie chcą przyjąć do wiadomości, że nauka jest międzynarodowa, a jakość uprawianej nauki jest oceniana przez standardy międzynarodowe, w tym system peer review;

• po dokonaniu symulacji, na podstawie danych uzyskanych w czasie obecnej oceny parametrycznej, dążyć do obniżenia liczby osiągnięć wskazanych przez jednostkę przypadającą na jednego statystycznego pracownika naukowego. Obecnie jest to liczba 2. Na pewno nie powiększałbym tej liczby;

• takie sprawy, jak ranking czasopism, definicje wdrożeń, monografii, zasady ich punktacji oraz struktura grup jednorodnych, powinny być ustalane trzy lata przed oceną parametryczną, na poziomie zespołu lub grupy zespołów merytorycznych mających dokonać oceny;

• zmienić także zasady liczenia punktów od prac wieloautorskich. Jeśli liczba autorów z ocenianej jednostki jest mniejsza od 50 proc. albo pierwszym autorem nie jest osoba pochodząca z ocenianej jednostki, to jednostka uzyskuje nieznacznie mniej punktów, np. 75 proc. punktów przewidzianych w rankingu czasopism. Jest to propozycja prof. J. Weinera. To rozwiązanie kompromisowe pomiędzy obecnie obowiązującym systemem a liczeniem prac wieloautorskich z maksymalną liczbą punktów. Kompromis taki jest niezbędny, aby jednostce nie opłacało się fikcyjnie zatrudniać pracowników naukowych przynoszących w prezencie publikacje. Z drugiej zaś strony, jednostkom nie powinno się opłacać dawać do wykazu artykulików pojedynczych autorów zamieszczonych na przykład w „Chrońmy Przyrodę Ojczystą” czy innych „Przeglądach Mleczarskich” w porównaniu z ważnymi współautorskimi pracami opublikowanymi w bardzo dobrych czasopismach międzynarodowych. Szkodliwość błędu z powodu zawyżenia punktacji w przypadku manipulowania współautorami jest mniejsza niż szkodliwość sygnału, że nie warto współpracować.

Podsumowując, pamiętajmy o tym, że ocena parametryczna jest jedynie pewnym, niedoskonałym zresztą, narzędziem porównywania jakości pracy poszczególnych instytucji naukowych i stosujemy ją wyłącznie po to, aby przydzielić danej jednostce dotację statutową. Jeżeli zmienimy system finansowania nauki w Polsce, tak aby większość pieniędzy przypadała na projekty badawcze, a jednostka utrzymywała się z kosztów pośrednich projektów badawczych, to ocena parametryczna przestanie być potrzebna.