Nie należy „na siłę” dokonywać doraźnych napraw systemu, który jest niedobry. Najlepszym rozwiązaniem będzie przygotowanie projektu nowego rozporządzenia i podanie go pod rzeczywistą, a nie jedynie pozorowaną, dyskusję.

Reguły parametryzacji

Jerzy Marian Brzeziński

Mimo wielu uwag krytycznych, które składają się na niniejszy głos w dyskusji, jedno chciałbym zadeklarować: jestem zwolennikiem oceny parametrycznej jednostek naukowych, przeprowadzanej wedle transparentnych, intersubiektywnych i społecznie uzgodnionych reguł. Nie uważam też, aby możliwe było porzucenie procedur zapoczątkowanych w latach 90. przez zespoły KBN. Żałuję jedynie – i nie mogę się z tym pogodzić – że nowe zasady oceny parametrycznej powstały w swoistej opozycji do poprzednich, bo środowisko naukowe zdążyło się już do nich przyzwyczaić i w dużej mierze zaakceptować. Uważam, że budowanie nowego na gruzach starego nie zawsze prowadzi do najlepszych rozwiązań. Myślę też, że nie wiązałoby się z większym ryzykiem przyjęcie założenia, że poprzedni system był jednak racjonalny – wszak tworzyli go ludzie nauki, którzy mieli jakieś pojęcie o zasadach funkcjonowania instytucji naukowych w świecie i w kraju. Dlaczego stało się tak, jak się stało?

Bodajże na jednym z ostatnich posiedzeń KBN (14 kwietnia 2004) przyjęto w formie uchwały propozycje zespołu roboczego, pracującego pod kierunkiem prof. Macieja Żylicza, odnoszące się do poprawy zasad prowadzenia oceny parametrycznej w następnym czteroletnim okresie 2001−04. Jak pisał w „FA” prof. Żylicz, zespół miał opracować nowe, bardziej rygorystyczne i przejrzyste zasady oceny parametrycznej. W następnej kadencji prace tego zespołu [w innym składzie osobowym – J.B.] były prowadzone pod kierownictwem prof. M. Karońskiego. Nowe podejście do zasad oceny parametrycznej miało zapewnić – jak pisze M. Żylicz – stabilność systemu ocen przy jednoczesnym ograniczeniu oceny punktowej do najlepszych osiągnięć naukowych/naukowo−wdrożeniowych; taki sposób liczenia efektywności sumarycznej ocenianych jednostek, aby uwzględnić: 1) specyfikę zadań, jakie określone grupy jednostek powinny spełniać oraz 2) oczekiwania organów założycielskich. Niestety, projekt dostał się w ręce urzędników, a ci zrobili z niego legislacyjne monstrum. Pisał bowiem M. Żylicz w tym samym artykule: (…) powstał dokument niespójny i posiadający wiele wad. Największą wadą jest centralizacja systemu, wspólna lista punktacji czasopism do wszystkich dyscyplin, wspólne – w związku z tym bardzo mgliste – zasady i definicje poszczególnych rodzajów publikacji, oparcie rankingu na efektywności, a nie kolejności w rankingach itp. Ta ostatnia uwaga doprowadza znowu do porównywania punktów za osiągnięcia w poszczególnych kategoriach. Moim zdaniem, nie da się wypracować wspólnych zasad, list, definicji, np. pomiędzy naukami humanistycznymi i biologią molekularną, naukami podstawowymi a technicznymi, nastawionymi na wdrożenia. Te sprawy trzeba pozostawić zespołom merytorycznym oceniającym poszczególne dziedziny lub grupy dziedzin.

Uważaliśmy wówczas – po doświadczeniach weryfikacji materiałów złożonych przez jednostki naukowe, stanowiących podstawę wydania oceny parametrycznej za lata 1997−2000 – że jedna z najistotniejszych korekt systemu powinna polegać na tym, by jednostka nie przedkładała sumy swoich publikacji za ostatnie cztery lata, ale tylko ograniczoną ich liczbę. Tę liczbę postanowiliśmy powiązać z liczbą osób zatrudnianych (parametr N) w danym okresie przez ocenianą jednostkę naukową, biorących udział w prowadzonych badaniach naukowych (bez wykładowców i pracowników administracji).

uniwersalny parametr?

Moim zdaniem, trafność postępowania ewaluacyjnego będzie pochodną przyjętej krotności N. Nie można tego uczynić mechanicznie (prof. M. Żylicz pisze o 2N) – tak postępowano dotychczas, gdy nie powiązano „produkcji” naukowej jednostki z liczbą zatrudnianych przez nią badaczy i tak postąpiono teraz, gdy wszystkie dyscypliny naukowe (a dokładniej: jednostki je skupiające) zmuszono do tego, aby w swoich raportach przedkładanych ministerstwu ujęły jedynie (albo aż) 2N publikacji – i to bez względu na to, czy jest to fizyka, gdzie liczą się tylko artykuły w międzynarodowych czasopismach o wysokich IF ujęte w Science Citation Index, czy dyscypliny humanistyczne, w których przede wszystkim liczą się książki publikowane w języku ojczystym, a artykuły ogłaszane w czasopismach międzynarodowych stanowią raczej margines. Są i takie nauki społeczne (psychologia, socjologia), których przedstawiciele znacznie mniej piszą książek aniżeli poloniści, teolodzy czy historycy, ale za to dbają o to, aby publikować w czasopismach ujętych w Social Science Citation Index. Zatem łączenie dyscyplin naukowych z listy humanistycznej i społecznej (np. psychologii z filozofią czy socjologii z historią) w tzw. jednorodne grupy nie ma większego sensu.

Jeżeli przyjmiemy zbyt niską wartość tego parametru, np. 1 x N, to możemy doprowadzić do tego, że bardzo dobre czy nawet dobre jednostki naukowe skupiające fizyków, chemików czy matematyków wypełnią listę publikacji tylko tymi o najwyższej punktacji (teraz 24 pkt.). Zatem skala punktacji nie będzie różnicowała w górnym podzakresie jej wartości. Analogicznie, poloniści, historycy, filozofowie czy teolodzy zdołają zapełnić listę publikacji książkami, których punktacja (6−20 pkt.) przewyższa punktację najlepszych czasopism z ministerialnej listy B (czasopisma polskie – do 6 pkt.). Jeżeli jednak przyjmiemy większą krotność N, np. 3 x N czy 4 x N, to „zmusimy” jednostki naukowe do pokazania także swoich słabszych „produktów” i wywołamy subtelniejsze zróżnicowanie jednostek na skali ocen. Mówiąc inaczej, skala będzie miała większą dyskryminatywność.

W każdym razie wielkość parametru x N powinna być dopasowana do specyfiki jednorodnej grupy dyscyplin naukowych. Taka też była sugestia wspomnianego zespołu. Trudno zrozumieć, dlaczego podjęto decyzję o unifikacji tego parametru i przyjęciu jego stałej wartości 2N dla wszystkich grup dyscyplin. Ubocznym skutkiem podjętej decyzji było to, że w grupie jednostek uznanych (a nie de facto) za humanistyczne na liście kategorii 1 znalazły się przede wszystkim jednostki o profilu literaturoznawczym, historycznym, teologicznym. I tak, pozycje od 1 do 26 (50 proc.) na liście jednostek kategorii 1 zajmują aż 23 (!) jednostki de facto humanistyczne, a jedynie 3 to jednostki o profilu społecznym. Jednym z możliwych wyjaśnień uzyskanego rankingu jest to, że badacze tych problemów znacznie więcej publikują książek niż przedstawiciele dyscyplin społecznych, a punktacja książek (nawet drukowanych w lokalnych wydawnictwach) znacznie przewyższa punktację artykułów naukowych (poza tymi z najwyższego przedziału listy filadelfijskiej).

Jak sądzę, można temu w przyszłości zaradzić przez limitowanie liczby książek, które przedstawia dana jednostka. Należy też rozbić „składankowe” wydziały uczelniane, na których wachlarz dyscyplin naukowych nie odpowiada kryteriom jednorodności przyjętym przez autorów ankiety. Nie może bowiem być tak, że obok słabej pedagogiki na wydziale znajduje się bardzo silna historia, a tak „jednorodny” wydział zaliczony został do grupy humanistycznej (dlaczego nie społecznej?). Nie da się utworzyć jednorodnych grup z jednostek uczelnianych (wydziały), które tworzono niekiedy w sposób bardzo odbiegający od przestrzegania jakichkolwiek kryteriów naukoznawczych. Niech tedy literaturoznawcy „ścigają się” z literaturoznawcami, teolodzy z teologami, a psycholodzy z psychologami. To zaś, czy psychologia będzie zaliczona do grupy humanistycznej, czy do społecznej, nie jest bez znaczenia dla jej finalnej oceny. W przyjętym podziale wag (suma = 10) grupa humanistyczna uzyskuje za wyniki działalności naukowej 7 pkt., a grupa społeczna 6 pkt. Z kolei za zastosowania praktyczne grupa humanistyczna otrzymuje 1 pkt, a grupa społeczna 2 pkt.

Gdy małe jest piękne

Uważna lektura listy jednostek kategorii 1 z grupy humanistycznej prowadzi do wniosku, że zadziwiająco dużo znalazło się na niej – i to w górnej części – jednostek małych, kilkunasto−, a nawet kilkuosobowych. Małej jednostce, zwłaszcza gdy zatrudnia 3−5 osób dużo i wysoko punktowo publikujących, łatwiej uzyskać wysokie wartości wskaźnika efektywności II. Zrównanie dużych jednostek (wielodyscyplinowe wydziały dużych uczelni) z jednostkami małymi i bardzo małymi prowadzi do zniekształcenia oceny.

Z tym problemem zetknął się Zespół Nauk Humanistycznych H−01 KBN przy przeprowadzaniu kategoryzacji jednostek naukowych za okres 1997−2000. Aby te jednostki nie zdominowały listy jednostek kategorii 1 (a przypomnijmy, że była ona ostro limitowana), wprowadzona została kategoria „M” (małe jednostki – o N < 25). Na sporządzonej w tym roku liście znalazły się jednostki, których N < 25. Dlaczego zrezygnowano z kategorii „M”?

Ocena samooceny

Istotnym novum przeprowadzonej w 2006 roku oceny jednostek naukowych było wprowadzenie samooceny poziomu publikacji. W pkt. 6, Monografie naukowe, podręczniki akademickie, jednostka naukowa sama decydowała, kierując się własnymi, wewnętrznymi zasadami, ile punktów przypisze danej publikacji. I tak: za monografię (nie zdefiniowano operacyjnie terminu monografia!) lub podręcznik akademicki w języku angielskim – 12−24 pkt., za monografię w języku polskim lub w innym nie angielskim – 6−20 pkt., za rozdział w monografii lub podręczniku akademickim w języku angielskim – do 12 pkt., za rozdział w monografii lub podręczniku akademickim w języku polskim lub innym nie angielskim – do 6 pkt., za redakcję monografii lub podręcznika akademickiego – 5−10 pkt.

Zauważmy, że najwięcej punktów można było uzyskać za monografię (lub podręcznik) w języku angielskim. W kategorii rozdziałów także najwięcej punktów można było uzyskać, gdy był on napisany w tym języku. Zatem nieważne było to, czy daną pracę wydało renomowane wydawnictwo o zasięgu światowym (np. w psychologii dobrą renomą cieszy się amerykański wydawca Lawrence Erlbaum), czy też instytutowa maleńka manufaktura wydawnicza. Ważne, że językiem publikacji był angielski. Rozdział ulokowany w bardzo dobrej pracy zbiorowej wydanej po niemiecku i przez uznanego w świecie wydawcę mógł uzyskać maksymalnie 6 pkt. (tyle samo, co rozdział opublikowany przez jakiegokolwiek wydawcę polskiego), a rozdział wydany przez znanego jedynie lokalnie wydawcę polskiego, ale napisany w języku angielskim, mógł uzyskać aż 12 pkt. Dla historyków sztuki (grupa: nauki humanistyczne) równie ważnym (a czasem ważniejszym) językiem publikacji jest też włoski, francuski czy niemiecki. Z kolei dla psychologów (grupa: nauki humanistyczne!) jest to rzeczywiście angielski. Jednak należy odróżniać – bo psycholodzy dobrze to różnicują – pracę napisaną w języku angielskim i wydaną w Polsce od pracy wydanej przez światowego wydawcę. Ankieta powinna odzwierciedlać to rozróżnienie; zdecydowanie wyżej powinna być punktowana praca wydana poza Polską od pracy wydanej w kraju.

Jednak tak się nie stało. Dlaczego? Autor rozporządzenia zdecydował się na ryzykowny krok. Kierownik każdej jednostki naukowej – kierując się wewnętrznymi kryteriami, których nie był zobowiązany ujawniać, a więc, które nie miały charakteru intersubiektywnego – sam oceniał poziom naukowy każdej wyszczególnionej w pkt. 6 ankiety „2N” publikacji swoich pracowników. Przyjęto wysoce idealizujące (naiwne?) założenie, iż wszyscy kierownicy jednostek zaliczonych do „jednorodnej” grupy dyscyplin naukowych będą stosować te same kryteria oceny i będą się nimi posługiwać obiektywnie. Mówiąc inaczej, wystąpią w roli sędziów kompetentnych. Nie powinno tedy dziwić, iż prawie w 100 proc. oceny były najwyższe. Po prostu kierownicy jednostek naukowych uznali, iż w ramach ograniczeń podyktowanych wielkością parametru 2N wybrali swoje najlepsze prace. Przecież można to było przewidzieć.

Pytanie, czy były to rzeczywiście prace najlepsze, zasługujące na przydzielenie im najwyższej punktacji? Niestety, w ramach zaproponowanego systemu ewaluacji, musi ono pozostać bez odpowiedzi. Jednakże zamiast uznać swoją porażkę, postanowiono ratować system poprzez wprowadzenie... oceny samooceny. To nic, że nie przewidziało jej rozporządzenie ministra. Ponieważ zespół roboczy ZR 1 nie byłby w stanie odnieść się do publikacji kilkunastu różnych dyscyplin naukowych – od empirycznych, jak psychologia, do teoretycznych, jak filozofia czy teologia – szukano pomocy u ekspertów zewnętrznych. Jednakże i oni nie byli w stanie – w ramach swoich rzeczywistych, a nie postulowanych kompetencji – sprostać wyzwaniu. Po pierwsze, trudno – nawet w ramach tej samej dyscypliny – dokonać oceny poziomu reprezentowanego przez daną pracę. Po drugie, jak to zrobić, jeżeli ma się wgląd tylko w zapis bibliograficzny książki czy rozdziału? Praca z ekspertami rzeczywistym systemem peer review miałaby swój sens, gdyby ministerstwo zdecydowało się na taki radykalny ruch – każda jednostka pokazuje tylko X (powiedzmy, że 10) swoich najlepszych prac. Wówczas można je rozesłać do kompetentnych recenzentów, którzy wypełnialiby standardową ankietę oceny publikacji.

Jeśli zaś chodzi o to posunięcie „ratunkowe”, to mam jeszcze kilka pytań odnoszących się do samych ekspertów, metodologii ich pracy oraz trybu ich powołania. Po pierwsze, jaki jest status ekspertów, którzy dokonują oceny samooceny publikacji? Rozporządzenie nic o nich nie mówi, a zatem jakie jest ich prawne umocowanie? Toż to swoista partyzantka! Po drugie, niepokoi mnie brak transparentności reguł pracy zespołów ekspertów. Dlaczego środowisko nic na ten temat nie wiedziało i nadal nie wie? Po trzecie, dlaczego ministerstwo nie opublikowało w Internecie ich listy, ze wskazaniem obszarów dokonywanych przez nich ocen? Po czwarte, kto uznał ich kompetencje? Czy ich wysoki status odpowiada temu, który zajmują w swoich środowiskach akademickich? Po piąte, jak było możliwe repunktowanie monografii oraz rozdziałów w monografiach na podstawie znajomości li tylko opisu bibliograficznego? I po szóste, czy można być specjalistą w wielu dyscyplinach naukowych?

Proponuję przywrócenie stosowanej przez dawny zespół H−01 stałej punktacji za książki i rozdziały albo rozsyłanie wskazanych przez jednostkę prac (element samooceny) do zewnętrznych recenzentów (ocena systemem peer review).

humaniści w prestiżowych czasopismach

Pkt 5. ankiety odnosi się do artykułów naukowych. W niektórych dyscyplinach, jak: matematyka, fizyka, chemia, to dzięki tym publikacjom przede wszystkim jednostka naukowa zdobywa najwięcej punktów i wysoką kategorię. W dyscyplinach de facto humanistycznych nadal dominują monografie i rozdziały w pracach zbiorowych. Jednak są takie dyscypliny humanistyczne i – przede wszystkim – społeczne, w których udział (w ogólnej sumie punktów) artykułów punktowanych w tej części ankiety ma zdecydowanie duży udział. Jeśli chodzi o punktacje artykułów naukowych, to najwyżej cenione są publikowane w czasopismach z listy filadelfijskiej, a dokładniej w tych z Master Journal List, ogłaszanej w Internecie przez filadelfijski Institute of Scientific Information, które przebiły się na łamy jednej z trzech baz: Science Citation Index, Social Science Citation Index oraz Arts & Humanities Citation Index. Nie wchodząc w szczegóły dotyczące kształtowania się MJL, zauważmy tylko, że zastosowane przez autorów ankiety zróżnicowanie punktów (24−20−15−10) za publikacje w czasopiśmie z MJL, które znalazło się w jednej z trzech baz, odpowiada wysokości IF danego czasopisma.

I można by to zaakceptować, gdyby nie jedna kwestia. Część autorów – dodajmy: polskich! – z tradycyjnie pojmowanych nauk humanistycznych, mimo że publikuje w czasopismach o zasięgu światowym (np. filozofowie w prestiżowych „Mind” i „Erkenntnis”), to jednak „skazana” jest tylko na 4−6 pkt. Dlaczego? Wytłumaczenie tego zdumiewającego faktu jest bardzo i wstydliwie proste – ministerstwo nie zakupiło trzeciej bazy – A&HCI. Zatem ci badacze, którzy de facto publikują w czasopismach z osławionej listy filadelfijskiej, nie są przez system parametryzacji widziani. Tylko tyle i aż tyle. Prowadzone przez różnych „naukometrów” i publicystów analizy stanu polskiej nauki wykazują, że humaniści nie drukują (albo w nikłym stopniu) w liczących się w świecie czasopismach naukowych. Oczywiście jest to ocena trafna, gdy będziemy analizować dorobek polonistów, ale nie jest już ona słuszna (albo zaniżona) w odniesieniu do filozofów, historyków sztuki, językoznawców, archeologów.

Ponieważ polskie czasopisma naukowe z obszaru nauk humanistycznych i społecznych nie podlegają ocenie bibliometrycznej prowadzonej wg reguł stosowanych przez ISI (brak IF), powstaje problem przypisania odpowiedniej punktacji artykułom w nich zamieszczanym. Dotychczasowa, ale – co muszę przyznać – dość ułomna praktyka, stosowana w odniesieniu do czasopism humanistycznych i społecznych przez zespoły H−01 i H−02 dawnego KBN, polegała na układaniu list A i B (o odpowiednio zróżnicowanej punktacji – 6 i 3 pkt.) w porozumieniu z komitetami naukowymi PAN i innymi zespołami eksperckimi. Mimo początkowego zignorowania tych list przez ministerstwo, zostały one jednak, po licznych protestach, tymczasowo przywrócone przez ministra. Obowiązywały przy ustalaniu kategorii jednostki naukowej – wbrew rozporządzeniu ministra, które nic o nich nie mówi. Zostały one wprowadzone przypisem do oficjalnej listy czasopism obejmującej: listę A – „czasopisma z listy filadelfijskiego instytutu informacji naukowej” – 24−10 pkt. i listę B – „pozostałe czasopisma zagraniczne lub czasopisma polskie” – 6−5−4 pkt. oraz lokalne czasopisma krajowe – 1 pkt. Na tej dodatkowej, ze wspomnianego przypisu, liście znalazły się czasopisma z dawnej KBN−owskiej listy „B”, punktowane jako 3 pkt. W ten sposób doraźnie załatano dziurę w rozporządzeniu. Wiem jednak – i to dobra wiadomość – że odpowiedni zespół ekspertów pracuje w ministerstwie nad rozwiązaniem problemu list polskich czasopism.

Uwzględnianie awansów naukowych

Jednym z trzech – obok wyników działalności naukowej i zastosowań praktycznych wymiarów oceny parametrycznej jednostek naukowych – był wymiar kadry. Był on też poprzednio uwzględniany, ale teraz go okaleczono. Dlaczego tak uważam? W punkcie 1. ankiety ocenia się tylko awanse naukowe własnych pracowników oraz uprawnienia jednostki do nadawania stopnia doktora (5 pkt. za każde uprawnienie) i stopnia doktora habilitowanego (10 pkt. za każde uprawnienie). Dlaczego zrezygnowano z premiowania jednostek za przeprowadzanie doktoratów i habilitacji osób spoza ich składu? Teraz słyszę głosy, że nie warto się trudzić i przeprowadzać przewodów związanych ze stopniami naukowymi i tytułami profesora osobom spoza jednostki posiadającej odpowiednie uprawnienia. Konsekwencje są łatwe do przewidzenia. Osobom pracującym w instytutach i wydziałach, które nie mają uprawnień do doktoryzowania i habilitowania, będzie znacznie trudniej niż dotychczas uzyskiwać awanse naukowe. Jednostki, które mogłyby je przeprowadzać, nie są do tego zachęcane.

Moim zdaniem, zbyt dużo punktów przypisano za stopień doktora (8 pkt. to o 2 więcej niż bardzo dobry artykuł krajowy z ministerialnej listy A). Uważam, że należy obniżyć liczbę do poziomu 3−2 pkt.

Jeżeli zachować wymiar kadry, to należy w części dotyczącej uprawnień brać pod uwagę także zewnętrzną aktywność jednostki. Można oczywiście zróżnicować punktację, jak to było dotychczas, za własne i zewnętrzne awanse naukowe.

Przedstawione uwagi krytyczne nie wyczerpują całej ich listy. Są to tylko te, które wydawały mi się najistotniejsze. Uważam, że nie należy „na siłę” dokonywać doraźnych napraw systemu, który jest niedobry. Najlepszym rozwiązaniem będzie przygotowanie projektu nowego rozporządzenia i poddanie go pod rzeczywistą, a nie jedynie pozorowaną, dyskusję. Transparentność i intersubiektywność reguł parametryzacji jednostek naukowych powinny cechować to nowe rozporządzenie i inspirowaną nim praktykę.

Najnowszy numere-wydanie

Błąd 404 - Strona o podanym adresie nie istnieje

   Wróć na stronę główną