Sprawy nauki

20 Kwietnia

Źródło: archiwum

Prof. Błażej Skoczeń: Środowisko naukowe broni slotów

Jest niezwykle wartościowe, że potrafimy jednym zestawem algorytmów i w tych samych ramach prawnych oceniać wszystkie dyscypliny. Ponieważ w KEN byli reprezentanci wszystkich dziedzin i wielu różnych dyscyplin, uczyliśmy się od siebie nawzajem ich specyfiki. Ocena wspólna ma ogromne zalety – mówi w wywiadzie dla FA prof. Błażej Skoczeń, przewodniczący Komisji Ewaluacji Nauki w latach 2019–2023. 

O zakończonej właśnie ocenie jakości działalności naukowej z prof. Błażejem Skoczeniem rozmawia Piotr Kieraciński.

Co nam pokazała ewaluacja dorobku naukowego w latach 2017–2021?

Dzisiaj (31 marca 2023 r. – red.) wypada ostatni dzień działalności Komisji Ewaluacji Nauki, której pracami kieruję. Mój wniosek jest taki, że Polska ma dobry, sprawnie funkcjonujący system ewaluacji, który jest tani i przynosi oczekiwane efekty, tzn. potrafimy oceniać dyscypliny nauki w podmiotach w taki sposób, że na tej podstawie można przyznać instytucjom naukowym uprawnienia do nadawania stopni naukowych oraz środki finansowe. A temu ewaluacja służy.

Chodziło mi raczej o to, jaki obraz polskiej nauki wyłania się z tej ewaluacji? I czy pokazuje ona naszą naukę w prawdzie?

To inne pytanie. Polski system ewaluacji pokazuje naukę w prawdzie, jeśli weźmie się pod uwagę wyniki, które publikuje Komisja Ewaluacji Nauki. A ja tylko do tych wyników mogę się odnieść, bo znam ich podstawy. Dokonaliśmy bardzo szczegółowej oceny we wszystkich kryteriach. Jest ona obiektywna, bo oparta na danych, które jednostki raportowały do systemu POL-on i podpisem kierownika jednostki potwierdziły, że są one prawidłowe. Stosujemy do nich właściwe miary instytucjonalne, czyli np. słynny ułamek, który zawiera w liczniku sumę punktów, a w mianowniku liczbę N. Obraz, który się wyłania z ewaluacji, jest dobry. Uczestniczyłem w dwóch poprzednich ewaluacjach i na podstawie ich porównania widzę dwie rzeczy. Po pierwsze, zdecydowany przyrost osiągnięć i kolosalną mobilizację wokół ewaluacji, która odcisnęła pozytywne piętno na podmiotach naukowych, m.in. przesunęła publikacje z lokalnych czasopism do przestrzeni międzynarodowej. Wyraźnie widać, jak niemal liniowo rośnie liczba publikacji w bazie Scopus. Stąd wynika duża liczba dobrych kategorii. Poza tym, że obraz jest pozytywny, to jest też dziedzinowo zróżnicowany. Są dyscypliny, które uzyskały znakomite rezultaty, ale są i słabsze. Widać mocny wpływ pozycji międzynarodowej polskich dyscyplin na ich wyniki ewaluacyjne, gdyż w budowie wartości referencyjnych bierze się ją pod uwagę. Pozycję Polski w dyscyplinach nauki na arenie międzynarodowej mierzymy za pomocą bazy Scimago Journal & Country Rank. Zawiera ona dyscypliny niekoniecznie zgodne z naszymi. Zatem przeanalizowaliśmy nasze dyscypliny i sprawdziliśmy pozycję Polski w poszczególnych subdyscyplinach. Pozycja międzynarodowa dyscyplin ma też kluczowe znaczenie w ocenie do kategorii A+. Przenika ona całość procesu ewaluacji i kategoryzacji. Ocenialiśmy niemal milion osiągnięć naukowych, w tym około 708 tys. publikacji. To dlatego stosujemy zasadę dziedziczenia prestiżu…

Która jest bardzo krytykowana…

I zgodzę się z tą krytyką w odniesieniu do wydawnictw, ale już nie do czasopism. Przy tak dużej liczbie publikacji musimy stosować zarówno zasadę dziedziczenia prestiżu, jak i zasadę oceny instytucjonalnej. Inaczej nie bylibyśmy w stanie ocenić zgłoszonego dorobku w okresie od połowy stycznia do połowy czerwca. Podjęliśmy ponad 63 tysiące decyzji uwidocznionych w Systemie Ewaluacji Dorobku Naukowego. Bardzo dużą liczbę decyzji generuje ocena osiągnięć artystycznych, która jest wyłącznie ekspercka. Chciałbym w tym miejscu przytoczyć trzy zasady, które są kluczowe w ewaluacji. Pierwszą jest zasada równości – każdą dyscyplinę traktujemy tak samo. Druga to zasada umowy społecznej, która polega na tym, że KEN umawia się ze środowiskiem naukowym, że wykona ocenę à la lettre, zgodnie z zasadami wcześniej wspólnie przedyskutowanymi. KEN to nie była grupa 31 osób odizolowanych, które nie miały kontaktu ze światem – działaliśmy w stałej relacji z naszą nauką, jej instytucjami. Trzecia to zasada oceny instytucjonalnej, do której stosujemy opracowane wraz ze środowiskiem miary instytucjonalne. Mamy 858 wyszkolonych ekspertów. Po raz pierwszy w ewaluacji pojawił się korpus ekspertów, w tym prawie 50 zagranicznych.

Były jednak zastrzeżenia do ich pracy.

Eksperci zagraniczni byli przyzwyczajeni do oceniania według systemów, w których dotychczas pracowali, więc pojawiały się drobne uwagi do stylu oceny, ale nie do ich kompetencji. Bardzo ciekawa jest ewolucja odsetka kategorii A+ (dane KEN). W 2013 było to 3,8%, w 2017 – 6,3%, a obecnie 5,7% (po ocenie odwołań 6,6%).

Ostatecznie jest on jeszcze wyższy i wynosi ponad 10%.

Będę komentował tylko wyniki uzyskane przez KEN, bo wiem, skąd się wzięły. Zatem kategoria A+ – w naszym ujęciu – pozostała elitarna. Druga sprawa charakterystyczna to stosunkowo mały odsetek dyscyplin – 28% przed odwołaniami – w kategorii A, czyli nie było inflacji tej kategorii. Natomiast kategoria B+ praktycznie zastąpiła dawną B. Nie sprawdziło się założenie, że niezwykle pojemna stara kategoria B zostanie podzielona na dwie mniej więcej równe części. Suma kategorii B i C to nieco ponad 15% (przed odwołaniami), co stanowi wynik wyższy niż kategoria C w roku 2017. Dla nas conditio sine qua non, aby rekomendować podmiot do kategorii A+, było przyznanie dwóch ocen pozytywnych przez ekspertów. Wśród najlepszych dyscyplin dominowały te uprawiane na uniwersytetach i w instytutach PAN.

Nie dziwi mnie ostra walka o kategorie, czyli spory odsetek odwołań, bowiem wzrosła ranga wyników oceny. Decyduje ona o znacznie większej liczbie spraw niż poprzednio, zwłaszcza o uprawnieniach do nadawania stopni naukowych. Do kategorii A+ aplikowało w odwołaniach 65 podmiotów, a dodatkowe 20 pojawiło się w polu oceny A+, uzyskały bowiem w wyniku odwołania kategorię A oraz miały wysoki wynik w pierwszym kryterium. Zatem w kontekście kategorii A+ ocenialiśmy w odwołaniach 85 podmiotów. Od razu dodam, że z tej dodatkowej dwudziestki tylko jedną dyscyplinę rekomendowaliśmy do A+, a 19 podmiotów nie odniosło sukcesu, bowiem oceny ekspertów nie były jednoznacznie pozytywne. Spośród 583 wniosków Komisja rekomendowała zmiany w 100 dyscyplinach, a zatem 17,2%, przy czym w 5 przypadkach nie chodziło o podniesienie kategorii. Wśród tych zmian mamy 60 zmian z kategorii B+ do A – tym podmiotom chodziło o prestiż. W 28 przypadkach, w których dyscypliny przeszły z B do B+, chodziło nie tyle o prestiż, co o uprawnienia. Było też 5 przypadków, w których po ponownym rozpatrzeniu sprawy uzyskiwana kategoria była niższa niż po pierwszym etapie, przy czym w 3 sytuacjach chodziło o utratę kategorii B+, a w dwóch o spadek z kategorii B do C. Podmioty nie utraciły jednak raz nabytej kategorii, co wynika z zapisów kodeksu postępowania administracyjnego. W stosunku do tych podmiotów notujemy swoisty kredyt zaufania. Obraz wcale nie jest zatem jednoznaczny. Fakt, że na zmianę zasługiwało tylko około 17% kategorii świadczy o tym, iż ocena w pierwszym etapie została przez KEN wykonana poprawnie. Ciekawy jest wynik odwołań od kategorii A+. Otóż KEN z 85 podmiotów promuje tylko 10, czyli 11,8%.

Komentarza wymaga też kwestia liczby N.

Widać wyraźnie, że podmioty, które miały małą liczbę N, lokowały się raczej w niższych kategoriach, a podmioty o dużej liczbie N w wyższych. Statystyki ewaluacyjne pokazują, że im wyższa liczba N, tym na ogół wyższy wynik. Dyscypliny, które miały liczby N powyżej 100, lokują się zwykle w kategoriach B+, A i A+. Popularny pogląd, że podmioty o niskiej liczbie N radzą sobie lepiej w ewaluacji, nie znajduje potwierdzenia w faktach. Statystycznie wygrywają silne podmioty, mocne środowiska naukowe.

Co pan sądzi na temat optymalizacji liczby N?

Wielokrotnie pytano mnie, czy należy liczbę N traktować jako parametr do uzyskania wysokiej efektywności naukowej. Otóż nie. Liczba N nie jest parametrem, który można regulować w celu sztucznego budowania wysokiej efektywności naukowej. Liczba N wynika z wewnętrznej struktury podmiotu, który powinien ją klarownie uporządkować. To jednak nie oznacza manipulacji, a właśnie porządkowanie. Pracownicy, którzy zajmują się głównie dydaktyką i nie zamierzają rozwijać kariery badawczej, powinni zajmować stanowiska dydaktyczne i nie uczestniczyć w ewaluacji osiągnięć naukowych. Natomiast ci, którzy prowadzą badania, mają prawo zaliczyć swoje wyniki do osiągnięć reprezentowanej dyscypliny. Porządkowanie struktury zatrudnienia nie może oznaczać manipulowania liczbą N czy wyłączania dorobku części naukowców poza osiągnięcia ewaluacyjne. Protestuję przeciwko sytuacji, gdy na rok przed ewaluacją zaczyna się manipulować liczbą N w celu uzyskania wyższego wyniku. Podobnie niektóre podmioty kreowały nowe, niezbyt liczne kadrowo dyscypliny, w których spodziewały się sukcesu ewaluacyjnego. Myślę jednak, że to były nieliczne przypadki.

Co z liczbami N poniżej 12? Jest 66 takich podmiotów.

To były podmioty, które stopniowo budowały siłę naukową, by na koniec – na dzień 31 grudnia 2021 roku – osiągnąć wymaganą liczbę N=12. Natomiast, znakomita większość podmiotów o liczbie N mniejszej niż 20 lokowała się jednak w kategoriach B+, B i C.

Ale ponad 30% z nich znalazło się w kategorii A i A+.

To prawda, ale większość uzyskała słabsze wyniki, lokując się w kategoriach B+, B i C. Natomiast w grupie dyscyplin o liczbie N powyżej 100 praktycznie nie ma kategorii B i C.

Jednak można zbudować małą i efektywną z punktu widzenia ewaluacji dyscyplinę, i niektórzy tak zrobili.

Zapewne są takie przypadki.

W niektórych dyscyplinach na uczelniach w N jest poniżej 40% zatrudnionych wykładowców.

Zgadza się. Należy się zastanowić, czy uczelnie, w których więcej niż połowa wykładowców jest poza grupą pracowników badawczych lub badawczo-dydaktycznych, mają wciąż charakter akademicki.

Jaka jest pana opinia?

Wyznaczyłbym granicę 50%. Gdy powyżej połowy pracowników zajmuje się wyłącznie kształceniem (dydaktyką), i zapewne mają też przewagę w organach kolegialnych, to należy się zastanowić, czy taki podmiot nadal powinien być zaliczany do grupy uczelni akademickich podlegających ewaluacji.

Ten problem, czyli możliwość zaliczania pracowników do grupy badawczych, badawczo-dydaktycznych lub dydaktycznych, pojawił się wraz z ustawą Prawo o szkolnictwie wyższym i nauce.

Tak, ale niewiele osób pamięta, że do ewaluacji dyscyplin doszliśmy drogą ewolucyjną. W roku 2017 pojawiła się kategoria niejednorodnych jednostek naukowych. Sądziliśmy, że to będą wydziały, które mają kilka różnych dyscyplin. Okazało się, że jeśli nie wszystkie, to zdecydowana większość jednostek miała taki charakter. Przeszliśmy zatem na poziom dziedzinowy. I znów się okazało, że znakomita większość podmiotów prowadzi badania co najmniej w dwóch dziedzinach. Skończyło się więc na tym, że za niejednorodne uznaliśmy jednostki, w których uprawiano badania w dwóch lub więcej obszarach nauki. Powstało pytanie, czy prawidłowo oceniamy te podmioty. Zdaliśmy sobie sprawę z faktu, że aby ewaluować względnie porównywalne osiągnięcia, np. pod kątem przedmiotu badań czy metodologii, najpewniejsze będzie ocenianie dyscyplin. Jednak okazało się, że pewne dyscypliny są licznie reprezentowane na uczelniach, na różnych wydziałach. Dotyczyło to choćby inżynierii materiałowej, informatyki czy psychologii. Faktycznie ocenialiśmy dotychczas jednostki organizacyjne uczelni, a nie względnie jednorodne grupy naukowe. Doszliśmy zatem do wniosku, że należy oceniać poszczególne dyscypliny na uczelniach, w instytutach PAN czy instytutach badawczych.

Myślę, że zgoda na ocenę dyscyplin, a nie jednostek, była wówczas powszechna.

Tak. Znacznie większej dyskusji i krytyce podlegała klasyfikacja dyscyplin, czyli ich definicje w nowym ujęciu.

W tej ewaluacji nie wyodrębniliście nauk humanistycznych i społecznych od pozostałych.

Uważam osobną ocenę za niedobre rozwiązanie. Jest niezwykle wartościowe, że potrafimy jednym zestawem algorytmów i w tych samych ramach prawnych oceniać wszystkie dyscypliny. Ponieważ w KEN byli reprezentanci wszystkich dziedzin i wielu różnych dyscyplin, uczyliśmy się od siebie nawzajem ich specyfiki. Ocena wspólna ma ogromne zalety. Odseparowanie humanistyki od nauk przyrodniczych w ewaluacji sprawiłoby, że powstałyby dwa światy, które nie przenikałyby się wzajemnie. Co ciekawe i ważne, środowisko akademickie uznało, że ewaluacja w obecnej formie jest poprawna, przy różnych szczegółowych zastrzeżeniach, które znalazły wyraz w naszych propozycjach korekty kolejnej edycji. Zauważmy, że wyniki obecnej ewaluacji – tak, jak je przedstawiła KEN – są względnie zbliżone do poprzednich. Ten rozkład kategorii jest bardzo zrównoważony i zbliżony do wyników z poprzednich ocen, zwłaszcza z 2017 roku. Po odwołaniach zmalała liczba dyscyplin w najniższych kategoriach: w B mamy 10,2%, a w C – 2,8%, czyli sumarycznie 13% (dane KEN). To nieznacznie więcej niż w dawniej w kategorii C.

Jednak wówczas naturalnie wyszedł wyższy odsetek – o ile pamiętam ok. 20% – podmiotów w kategorii C i nastąpiła interwencja ministra nauki.

Tak. Minister uznał, że relatywnie wysoki odsetek słabych podmiotów w naukach humanistycznych i społecznych wynikał ze sposobu oceny i nie można było odstawić na boczny tor tak dużej części polskiej nauki. W konsekwencji dyskusji wokół tej kwestii wprowadziliśmy w obecnej ewaluacji premie dla nauk humanistycznych i społecznych. Np. punktacja monografii jest o połowę wyższa, a w drugim kryterium kwota środków pozyskanych w projektach badawczych była dwukrotnie niższa niż w innych dziedzinach, aby uzyskać taką samą liczbę punktów. Pamiętajmy, że granty w naukach humanistycznych i społecznych są na ogół znacznie niższe niż w innych dziedzinach. Takich premii jest w systemie więcej. Np. w polu 3N w dziedzinach HS można było zmieścić 20% monografii, podczas gdy w naukach inżynieryjno-technicznych lub ścisłych było to jedynie 5%. Dzięki temu mogliśmy wszystkie dyscypliny oceniać w tym samym systemie.

Różne były też wagi poszczególnych kryteriów.

Oczywiście. To ostatecznie działało pozytywnie na całą ocenę. Warto także zwrócić uwagę na dość szeroki rozkład ocen w poszczególnych dyscyplinach nauk społecznych. Wynikał on m.in. z relatywnie szerokiego spektrum pozycji międzynarodowej tych dyscyplin.

A ja się zastanawiam, czyśmy w samych założeniach nie wykluczyli elity elit? Włączyliśmy do ewaluacji sloty, żeby odciąć wpływ dorobku najwybitniejszych uczonych i wyszedł nam egalitaryzm. I wskazuję wyniki końcowe, czyli decyzje ministra nauki.

To ma swoje uzasadnienie w tym, jaką rolę przypisaliśmy ewaluacji. Jeżeli na jej podstawie chcemy przyznawać uprawnienia do nadawania stopni naukowych, nie może się to opierać wyłącznie na osiągnięciach kilku wybitnych postaci, ale raczej całego środowiska. Sloty miały więc określoną rolę związaną z celami ewaluacji. Liderzy bywają – mówiąc językiem nauki – metastabilni: lider jest, a potem przechodzi do innego ośrodka i znika z pola widzenia. Nie możemy więc opierać uprawnień wyłącznie na pozycji liderów. Tego rozumowania nie podważałbym nadmiernie, choć chcielibyśmy w tym właśnie miejscu nieco zmodyfikować ewaluację w przyszłości, bardziej docenić dorobek osobowości naukowych. W tej chwili pewna grupa podmiotów, które uzyskały uprawnienia akademickie, nie będzie mogła ich skonsumować, bo nie mają z kogo stworzyć choćby komisji habilitacyjnych. Wobec tego stawiamy postulat, iż aby uzyskać uprawnienia, podmiot – oprócz odpowiedniej kategorii – powinien spełniać minimum kadrowe: co najmniej sześciu doktorów habilitowanych, w tym co najmniej dwóch profesorów tytularnych.

Komisja Ewaluacji Nauki pierwszej kadencji nie zakończyła swojej pracy na ewaluacji, ale została poproszona o przedstawienie propozycji korekt obecnie obowiązujących reguł oceny.

Przedstawiamy je w dwunastu punktach.

Mamy oczywiście problem z tym, że one dotyczą okresu oceny, który już trwa, chociaż we wszystkich poprzednich ewaluacjach ich zasady poznawaliśmy jeszcze później.

Myślę, że gdyby te ostateczne zasady pojawiły się w najbliższych miesiącach, bylibyśmy w niezłej sytuacji. Postulujemy na przykład uproszczoną ocenę czasopism naukowych…

Przepraszam, że przerwę, jaki wpływ na wyniki ewaluacji miały zmiany na liście czasopism – dopisanie tytułów, zmiana punktacji – dokonane przez ministra nauki?

Te zmiany zamknęły się w granicach około 5% czasopism, a zatem nie były tak znaczące, jak się powszechnie sądzi. Oczywiście ich wpływ w pewnych dyscyplinach był wyższy, w innych niemal żaden. Nie przesądzały jednak o kompleksowych wynikach oceny dyscyplin. Protestowaliśmy przeciwko tym zmianom, a zwłaszcza sposobowi ich przeprowadzania.

Wracając do postulatów, w tej chwili ocena czasopism jest oparta na sześciu wskaźnikach, z których trzy pobierane są z bazy Scopus, a trzy z Web of Science. Zespół dyscyplinowy decyduje, które dwa wskaźniki bierzemy pod uwagę w danej dyscyplinie. Wydaje się, że wystarczy przyjąć po jednym wskaźniku z każdej z tych baz i na nich oprzeć ocenę czasopism. Te wskaźniki powinna wskazać Komisja i powinny one znaleźć się w rozporządzeniu. Ewentualnie, jeśli zespół dyscyplinowy uzna, że owe dwa wskaźniki z jakichś powodów nie są dla danej dyscypliny adekwatne, może wnioskować o zmianę wskaźnika. Ta możliwość także powinna znaleźć się w rozporządzeniu. Bardzo ważne jest określenie dyscypliny wiodącej czasopisma i przypisanie jej odpowiedniej wagi.

Kwestionuje się potrzebę przypisywania czasopism do dyscyplin.

Ale z wielu względów jest to wygodne. Do tej pory ocena czasopisma była średnią z propozycji dyscyplin, które były przypisane do danego czasopisma. To budziło liczne wątpliwości. Przed ewaluacją musieliśmy interweniować w przypadku z górą 3 tysięcy czasopism, gdy ich ocena była skrajnie odmienna w różnych dyscyplinach. Chcielibyśmy, aby dyscyplina wiodąca decydowała w 75% o ocenie czasopisma. Okazuje się, że wówczas sytuacja się wyjaśnia, a punktacja jest adekwatna.

Kolejna propozycja ma na celu pokazanie dorobku naukowych liderów. Sloty jednak pozostają…

A całość wygląda na jeszcze bardziej skomplikowaną…

Ale nie jest, gdyż cała operacja jest wykonywana automatycznie przez systemy informatyczne. Generalnie oceniamy wyniki naukowe na podstawie pola 3N – np. jeśli mamy stu badaczy, to pole do zagospodarowania wynosi 300 pozycji. To się dokonuje automatycznie – SEDN pobiera dane z POL-onu. W obecnej ewaluacji wypełniamy pole 3N danymi ze slotów. Nasza propozycja polega na tym, aby w kolejnej ewaluacji do tego pola wprowadzić najpierw wysoko punktowane osiągnięcia liderów naukowych, czyli publikacje za 200 i 140 punktów – to się dzieje automatycznie. Nota bene są głosy, aby były to wyłącznie publikacje za 200 punktów. Resztę tego pola dopełniamy ze slotów. Ku mojemu zaskoczeniu środowisko naukowe broni slotów, co wskazuje na fakt, iż zostały one zaakceptowane.

Nasza kolejna propozycja przypomina, że osiągnięcie naukowe należy w takim samym stopniu do autora, jak do instytucji, w której jest on zatrudniony i gdzie to osiągnięcie powstało. Należy znieść wymóg upoważniania instytucji przez autora do wykazania dorobku w ewaluacji. Instytucja ma prawo do dorobku zatrudnionego u siebie autora. To po prostu uproszczenie pewnego elementu procedury ewaluacyjnej. Oczywiście w pewnych szczególnych przypadkach autor może określone osiągnięcie przypisać innej instytucji.

Kolejny postulat ma na celu uporządkowanie kwestii liczby N. Otóż należy przyjąć N=12 jako średnią z 4 lat objętych ewaluacją. Jeśli średnia liczba N będzie niższa, to nie powinno się obejmować ewaluacją danej dyscypliny, bo to nie jest stabilny zespół naukowy. Do tego punktu dodajemy oczywiście wymóg minimum kadrowego.

Za bardzo zaufaliśmy samej sile naukowej.

Tak. Tymczasem nie wystarczy kilka dobrych publikacji, żeby stworzyć stabilne środowisko naukowe. Chcielibyśmy też, aby nie można było nadmiernie zmieniać liczby N w celu poprawienia efektywności naukowej tuż przed ewaluacją. Ona musi być w miarę stabilna, a fluktuacje powinny mieścić się w okresie ewaluacji w rozsądnych granicach, np. 10%. Może wystarczyłoby ściśle związać liczbę N ze środkami finansowymi przyznawanymi jednostce na podstawie wyników ewaluacji?

Mamy także propozycję, aby wyznaczać wartości referencyjne osobno dla instytutów PAN i dla uczelni. Jednak co do tego postulatu nie ma powszechnej zgody. Chciałbym podkreślić, że pochodzi on nie tylko ze środowiska uczelni, ale także instytutów badawczych. Można to zrobić na podstawie wcześniejszych doświadczeń w grupach wspólnej oceny. Obecnie oceniana dyscyplina nauki to właśnie taka grupa wspólnej oceny, złożona z podmiotów, które ją reprezentują. Tak to zdefiniowała ustawa.

Postulujemy także, aby o kategorię A+ mogły ubiegać się tylko takie podmioto-dyscypliny, które mają liczbę N dwukrotnie większą od wymaganej do ewaluacji, a zatem 24. Proponujemy to rozwiązanie w takim kontekście, aby najwyższa i prestiżowa kategoria była przyznawana tylko solidnym, stabilnym podmiotom o utrwalonej pozycji.

Postulujecie też, aby A+ mogły dostać tylko te dyscypliny, które w poprzedniej ewaluacji uzyskały A lub A+.

Nie jest to postulat pierwszoplanowy. Argumentacja jest taka sama: chodzi o podmioty o ustalonej renomie i pozycji naukowej. Proponujemy też, aby wartość progowa oceny do kategorii A+ nie była wyznaczana wyłącznie na podstawie pierwszego kryterium, jak obecnie. Mieliśmy na przykład sytuację, gdy dwa instytuty PAN miały w jednej z dyscyplin identyczny wynik w stosunku do wartości referencyjnych do kategorii A, z tym, że jeden uzyskał wysoki wynik w kryterium pierwszym, a drugi w drugim. Tylko ten pierwszy mógł być oceniany w kontekście kategorii A+, bo wartość progowa ustalona jest w kryterium pierwszym. Postulujemy więc, żeby wartość progowa była definiowana na podstawie punktacji we wszystkich trzech kryteriach.

Zostały nam jeszcze cztery punkty…

Które mają z naszego punktu widzenia nieco mniejszą wagę.

Odnosicie się do monografii.

Zasada dziedziczenia prestiżu została zastosowana także do monografii i wydawnictw. Nie jest ona jednak oczywista. Rynek wydawniczy jest bardzo dynamiczny z uwagi na częste zmiany właścicielskie. Powstają duże platformy wydawnicze, zawierające liczne marki wydawnicze o niekoniecznie naukowym profilu. W tym kontekście wykaz wydawnictw monografii naukowych traci sens. Pojawił się zatem postulat, aby powrócić do poprzedniego rozwiązania, polegającego na tym, iż każda monografia ma tę samą liczbę punktów, a monografie wybitne podwójną ich liczbę.

Kolejny postulat dotyczy włączenia do ewaluacji polskich czasopism naukowo-branżowych, czyli takich, w których publikują naukowcy, ale są one kierowane do środowiska praktyków; przenoszą najnowszą wiedzę z obszaru nauki do praktyki. Dopominali się o to np. prawnicy, ale podobne czasopisma istnieją także w medycynie czy naukach inżynieryjno-technicznych oraz wielu innych dyscyplinach. Lista takich czasopism mogłaby stanowić wsparcie oceny osiągnięć w kryterium trzecim.

Kolejna nasza propozycja dotyczy przypisania punktacji recenzowanym artykułom konferencyjnym, ale wyłącznie rejestrowanym w bazach WoS i Scopus. Ostatni punkt dotyczy możliwości usuwania z wykazu lub obniżania punktacji czasopismom, które zostaną uznane za tzw. predatory. Jednak najpierw należy określić precyzyjnie kryteria owej drapieżności, czyli złych praktyk wydawniczych, a to wcale nie będzie łatwe.

Dlaczego nie zrobiono tego w zakończonej niedawno ewaluacji?

Wiele o tym dyskutowaliśmy na posiedzeniach Komisji Ewaluacji Nauki. Jednak w obecnych ramach prawnych nie dysponowaliśmy instrumentem, który by to umożliwiał.

Co pan myśli o tym, żeby każda dyscyplina stworzyła swój własny katalog osiągnięć, podobnie jak zrobili to przedstawiciele sztuki?

To byłoby warte przemyślenia, ale nie jest to łatwy i szybki proces i zapewne musiałoby to dotyczyć nie najbliższej, ale następnej ewaluacji.

Co się stało w kryterium drugim, że ministerstwo nie udostępniło punktacji?

To decyzja ministerstwa, po konsultacji z Departamentem Prawnym. To kryterium nie jest nowością, choć zostało trochę inaczej sformułowane niż w poprzednich ewaluacjach. Mamy tam kilka grup osiągnięć: projekty badawcze, komercjalizacja wyników badań naukowych i usługi badawcze (np. przychody ze współpracy z gospodarką i przemysłem). Nie dostrzegam większych problemów w ocenie kryterium drugiego. Natomiast czasami jest trudno rozstrzygnąć, czy projekt realizowany dla gospodarki lub w ramach programu operacyjnego ma charakter naukowy i mieści się w klasie projektów punktowanych. To kwestia dobrego przygotowania ekspertów. Warto jednak podkreślić, iż każdy podmiot ma pełne prawo ujawnić własne wyniki w danej dyscyplinie nauki. Wyniki należą w pierwszym rzędzie do podmiotów, a następnie do ministerstwa. Tylko te instytucje mogą je ujawnić. Komisja nie ma takich uprawnień, a jej prace są objęte klauzulą poufności.

Udało się wam czy nie?

Z pewnością tak. Komisja to zespół niezwykle kompetentnych ludzi, którzy w większości prowadzą badania naukowe w reprezentowanych przez siebie dyscyplinach. Udało się także stworzyć korpus ekspertów, liczący niemal 900 osób, którym należy podziękować za ogrom wykonanej pracy. Jest to niewątpliwie dobry prognostyk na przyszłość. Przeprowadziliśmy ewaluację w przewidzianym czasie…

Jednak był pewien poślizg w rozpatrywaniu odwołań.

Wbrew potocznym opiniom, zmieściliśmy się w czasie, a zatem do końca grudnia ubiegłego roku. Problem polegał na tym, że pojawiło się 20 dodatkowych podmiotów, które musiały być ocenione w perspektywie kategorii A+, ale nie wiedzieliśmy o tym na początku rozpatrywania odwołań. Już o tym mówiłem wcześniej. Trudno było oczekiwać, zwłaszcza od specjalistów zagranicznych, że wykonają taką ocenę z dnia na dzień. Zatem o tym niewielkim poślizgu zadecydowała ta właśnie okoliczność.

W poprzednich ewaluacjach jednostka, która uzyskała kategorię C, mogła po roku wnioskować o ponowną ocenę.

W tej ewaluacji nie było takiej możliwości. Kategoria została przyznana na cztery lata. Chcę zwrócić uwagę na to, że nowa Komisja Ewaluacji Nauki ma do wykonania dodatkową dużą pracę, polegającą na ewaluacji szkół doktorskich – to ogromne zadanie, niepoprzedzone żadnymi wcześniejszymi doświadczeniami. Gdyby do tego doszła ponowna ewaluacja dyscyplin kategorii C, to byłoby niewykonalne. Władze jednostek muszą zadecydować, co zrobić z tymi dyscyplinami, które uzyskały najniższą kategorię: czy je rozwijać, czy likwidować.

Rozmawiał Piotr Kieraciński