Aktualności
Sprawy nauki
07 Lutego
Opublikowano: 2023-02-07

Rektorzy chcą zmian w ewaluacji

Uprościć system oceny czasopism, zlikwidować wykaz wydawnictw recenzowanych monografii naukowych, wprowadzić korektę koncepcji slotów, zróżnicować zestawy wartości referencyjnych dla uczelni i instytutów – to kilka z postulatów dotyczących zmian w ewaluacji, jakie ministrowi edukacji i nauki przedstawiło Prezydium Konferencji Rektorów Akademickich Szkół Polskich.

W wywiadzie udzielonym ostatnio „Forum Akademickiemu” minister Przemysław Czarnek zasygnalizował, że prawdopodobnie do końca lutego resort ogłosi zasady ewaluacji działalności naukowej w latach 2022–2025. Dodał, że wstępne rekomendacje już otrzymał, a nowy system ma być prostszy od obecnego.

Ponieważ upłynął już rok tego okresu oceny, nie będziemy robić żadnej rewolucji w systemie, a jedynie nieco go uprościmy, ale także włączymy pewne mechanizmy, których teraz ewidentnie zabrakło. Raczej nie będzie zmiany ustawy. Wykonamy tylko pewne zmiany w rozporządzeniu, tam gdzie to umożliwia obecna ustawa. Nawet jeśli system jest skomplikowany, to uczelnie się do niego zaadaptowały – przyznał szef resortu.

Podczas niedawnego spotkania z ministrem potrzebę zmian zasygnalizowali także rektorzy polskich uczelni. Ich zdaniem „obraz jakości badań naukowych prowadzonych w jednostkach szkolnictwa wyższego i nauki w Polsce uzyskany w wyniku ostatniej ewaluacji niedostatecznie odzwierciedla pozycję poszczególnych ośrodków na arenie międzynarodowej”. Mając na uwadze trwający już okres kolejnej ewaluacji, proponują dyskusję nad rozwiązaniami, które obowiązywałyby dopiero przy następnej, tj. od 2026 r.

Przede wszystkim chcą zlikwidowania wykazu wydawnictw recenzowanych monografii naukowych. W ich ocenie nie spełnił on oczekiwań środowiska. Postulują, by przypisać punktację bezpośrednio do monografii naukowych, a monografie wybitne, nagrodzone zgodnie z wcześniej opracowaną listą możliwych do uzyskania prestiżowych nagród, premiować dodatkową punktacją (np. monografia – 100 pkt, monografia wybitna – 200 pkt).

Domagają się też uproszczenia systemu oceny czasopism. Ten dotychczasowy uważają za zbyt skomplikowany. Podkreślają, że przyjęcie za podstawę oceny kilku wskaźników bibliometrycznych oraz zastosowanie oceny w dyscyplinach nauki przypisanych do danego czasopisma zakończone wyznaczeniem wartości średniej, wymagało w efekcie wprowadzenia tzw. dyscypliny wiodącej. Sugerują jej uwzględnienie i przypisanie odpowiednio wysokiej wagi (np. 75%).

Postulują także opracowanie dodatkowej listy polskich czasopism naukowych, spoza międzynarodowych baz danych WOS, Scopus, ERIH+. Ten odrębny wykaz miałby być oparty na uzgodnionym ze środowiskiem modelu oceny za pomocą właściwych wskaźników (najwyższa punktacja 70 pkt). Innym pomysłem jest wprowadzenie osobnej listy czasopism naukowo-branżowych, odgrywających ważną rolę przy wdrażaniu osiągnięć nauki do praktyki. Miałaby ona stanowić wsparcie dla oceny osiągnięć w kryterium K3.

W ocenie KRASP potrzeba także dokonać korekty koncepcji slotów tak, by umożliwić ocenianym podmiotom przedstawienie do ewaluacji wszystkich najlepszych publikacji. Jak miałoby to wyglądać? Według zarysowanego scenariusza, konieczne jest wprowadzenie zasady wypełniania pola 3N najlepszymi, najwyżej punktowanymi publikacjami bez ograniczeń, natomiast dopełnienie stanowiłyby niżej punktowane, pobierane z tzw. slotów.

Rektorzy opowiadają się również za innymi zestawami wartości referencyjnych dla różnych typów jednostek. Jak tłumaczą, praca naukowa w uczelniach, instytutach PAN czy instytutach badawczych przebiega w innych ramach czasowych oraz akcentuje inne osiągnięcia naukowe. W szkołach wyższych dominuje obciążenie dydaktyką, w instytutach badawczych akcent położony jest na badania i rozwój, a prowadzone tam prace mają zwykle charakter bardziej aplikacyjny niż w instytutach PAN. Dodajmy, że część pracowników tych ostatnich podmiotów sprzeciwia się wydzieleniu ich z ewaluacji jako odrębnej grupy.

Wśród postulatów wysunięto też rozważenie możliwości uwzględnienia w ocenie osiągnięć naukowych publikacji konferencyjnych we wszystkich dyscyplinach nauki. Rektorzy zaznaczają, by przy określaniu ich punktacji wziąć pod uwagę wyłącznie materiały konferencyjne notowane w międzynarodowych bazach danych: WoS, Scopus, a liczba recenzowanych artykułów naukowych w nich opublikowanych i uwzględnianych w ewaluacji by była ograniczona (np. 0,5N).

KRASP rekomenduje także wprowadzenie zasady N=12 jako średnią z 4 lat objętych ewaluacją, a minimum 12 w całym okresie dla jednostek A+. Ponadto, zdaniem autorów pomysłu, należy przyjąć, iż obowiązuje minimum kadrowe do nadawania stopnia doktora i doktora habilitowanego obejmujące co najmniej 6 doktorów habilitowanych lub profesorów tytularnych (w tym co najmniej 2 profesorów tytularnych) w całym okresie objętym ewaluacją.

Jako ostatnie propozycje przedstawiono rezygnację z konieczności upoważniania podmiotów do wykazania osiągnięcia naukowego w procesie ewaluacji i kategoryzacji przez autora osiągnięcia (należy przyjąć, że osiągnięcie naukowe należy w takim samym stopniu do jego autora, jak i do instytucji, w której powstało), odejście od funkcji nieliniowych w wyliczaniu wskaźników ewaluacji (spowodowało to brak przejrzystości systemu) oraz zmianę warunku koniecznego kwalifikowania podmioto-dyscypliny do kategorii A+. Obecnie, jak zauważono, próg procentowy dotyczy wyniku podmiotów w kryterium K1, co prowadzi do sytuacji, że podmiot o małej liczbie N może eliminować silne podmioty o znacznie większej liczbie N z ubiegania się o kategorię A+. Dlatego rektorzy chcą zdefiniowania progu procentowego w odniesieniu do wyniku podmiotów w stosunku do zestawu wartości referencyjnych do kategorii A (np. próg 80% w stosunku do maksymalnego przewyższenia wynoszącego 100%).

Proponowane zmiany są niezbędne dla usprawnienia obecnie obowiązującego systemu i wyeliminowania oczywistych niedoskonałości odnotowanych w trakcie ostatniej ewaluacji i kategoryzacji – podsumowuje Prezydium Konferencji Rektorów Akademickich Szkół Polskich w liście do ministra edukacji i nauki.

MK

 

Dyskusja (1 komentarz)
  • ~Jan Cieśliński 08.02.2023 10:20

    Szkoda, że gremium Rektorów nie odniosło się do kwestii fundamentalnych.

    1. Reguły ewaluacji, a przede wszystkim progi referencyjne, powinny być zawczasu znane i nie powinny się zmieniać w okresie oceny. To jest absolutnie kluczowe. Jednostki powinny wiedzieć, co jest celem ich działania.

    2. Ewaluacja jest narzędziem pomiarowym. Nigdy nie przetestowanym. Termometr, który niektórym rzeczom gorącym przypisywałby temperaturę ujemną, lub vice versa, zostałby od razu wyrzucony do kosza. Nasze mechanizmy ewaluacyjne są bardzo złe, choćby dlatego, że łatwo jest podać przykłady hipotetycznych jednostek, które awansują z C na A, lub odwrotnie, jeśli ocenilibyśmy je według obecnych i poprzednich zasad ewaluacyjnych. Zatem co najmniej jedna z tych metod musi być beznadziejna. A najprawdopodobniej – obie są kiepskie.

    3. Kluczowe dla oceny narzędzi ewaluacyjnych jest odpowiedź na pytanie: „jaki jest cel ewaluacji”? Przez wiele lat tym celem był podział dotacji na badania „statutowe”, czyli BST (które, notabene, miały zupełnie inną skalę i znaczenie w przypadku uczelni i instytutów PAN, co nigdy nie było i nie jest brane pod uwagę). Miało to sens, a ewentualne niedociągnięcia mechanizmów ewaluacyjnych nie były zbyt groźne (przynajmniej w przypadku uczelni). W roku 2018 ustawa zlikwidowała BST (dla uczelni), ogromny błąd tej ustawy, a głównym zadaniem ewaluacji stało się nadanie uprawnień (do czego obecna ewaluacja jest zupełnie nieprzystosowana, choćby dlatego, że w takiej sytuacji należy oceniać dorobek i liczbę tylko „samodzielnych” pracowników naukowych, a nie wszystkich). Ostatecznie uprawnienia nadano prawie wszystkim jednostkom, a do czego użyje się ewaluacji w kontekście finansowym, to się dopiero okaże (znów – prawo zadziała wstecz).

    4. Istotnym błędem jest uśrednianie punkcików, zamiast stosowania progów (do przeskoczenia przez każdego pracownika, ale nie nazbyt wygórowanych) i mocnego doceniania wyjątkowych osiągnięć. Przykład: w jednostce aspirującej do A+ solidni pracownicy mający pecha być w subdyscyplinie, gdzie prestiżowe czasopisma mają najwyżej 70-100 pkt mocno psują wynik ewaluacyjny (ewaluacja bez sensu wymusza presję na ich likwidację takiej subdyscypliny, a przecież jedna solidna publikacja na rok – powinna wystarczyć, aby jej autor nie zaniżał wyniku, nawet dla kategorii A+), natomiast wybitne osiągnięcia typu „Nature”, jeśli „nie mają wpływu” w Kryterium III, to mogą w ogóle zaniknąć po uśrednieniu (albo nawet nie być zgłoszone w ewaluacji, jeśli jeszcze pechowo opublikowano je w latach 2017-2018). Zresztą próba określenia wyniku ewaluacyjnego jedną, czy trzema liczbami (plus zasada, że „ostatnich gryzą psy”) – jest mało sensowna. Lepsza jest lista wymagań do spełnienia.

    5. Sposób przypisywania punktów w Kryterium II, a zwłaszcza "próg pełnego przewyższenia" w wysokości, nie wiedzieć czemu, akurat 30%, jest skandaliczny. Nawet bez znajomości wyników wszystkich jednostek (ciekawe, czy kiedykolwiek będą podane?) można z dużą dozą pewności zaryzykować hipotezę, że najczęstszym wynikiem w tym kryterium będzie maksymalny minus, dla większości jednostek. Nie dość więc, że kryterium to karze jednostki nie mające dostatecznie hojnego dofinansowania budżetowego z grantów, to na dodatek kara ta ma wymiar maksymalny.

    6. Ewaluacja nie może wymuszać masowej produkcji bardzo kosztownych, a mało wartościowych, publikacji. Przypisywanie wysokiej punktacji czasopismom, które są w stanie wyprodukować dowolną liczbę artykułów rocznie, albo monografiom, których wydanie zależy tylko od mocy przerobowych lokalnego wydawnictwa, mocno zaburza wyniki ewaluacji oraz jest typową niegospodarnością (marnowanie skąpych środków budżetowych na badania naukowe). Kwestia ta jest łatwo weryfikowalna empirycznie. Jeśli liczba prac z polską afiliacją w danym czasopiśmie wzrasta wielokrotnie w ciągu roku czy dwóch, i Polacy zaczynają tam dominować, czasem konkurując nawet z Chinami czy USA, to znaczy tylko, że znacznie zawyżono punktację temu czasopismu. Nic innego. Podobnie, jeśli produkcja artykułów w polskim czasopiśmie czy liczba monografii w polskim wydawnictwie wystrzeliła nagle w górę, to z pewnością nie jest to wynikiem nagłego wzrostu weny twórczej wśród autorów.

    Może warto wprowadzić zasadę, że punktację czasopisma czy wydawnictwa dzielimy przez jakiś "wskaźnik wzrostu produkcji"? W tym przypadku "działanie prawa wstecz" byłoby jak najbardziej uzasadnione. Miałoby to i walor "wychowawczy" (zniechęcenie do kombinowania) i pozytywnie wpłynęłoby na lepsze wykorzystanie skromnych środków budżetowych na badania naukowe.