W serwisie Rządowego Centrum Legislacji pojawił się projekt ministerialnego rozporządzenia dotyczącego ewaluacji jakości działalności naukowej. Odnosi się do oceny za okres 2022–2025.
Zgodnie z ustawą Prawo o szkolnictwie wyższym i nauce, co cztery lata przeprowadzana jest ewaluacja dyscyplin uprawianych w danej instytucji: uczelni, instytucie PAN bądź międzynarodowym instytucie naukowym, instytucie badawczym czy innej jednostce prowadzącej działalność naukową (o ile zatrudnia na koniec okresu oceny co najmniej 12 pracowników naukowych w dyscyplinie). Ocenie poddawane są indywidualne osiągnięcia, które stanowią podstawę przyznania podmiotowi w danej dyscyplinie jednej z kategorii: A+, A, B+, B i C. Od tego zależy wielkość subwencji, a także uprawnienia do nadawania stopni i tytułów naukowych czy możliwość udziału przedstawicieli instytucji w niektórych organach otoczenia nauki.
W serwisie Rządowego Centrum Legislacji pojawił się projekt rozporządzenia Ministra Nauki i Szkolnictwa Wyższego dotyczącego ewaluacji jakości działalności naukowej. Chodzi o ocenę za okres 2022–2025. O szykowanym projekcie mówiła kilka dni temu w debacie „Ewaluacja do naprawy” wiceministra Karolina Zioło-Pużuk. Dokument, zgodnie z zapowiedzią, nie wprowadza rewolucyjnych zmian, ale zawarto w nim kilka istotnych modyfikacji, również w odpowiedzi na postulaty środowiska.
W uzasadnieniu wskazano, że jednym z celów nowelizacji jest dostosowanie przepisów rozporządzenia do zmian w klasyfikacji dziedzin i dyscyplin. Pojawiły się dwie nowe dziedziny: nauki o rodzinie i nauki weterynaryjne, a to wymusiło wprowadzenie przepisów umożliwiających ocenę jakości działalności naukowej prowadzonej w ramach dyscyplin należących do tych dziedzin. Wytyczne w ewaluacji dla dyscypliny nauki o rodzinie (która jest jedyną w dziedzinie nauki o rodzinie) ustalono analogicznie jak w przypadku oceny w dyscyplinach naukowych należących do dziedziny nauk humanistycznych, dziedziny nauk społecznych i dziedziny nauk teologicznych. Przyjęto też analogiczne wagi podstawowych kryteriów ewaluacji: 70 – dla kryterium I (Poziom naukowy prowadzonej działalności naukowej), 10 – dla kryterium II (Efekty finansowe badań naukowych lub prac rozwojowych) oraz 20 – dla kryterium III (Wpływ działalności naukowej na funkcjonowanie społeczeństwa i gospodarki).
W przypadku dyscypliny należącej do dziedziny nauk weterynaryjnych (jedyna w ramach dziedziny) wagi określono analogicznie, jak dla dyscyplin należących do dziedziny nauk medycznych i nauk o zdrowiu oraz dziedziny nauk ścisłych i przyrodniczych, tj. odpowiednio: 60 (I), 20 (II) i 20 (III).
Nowelizacja przewiduje również zmianę przepisów rozporządzenia dotyczących osiągnięć publikacyjnych uwzględnianych w ewaluacji. Do tej pory brano pod uwagę artykuły opublikowane w czasopismach naukowych i w recenzowanych materiałach z międzynarodowych konferencji naukowych, przy czym w przypadku tej drugiej kategorii musiały być ujęte w ministerialnym wykazie. Teraz, przychylając się do postulatów środowiska, regulacje te ujednolicono i recenzowane materiały konferencyjne, podobnie jak artykuły, nie muszą być ujęte w wykazie, by były poddane ocenie.
Inna zmiana w rozporządzeniu dotyczy możliwości wykazywania osiągnięć przez doktorantów szkół doktorskich. Zgodnie z obecnym przepisem, zatrudnienie w danej jednostce i zaliczenie do liczby N osoby, która w okresie objętym oceną była również doktorantem szkoły doktorskiej prowadzonej przez tę jednostkę, prowadziło do braku możliwości wykazania dla celów ewaluacji osiągnięć tej osoby uzyskanych przez nią jako doktoranta. Uwzględniano zatem wyłącznie osiągnięcia tej osoby związane z zatrudnieniem. O ile jednak do tej pory nie budziło to zastrzeżeń (szkoły doktorskie w poprzedniej ewaluacji dopiero rozpoczęły kształcenie, a równocześnie doktorant szkoły doktorskiej, co do zasady, nie mógł być zatrudniony jako nauczyciel akademicki ani pracownik naukowy do czasu oceny śródokresowej), o tyle teraz już tak – wynika to ze zmiany przepisów i w konsekwencji dopuszczenia możliwości równoczesnego kształcenia w szkole doktorskiej i zatrudnienia jako nauczyciel akademicki albo pracownik naukowy. W nowym rozporządzeniu ujęto zatem osiągnięcia danej osoby zarówno z okresu kształcenia w szkole doktorskiej, jak też zatrudnienia i zaliczenia do liczby N.
W nowelizacji doprecyzowano również przepis wskazujący, że w ewaluacji w danej dyscyplinie naukowej uwzględnia się osiągnięcia naukowe, jeżeli ich tematyka jest merytorycznie związana z badaniami naukowymi lub pracami rozwojowymi, prowadzonymi w ewaluowanym podmiocie w ramach tej dyscypliny naukowej przez osobę, o której mowa w § 11 ust. 1. Dotychczas nie było jednoznacznie określone, że działalność ta musi być prowadzona przez autora osiągnięcia naukowego wykazywanego w ewaluacji.
Ministerstwo w projektowanym rozporządzeniu uwzględniło także postulaty zgłoszone przez Komisję Ewaluacji Nauki. Chodzi m.in. o wprowadzenie możliwości oceny zasięgu wpływu nie tylko w znaczeniu geograficznym, co sugeruje dotychczasowe brzmienie przepisu (zasięg międzynarodowy, krajowy, regionalny, lokalny lub marginalny), ale również w zależności od stopnia oddziaływania wpływu.
Jest to szczególnie istotne dla oceny wpływu w przypadku działalności naukowej prowadzonej w dyscyplinach naukowych, w których badania naukowe są związane z Polską (np. polonistyka, historia Polski, geografia Polski, polski system prawny itp.) i – co oczywiste – wywierają wpływ ograniczony do terytorium Polski, oddziałując wyłącznie na polskie społeczeństwo lub gospodarkę. Geograficzna interpretacja zasięgu wpływu skutkuje w takich przypadkach brakiem możliwości uzyskania maksymalnej punktacji, nawet jeżeli osiągnięto najwyższy możliwy zasięg oddziaływania. Projektowana zmiana polega na wprowadzeniu nowej – przy równoczesnym pozostawieniu dotychczasowej – skali, zależnej od stopnia oddziaływania działalności naukowej na funkcjonowanie społeczeństwa i gospodarki (zasięg całkowity, szeroki, częściowy, ograniczony, marginalny). Pozwoli to na docenienie w ewaluacji wpływu, który nie jest rozległy w znaczeniu terytorialnym, ale obejmuje całą potencjalną grupę odbiorców – czytamy w uzasadnieniu.
Projektodawcy zaproponowali jednocześnie takie same progi punktowe bez względu na to, czy wybrany zostanie aspekt terytorialny, czy kompletność oddziaływania („50 pkt – w przypadku wpływu o międzynarodowym albo całkowitym zasięgu, 40 pkt – w przypadku wpływu o krajowym albo szerokim zasięgu, 30 pkt – w przypadku wpływu o regionalnym albo częściowym zasięgu, 20 pkt – w przypadku wpływu o lokalnym albo ograniczonym zasięgu, 0 pkt – w przypadku wpływu o marginalnym zasięgu albo gdy opis wpływu został sporządzony na podstawie dowodu wpływu, który nie wykazuje żadnego związku między wynikami badań naukowych lub prac rozwojowych albo działalności naukowej w zakresie twórczości artystycznej a gospodarką, funkcjonowaniem administracji publicznej, ochroną zdrowia, kulturą i sztuką, ochroną środowiska naturalnego, bezpieczeństwem i obronnością państwa lub innymi czynnikami wpływającymi na rozwój cywilizacyjny społeczeństwa”).
Kolejna zmiana odnosi się do warunku koniecznego do zakwalifikowania podmiotów do dodatkowej oceny eksperckiej w celu przyznania kategorii naukowej A+. Jak wynika z uzasadnienia, środowisko naukowe postulowało, by próg procentowy kwalifikujący do dodatkowej oceny eksperckiej ustalano nie w odniesieniu do wyniku uzyskanego przez podmiot tylko w jednym kryterium, ale do wyniku uzyskanego w stosunku do zestawu wartości referencyjnych dla kategorii naukowej A. Ministerstwo przychyliło się do tych uwag i proponuje, by warunkiem poddania dodatkowej ocenie eksperckiej w danej dyscyplinie było, jak dotychczas, zaliczenie do kategorii naukowej A, a ponadto uzyskanie całkowitego wyniku punktowego o wartości nie niższej niż próg punktowy ustalony przez KEN w stosunku do zestawu wartości referencyjnych dla kategorii naukowej A w danej dyscyplinie naukowej albo artystycznej. Wynik w odniesieniu do zestawu wartości referencyjnych odzwierciedla osiągnięcia we wszystkich podstawowych kryteriach ewaluacji.
Równocześnie zdecydowano o odejściu od określania przez KEN progu procentowego w stosunku do najwyższego wyniku na rzecz ustalania dla każdej dyscypliny naukowej i artystycznej progu punktowego w zależności od całkowitego wyniku uzyskanego przez ewaluowane podmioty prowadzące działalność naukową w ramach danej dyscypliny. Zmiana ta zapewni, że w każdej z ocenianych w ramach ewaluacji dyscyplin naukowych i artystycznych będzie można wyłonić podmioty, których działalność naukowa będzie podlegać dodatkowej ocenie eksperckiej celem przyznania kategorii naukowej A+ – napisano w uzasadnieniu.
Nowelizacja objęła także przepis, zgodnie z którym w przypadku stwierdzenia nieprawidłowości w informacjach charakteryzujących osiągnięcie naukowe lub artystyczne albo braku związku osiągnięcia naukowego z badaniami naukowymi lub pracami rozwojowymi prowadzonymi w ewaluowanym podmiocie w ramach danej dyscypliny naukowej, KEN mogła nie uwzględnić takiego osiągnięcia. Jak czytamy w uzasadnieniu projektu, niejednokrotnie zastrzeżenia KEN dotyczyły tylko jednego ze współautorów osiągnięcia (np. związku publikacji z jego zatrudnieniem w podmiocie). Dochodziło jednak do tego, że mimo iż pozostali współautorzy spełniali kryteria formalne określone w rozporządzeniu, a związek publikacji z działalnością naukową prowadzoną przez nich w ewaluowanym podmiocie w danej dyscyplinie nie budził wątpliwości, publikacja taka nie była uwzględniana. Komisja mogła bowiem odrzucić wyłącznie całe osiągnięcie. Teraz dodano możliwość odrzucenia kwestionowanego udziału jednostkowego.
Inna z proponowanych zmian to wprowadzenie przepisu mówiącego, że Centrum Medyczne Kształcenia Podyplomowego jako podmiot wchodzący w skład systemu szkolnictwa wyższego i nauki może złożyć wniosek o przeprowadzenie ewaluacji.
MK
Co by tu zmienić żeby było jak było ???
No i dobrze. Przez pół roku będzie się zbierać dane a później je opisywać. Piekło sprawozdawczości.
I bardzo dobrze, że nie ma zmian, nikt rozsądny nie zmienia zasad gry tuż przed metą.
Zwolennicy entropii i chaosu są zawiedzeni ....
ale przypuszczam 95% środowiska akceptuje przyjęte w 2022 r. zasady i walidację.
Dziękuję!
Gratuluję dobrego nastroju, niemniej:
1. dżentelmeni (i damy też) nie dyskutują z faktami - czy kilkukrotna arbitralna zmiana wykazu czasopism i odwołana finalnie oficjalna zapowiedź kolejnej zmiany (projekt rozporządzenia) to nie była zmiana reguł gry w jej trakcie? Czy jeśli reguły gry były faktycznie zmieniane i co gorsza pozostają wadliwe to nie lepiej poprawić te reguły albo odstąpić całkiem od takiej gry i zorganizować porządnie nową? Jaka korzyść będzie z dokończenia gry wg zmienianych (choć nie na mecie) i wadliwych reguł, co nb. już przerabiano z wiadomymi skutkami?
2. jeśli pseudoewaluacja skutkująca slotozą, punktozą itp. aberracjami i wynaturzeniami to stan ładu i porządku - to po co to w ogóle zmieniać czy nawet dyskutować o tym?
3. jeśli środowisko akademickie gremialnie popiera status quo, to chyba żyjemy w alternatywnych rzeczywistościach.
W pełni popieram takie stanowisko.
Popieram.
Jak widać, niezłomna walka decydentów o to, żeby było jak było, trwa. Czy na tym polega to ministerialne "jak najszybsze zrywanie plastra"? Bo raczej przypomina to pudrowanie wrzodu, który stale nabrzmiewa. No i ten argument, że "nie można zmieniać zasad w trakcie gry" w sytuacji, gdy właśnie kilkakrotnie zmieniano wykaz czasopism i oficjalnie zapowiadano kolejną jego zmianę, by później ją odwołać. I jeszcze te deklaracje o otwarciu na dialog ze środowiskiem akademickim - czyżby to było owoc tego dialogu? Czy ktoś nie próbuje zrobić nam wody z mózgu?
Jak już pisałem poprzednio (jako "komentator"), dopóki nie zmieni się ISTOTY problemu, nic się nie zmieni na lepsze. NIE pomogą (tzn. nie pomogą w istotny sposób) listy czasopism, punkty i sloty, czy ewaluacje. Szastanie tymi hasłami ma najwyraźniej spowodować ukontentowanie profesorskich VIP-ów siedzących wygodnie w swoich fotelach, że oto coś powiedzieli, a więc coś działają, i że dzięki temu będzie lepiej. NIE będzie. Niech profesorskie VIP-y spróbują np. poprowadzić zajęcia dydaktyczne SPOZA swojej dziedziny, i wyobrazić sobie przy tym, że nie mają habilitacji, są poza jakimkolwiek naukowym "klanem", gdyż np. ich szef zmarł, zostawiając już przedtem swoich ludzi trochę na pastwę losu.
A w miedzyczasie Retraction Watch rozbudowuje kolekcję artykułów napisanych przez AI mimo ze ich współautorzy zapewniają że swoje publikacje osiągnęli bez udziału AI
https://retractionwatch.com/papers-and-peer-reviews-with-evidence-of-chatgpt-writing/
Ciekawe ile takich artykułów pojawi się w ramach aktualnej parametrzyacji polskiej, szczególnie w roku 2025 - skoro nikt tych artykułów na ogół nie czyta w ramach swojej oceny?
Jeśli jest bez zmian fakt, że dla czasopism z zakresu 100, 140 i 200p osiągniecia liczą się wszystkim podmiotom (współautorskim) to dalej zachęcamy do patologicznego mnozenia osiągnięć (między sztucznie dodawanych współautorów z innych jednostek).
Jeśli dodatkowo po 100p oraz 140 punktów posiadają płatne czasopisma które mają po kilkaset wydań specjalnych miesięcznie (!) to bezkarny wypływ wielu mlionów z kieszeni polskiego podatnika w roku 2025 mamy zapewniony.
A było proste rozwiązanie.
Dlaczego nie ograniczono parametrzyzacji tylko do jednostek niezadowolonych ze swojej aktualnej kategorii? Gdyby dodatkowo oceny tych wybranych jednostek wyjątkowo (!) ograniczyć do lat 2022-2024 to zaoszczędzono by tych wiele milionów złotych.
Rok 2025 to kolejny rok budujący frustrację 10% osób naprawdę ciężko i uczciwie pracujących naukowo oraz poprawę samopoczucia pozostałych 90% (por. prawo Sturgeon'a na Wikipedii).
Za oszukańcze "artykuły" z paper mills powinny być punkty ujemne, a nie nieuwzględnienie.
Proponuję minus -10 z liczby 3N. Przypominam że nic nie robiący zaliczeni do N, to -6. Jeszcze można zmienić projekt, KEN niech proponuje zmiany.
Proponuję minus -10 z liczby 3N. Przypominam że nic nie robiący zaliczeni do N, to -6. Jeszcze można zmienić projekt, KEN niech proponuje zmiany.
-10? Bardziej odpowiednie byłoby dyscyplinarne zwolnienie z pracy.
-10 za każdą publikację w papierni, tu chodzi o ocenę parametryczną dyscypliny, dyscyplinowanie pracownika to inna sprawa
Zaś za niezacytowanie publikacji, która POWINNA być zacytowana, czy też za złośliwe odrzucanie pracy przez redakcję i/albo recenzenta, ile by Pan proponował punktów (oczywiście, mam na myśli rodzimych badaczy i krajowe czasopisma)? Bowiem, takie sytuacje TEŻ się zdarzają.