Jak powinien wyglądać system oceny jakości działalności naukowej? Odpowiedzi na to pytanie poszukamy wraz z gośćmi wtorkowej debaty o ewaluacji. Wydarzenie organizują „Forum Akademickie” i Polska Akademia Nauk.
Zgodnie z ustawą Prawo o szkolnictwie wyższym i nauce, co cztery lata przeprowadzana jest ewaluacja dyscyplin uprawianych w danej instytucji: uczelni, instytucie PAN bądź międzynarodowym instytucie naukowym, instytucie badawczym czy innej jednostce prowadzącej działalność naukową (o ile zatrudnia na koniec okresu oceny co najmniej 12 pracowników naukowych w dyscyplinie). Ocenie poddawane są indywidualne osiągnięcia, które stanowią podstawę przyznania podmiotowi w danej dyscyplinie jednej z kategorii: A+, A, B+, B i C. Od tego zależy wielkość subwencji, a także uprawnienia do nadawania stopni i tytułów naukowych czy możliwość udziału przedstawicieli instytucji w niektórych organach otoczenia nauki. Po ostatniej (zakończonej w 2021 roku) ewaluacji mamy 119 dyscyplin kategorii A+ (10,5%), 418 dyscyplin kategorii A (36,9%), 526 dyscyplin kategorii B+ (46,4%), 47 dyscyplin kategorii B (4,1%) i 23 dyscypliny kategorii C (2%).
Środowisko akademickie zdecydowanie negatywnie ocenia ewaluację okresu 2017–21, mimo że była przygotowana i przeprowadzona przez samych naukowców – zarówno Komisja Ewaluacji Nauki, jak i zespoły dyscyplinowe ds. oceny czasopism oraz ponad ośmiuset ekspertów to naukowcy. Nie zróżnicowała ona podmiotów nauki, mieliśmy do czynienia z manipulacjami liczbą N (ocenianych pracowników), poddawaniem ocenie kłopotliwych z etycznego punktu widzenia publikacji (a jednak dobrze punktowanych), no i wreszcie z bardzo dużym wpływem ewaluacji na jednostki naukowe (na ich finanse, uprawnienia akademickie, możliwość udziału przedstawicieli w różnych gremiach) – wylicza Piotr Kieraciński, redaktor naczelny „Forum Akademickiego”.
Zasady kolejnej oceny miała przygotować nowa już Komisja Ewaluacji Nauki. Jednak wyniki jej pracy nie zostały wzięte pod uwagę przez ministerstwo i nie zostały zaakceptowane przez środowisko. Podobnie jak nowy system oceny i punktacji czasopism, oparty na grupach kwartylowych i decylowych ze względu na cytowalność. Tymczasem jesteśmy w ostatnim roku okresu oceny i wciąż nie wiadomo, jak będzie wyglądała ewaluacja za lata 2022–25.
Środowisko czeka na decyzję ministerstwa. Pojawiła się też propozycja, aby nie przeprowadzać w ogóle ewaluacji (co wymagałoby zmiany ustawy Prawo o szkolnictwie wyższym i nauce), bądź też przeprowadzić według dotychczasowych zasad, ale nie wyciągać negatywnych konsekwencji oceny – żaden podmiot nie dostałby kategorii niższej niż w wyniku poprzedniej oceny, za to może dostać wyższą. W związku z całym mnóstwem wątpliwości dotyczących oceny działalności naukowej postanowiliśmy zorganizować debatę na ten temat – tłumaczy red. Piotr Kieraciński.
Osobną kwestią pozostaje następny okres rozliczeniowy, rozpoczynający się już za niecałe 10 miesięcy. Jakie kryterium przyjąć: ocenę ekspercką, liczbę publikacji, a może ich wpływ? Oceniać jednostki czy dyscypliny? Co uwzględniać, a co bezwzględnie porzucić przy ocenie? Jak ułożyć na nowo listę czasopism i ich punktację? Czy utrzymać czteroletni cykl ewaluacji? Wreszcie, na co powinny oddziaływać jej wyniki? Pytań jest bez liku, odpowiedzi na razie niewiele.
Spróbujemy ich poszukać wspólnie z gośćmi wtorkowej debaty online. Do udziału w niej zaprosiliśmy:
W trakcie debaty przeprowadzimy ankietę: „Czy ewaluację okresu 2022–25 należy przeprowadzić na obecnych zasadach?”.
Debata odbędzie się we wtorek, 11 marca, początek o godzinie 18:00. Poprowadzą ją: prof. Dariusz Jemielniak – wiceprezes Polskiej Akademii Nauk i red. Piotr Kieraciński – redaktor naczelny „Forum Akademickiego”. Transmisja na kanale YouTube, na Facebooku i na LinkedIn. Widzowie również będą mogli zadawać pytania. Zapraszamy!
MK
Cyt."To kwestia dwóch, trzech, czterech lat, że będziemy mieli polskiego Nobla w nauce – powiedziała w piątek marszałek Senatu Małgorzata Kidawa-Błońska podczas spotkania z naukowczyniami Narodowego Centrum Badań Jądrowych (NCBJ) w Świerku." (za nfajw.wordpress.com)
Ja z kolei wierzę, że Pani marszałek i inni politycy nauczą się za 2 - 3 lata np. "Wstępu do matematyki" i trochę fizyki na I Pracowni Fizycznej. ;=)
Jeżeli już ewaluacja musi być (moim zdaniem nie) to powinna mieć mniejszy wpływ na działalność uczelni. Pamiętam niepewność czy uczelnia pozostanie uniwersytetem, to chyba przesada.
Jakakolwiek chyba ewaluacja prowadzi do terroryzowania przez władze uczelni, nieważne czy prowadzi się ciekawe badania tylko trzeba dostarczać punkty do algorytmu aby wynik był co najmniwj b+ (bo finansowanie, bo nadawanie doktoratów). Obawiam się że zmiana zasad nic nie zmieni, będziemy terroryzowani innym algorytmem. Czy działalność uczelni na tym ma się opierać, moim zdaniem nie.
Na pięć osób - trzech biologów?
Ojtam ojtam
Wypowiedzi niektórych osób na tym forum pokazują, że ogólny pozom naukowca polskiego się obniża w każdym względzie i niestety trzeba dbać o etykę.
Dlatego też zasady ewaluacji nie powinny sprzyjać postawom nieetycznym.
Ocena dyscyplin w ramach jednostek, winna być oparta o ocenę indywidualną wszystkich pracowników zatrudnionych na wydziale, a więc i dydaktyków.
Ocena indywidualna winna się zsumować i dać ocenę dyscypliny na wydziale.
W tym celu niezbędne jest dzielenie punktacji za publikację przez liczbę współautorów, co ukróci dopisywanie do publikacji współautorów nie mających udziałów w pracy badawczej, zmniejszy opłacalność spółdzielni, zmniejszy opłacalność publikacji w czasopismach drapieżnych, zmniejszy opłacalność wytwórni czasopism.
Celem ewaluacji ma być przede wszystkim ewaluacja nauki a nie inne cele jak na przykład promowanie współpracy międzynarodowej czy współpracy interdyscyplinarnej. W tych innych celach należy stosować inne środki, a wyłączyć to z zasad ewaluacji nauki.
Większość wiedzy klinicznej stosowanej w medycynie oparta jest na randomizowanych badaniach klinicznych oraz meta-analizach. Proszę jednoosobowo przeprowadzić takie badanie, zobaczymy jaka jakość z tego wyjdzie.
Postulat dzielenia punktów bez liczbę autorów nie premiuje jakości badawczej w tej dziedzinie.
Ocena pracownika ma być równomierna i nie może być tak, że jeden pracownik dostaje 200 pkt (z innej dyscypliny lub z innej uczelni), a drugi tylko cząstkę tych punktów, bo jest ich kilku z dyscypliny z jednej uczelni.
Dzielenie punktów przez liczbę współautorów ma na celu ocenę wkładu współautora w powstanie publikacji.
Premiować jakość badawczą można w inny sposób, ale tu chyba winno nastąpić zróżnicowanie ze względu na dyscyplinę.
Kolego lub koleżanko ~kk, wprowadzanie zmian w systemie ewaluacji niewiele zmieni, jeśli wciąż będzie nastawienie na potrzebę maksymalizacji zysków. Dopóki punkty "wyrabiane" przez pracownika w dyscyplinie będą powiązane z dotacją dla uczelni, dopóty tenże pracownik będzie wszelkimi sposobami dbał o swoją posadę, bo przecież nie o jakość tu idzie, ale o kategorię i punkty. Cóż - Prawo Goodharta oparte jest na obserwacjach społecznych. Niestety, ten robak toczy też resztę świata naukowego. Nie tak dawno, organizując konferencję, mój zespół otrzymywał mnóstwo zapytań m. in. z krajów europejskich dotyczących czasopisma, w jakim pojawi się publikacja pokonferencyjna. Typowe "proceedings", wydane nakładem uczelni były mało atrakcyjne.
Co do sumowania oceny indywidualnej, to przykładem patologicznego podejścia do tego typu "punktozy" jest sport drużynowy - tam, gdzie jednostka zdobywa punkty dla drużyny (lub kraju) pojawia się miejsce na kombinowanie i doping. Niedaleko szukać - ostatnia sprawa ze skoczkami narciarskimi. Po prostu nie tędy droga. Niezależnie od wyrafinowania wzorów podziału i przydziału punktów, w systemie znajdzie się luka.
Opublikowano: 2025-03-10. Debata o ewaluacji: wtorek 11 marca, godzina 18:00.
W dyskusjach o ewaluacji: Opublikowano: 2025-03-07. Przedstawiamy uczestników debaty o ewaluacji: dr Karolina Zioło-Pużuk.
Dyskutują, przede wszystkim: ~Przemo 07.03.2025 23:24 oraz ~kk 08.03.2025 07:00. Zwłaszcza ~kk 08.03.2025 07:00 zapomniano, że chodzi w planowanej dyskusji o ewaluację nauki. Przez to poświęcili sporo uwagi dydaktyce i jej uwzględnieniu w ewaluacji.
W komentarzu do nowszej publikacji ~kk 10.03.2025 12:34 pisze, cytuję: „W tym celu niezbędne jest dzielenie punktacji za publikację przez liczbę współautorów, co ukróci dopisywanie do publikacji współautorów nie mających udziałów w pracy badawczej, zmniejszy opłacalność spółdzielni, zmniejszy opłacalność publikacji w czasopismach drapieżnych, zmniejszy opłacalność wytwórni czasopism.” W jednym zdaniu wymieniono 5 korzyści, wynikających z wielokrotnie powtarzanej przez niego w różnych dyskusjach propozycji dzielenia liczby punktów przez liczbę autorów. Dawno temu, gdy przeniosłem się z Uniwersytetu na uczelnię techniczną zauważyłem, że do wykonania opisanych w publikacji z tej uczelni badań potrzebny jest stosunkowo duży zespół. A publikacja była jednoosobowa, podpisana przez kierownika. Co to oznaczało – kierownik swoją władzą nad pracownikami mógł wziąć wyniki dla siebie. Propozycja dzielenia punktów przez liczbę współautorów może przywrócić taką praktykę. Kierownik bierze wszystko. Panie ~kk 10.03.2025 12:34, przecież obecnie też pojedynczy współautor nie bierze cały slot, tylko jego część. Nie liczą się przy tym osoby spoza danej rady dyscypliny. Jest to sprawa oczywista. Gdyby je liczyć, to współautor, na przykład, z przemysłu (a mam takich) powinien dostawać finansowanie z danej rady dyscypliny za udział w badaniach. A nie dostaje, bo jego udział sfinansował zakład pracy, który nie bierze udziału w ewaluacji.
Panie ~kk 10.03.2025 12:34. Jeszcze na studiach doktoranckich zrozumiałem jedną rzecz, którą do dzisiaj nie wszyscy rozumieją. Jeżeli masz jedno narzędzie badawcze, to masz jednostkę informacji. Jeżeli masz dwa, to masz nie dwie, a cztery jednostki informacji o przedmiocie badań. Temu służą, miedzy innymi, badania w zespołach interdyscyplinarnych, międzyuczelnianych lub międzynarodowych – a mianowicie zwielokrotnieniu informacji poprzez zastosowanie różnych metod badawczych. Panie ~kk 10.03.2025 12:34, Pana propozycja dzielenia punktów na wszystkich nie uwzględnia tak prostej rzeczy – gdyby każdy pracownik naukowy lub zespół pracował samodzielnie, bez kontaktów krajowych i zagranicznych, polska nauka, o której Pan tak troszczy się, była by słabsza, niż obecnie.
Dzielenie punktów publikacji przez liczbę współautorów tak jakość wszyscy jednoznacznie oceniają, że chodzi to tylko wyłącznie o pracę jednej osoby.
Według Pana propozycji obecnych zasad ewaluacji osoba z zespołu 10 osobowego jeśli tylko jest z innej uczelni lub z innej dyscypliny ma dostać 200 pkt, a osoby z tej samej dyscypliny mają mieć podzielone 200 pkt na tyle ilu ich jest.
Przepraszam, ale to już pokazuje, że coś nie jest tak. Jedna osoba dostaje 200 pkt bo jest z innej dyscypliny, druga 200 pkt bo jest z innej uczelni, a kolejne tylko po na przykład 40 bo są z jednej dyscypliny z danego wydziału.
Przepraszam ale na oko coś jest nie tak.
Niektóre osoby wychodzi na to, że są 2,5 razy lepsze od pozostałych.
@kk
Odnosnie ostatniego punktu, to naprawde wszystko zalezy od priorytetow oraz od definicji.
To, co dokladnie ocenia ewaluacja, moze byc przeciez przedmiotem dyskusji.
Podam przyklad z Wielkiej Brytanii, gdzie tez jest ewaluacja, ktora nazywa sie Research Excellence Framework (REF) i najblizsza ma sie odbyc w 2029 roku (REF2029). Oto, co obejmuje, i z jaka "wartoscia":
1. People, culture and environment (25% weighting)
2. Contribution to knowledge and understanding (50% weighting)
3. Engagement and impact (25% weighting)
Punkt #2 zawiera publikacje naukowe, ale to tylko 50% wartosci ewaluacji jednostek naukowych.
Natomiast zachowania nieetyczne to moze byc rzeczywiscie duzy problem. Generalnie zalozenie powinno byc takie, ze zdecydowana wiekszosc postepuje uczciwie. Jesli tego zalozyc nie mozemy, to wszystkie dzialania zaczynaja przypominac raczej regulamin wiezienny, niz zasady gry, w ktora gramy.
Podział liczby punktów za publikację przez liczbę współautorów pozwala na właściwą ocenę pojedynczego naukowca. Ne ma w tym żadnego założenia, że naukowiec jest nieuczciwy.
Natomiast pozwala to ograniczyć zachowania nieetyczne przy okazji.
@kk
Podejrzewam, ze oceniajacy woleliby, zeby naukowcy mieli publikacje w pismie za 200 punktow jako wspolautorzy miedzy 10 innymi osobami, niz artykul w pismie za 20 punktow jako jedyni autorzy.
Jak wiec zachcac do publikowania w wiodacych pismach?
To wszystko sa pytania, ktore pewnie pozostana bez odpowiedzi, bo punktowanie publikacji zawsze bedzie nioslo ze soba jakies problemy. Ewaluacja ekspercka w duzym stopniu moglaby sie tych niedociagniec pozbyc, ale obawiam sie, ze jesli eksperci byliby tylko z Polski, to rowniez mogloby prowadzic do zachowan korupcjogennych.
Nawet teraz nie opłaca się publikować za 20 punktów, a nawet już za 40 pkt dla jednej osoby.
Opłacana dolna obecna punktacja to 70 pkt. Chodzi o czas i wysiłek do efektów.
Nie sądzę by ktoś dziś tylko i wyłączne publikacjami za 20 pkt zdołał zdążyć wypełnić minima pozytywnej oceny okresowej na uczelniach.
@kk
Przepraszam, nie znam na tych punktach. Te liczby podalem tylko jako przyklad, byc moze nieadekwatny.
Moze wiec napisze inaczej: ewaluacja zapewne mialaby dzialac na korzysc takiego podejscia, ktore preferuje publikowanie w "Nature" bardziej, niz publikowanie w "Nature Communications", bardziej niz publikowanie w "Scientific Reports". I to niezaleznie (!) od tego, ile autorow jest w danej pracy.
Czy to jest wlasciwy kierunek? Kto to wie.
Ci, co podpisuja DORA mowia, ze "nie". Ci, ktorzy w jakikolwiek sposob chca uwzgledniac prestiz czasopisma w ewaluacji, mowia ze "tak".
W kazdym razie tak dlugo, jak bedzie brana pod uwage jakosc czasopisma, tak dlugo dzielenie punktow przez liczbe autorow nie bedzie dobrym pomyslem.
Skoro dziś powstaje zdecydowana większość publikacji od 100 do 200 pkt, jest jeszcze jeden próg 140, to o czym jest mowa..
Cel jest osiągnięty.
Teraz trzeba tylko dostroić.
@kk
Pisze Pan, ze "skoro dziś powstaje zdecydowana większość publikacji od 100 do 200 pkt, jest jeszcze jeden próg 140, to o czym jest mowa."
Musze przyznac, ze taka punktacja nie odzwierceidla niczego.
Jesli wezmiemy pod uwage impact factors, to (dla przykladu w mojej dziedzinie) istnieja wcale nie takie "bezwartosciowe" czasopisma, ktorych IF oscyluje w okolicach 2-3 puntow. Nie sa moze rewelacyjne, ale opublikowanie tam artykulu nie wiaze sie z zadnycm wstydem, czy tez odrzuceniem srodowiska. I jednoczesnie jest to przyslowiowe juz Nature, ktore ma IF w okolicach 50.
Czyli mamy powiedzmy dwudziesto-krotna roznice w "jakosci" okreslonej przez IF. Ta roznica oczywiscie dotyczy tylko IF, a nie jakosci pojedynczych artykulow, no ale przez moment zalozmy, ze "prestiz" danego pisma ma znaczenie.
Czyli 100-200 punktow (o ktorych Pan pisze) to roznica 2-krotna, 2,5-50 puntow to roznica 20-krotna.
Co wiec ta obecna punktacja ma tak naprawde odzwierciedlac?
Nic. Zgadzam się z Panem.