Zniesienie N0 to jeden z bardziej kontrowersyjnych pomysłów, choć nie bezsensowny. „Wycenianie” publikacji przez komitety PAN już przerabialiśmy, podobnie jak limit 2N, który nie bez powodu wiele lat temu został zastąpiony przez 3N. Czy musimy ciągle powielać stare błędy? – pyta psycholożka prof. Maria Lewicka z Uniwersytetu Mikołaja Kopernika w Toruniu.
W miniony piątek poznaliśmy ministerialne propozycje zmian w kryterium I nowej ewaluacji jakości działalności naukowej. Uważam, że bez odpowiednich symulacji nie dowiemy się, czy te zmiany pomogą, czy zaszkodzą. Kilku z nich warto się jednak przyjrzeć bliżej.
Zniesienie N0 to jeden z bardziej kontrowersyjnych pomysłów, choć nie bezsensowny. Ogółem wydaje się, że obecny projekt jest kompromisem pomiędzy dwoma wizjami ewaluacji. Wizja 1 (kryterium decyzyjne koniunkcyjne) – realizowana najpełniej w dwóch ostatnich ewaluacjach 2017–2021, 2022֪–2025 – oparta jest na ocenie średniego poziomu wykonania w danej dyscyplinie (jeżeli wszyscy będą wiosłować równo, wtedy wynik będzie lepszy, niż gdy część odnosi wyraźne sukcesy, a część nie). Wizja 2 (kryterium dysjunkcyjne) to wizja dowartościowująca najlepszych – wtedy maruderzy nie mają znaczenia dla oceny globalnej bo ich braki są kompensowane wysokimi wynikami innych. Zniesienie N0 to krok w kierunku drugiej koncepcji – czy jednak pozostałe elementy systemu też będą realizacji tej wizji służyć? Osobiście jestem zwolenniczką wizji 2 – o jakości naukowej jednostki decydują najlepsi, a nie średniacy czy najgorsi. Zadaniem kierownika jednostki jest uporanie się z maruderami, ich obecność nie powinna mieć wpływu na wynik ewaluacji.
Wymóg 2N był już obecny w poprzednich ewaluacjach, został zastąpiony 3N, gdyż osiągnięto efekt sufitowy i wyniki przestały różnicować jednostki (w szczególności dobre). Dlatego konieczna jest symulacja na już istniejących danych. Inna kwestia, że oczekiwanie 3 publikacji na pracownika w ciągu 5 lat (zwłaszcza przy zniesieniu dzielenia punktów) nie wydaje się nazbyt wymagające (i nie oznacza to bynajmniej zastąpienia jakości ilością).
Zdecydowana większość kadry na uczelniach to pracownicy naukowo-dydaktyczni (ND). Zmiana przelicznika N, czyli liczenie jednego ND jako ½ N doprowadzi do spadku ogólnego N – często poniżej minimalnego progu dopuszczającego dyscyplinę do ewaluacji (obecnie N=12). Zabierze to też dyscyplinie prawa doktoryzowania i habilitowania. Poza tym czy pracownicy dydaktyczni naprawdę mają się liczyć do N?
Uzależnienie maksymalnej dopuszczalnej liczby publikacji od rodzaju zatrudnienia jest chyba jakimś nieporozumieniem. Prawdą jest, że praca dydaktyczna pochłania czas, niemniej etaty ND mogą oznaczać bardzo różne obciążenie – od 60 do dowolnej liczby godzin rocznie. Nie bardzo wiem, dlaczego prowadzenie jednego wykładu i jednego seminarium magisterskiego (60 godzin) miałoby utrudniać komukolwiek pracę badawczą. Przecież nie będziemy uzależniać maksymalnej dozwolonej liczby publikacji od wielkości obciążenia dydaktycznego. A poza tym jest wielu pracowników naukowo-dydaktycznych, którzy świetnie łączą dydaktykę z pracą badawczą i takie ograniczenie uniemożliwi jednostce pokazanie swojego pełnego potencjału (a przecież o to w tej ewaluacji chodzi). Gdyby przepis ten się utrzymał, jednostki zaczną zatrudniać na etatach naukowych świetnie publikujących naukowców, których jedyną rolą będzie dostarczanie publikacji. Mogą nawet nie pojawiać się w pracy, bo innych obowiązków mieć nie będą. Każdy pozornie racjonalny przepis da się obejść. Inną konsekwencją będą naciski ze strony dobrze publikujących pracowników jednostki przejścia na etaty czysto naukowe. Stracą na tym studenci, a jednostka zacznie borykać się z obsadą zajęć dydaktycznych. W efekcie pozostali otrzymają dodatkowe nadgodziny, co rozkręci spiralę nierówności.
Wiele lat temu, biorąc pod uwagę różne obciążenie pracowników uczelni i jednostek PAN (czysto badawczych), wprowadzono zróżnicowane wagi, o które adjustowano dorobek w I kryterium – ten sam dorobek liczył się nieco niżej pracownikom PAN. Może warto do tego rozwiązania wrócić?
Jeśli chodzi o dzielenie punktów, znowu powrócę do rozwiązań, które zarzucono. Jeszcze przed wprowadzeniem „reformy Gowina” punkty za publikacje współautorskie nie były dzielone do (o ile pamiętam) 10 autorów na publikację, w pozostałych przypadkach wynik był dzielony odpowiednio do liczby autorów. Empiryczne prace są zawsze współautorskie, w naukach ścisłych czy w badaniach międzykulturowych często tych autorów jest kilkudziesięciu lub nawet kilkuset. W takich przypadkach warto wyżej oceniać wkład autora pierwszego lub korespondencyjnego, a niżej pozostałych.
I wreszcie nieszczęsna lista czasopism. Kompletnie nie rozumiem roli ekspertów w tworzeniu wykazu. Od dawna optuję za najprostszym rozwiązaniem – jedna lista uznana międzynarodowo i najpełniejsza z punktu widzenia obecności różnych dyscyplin, humanistycznych i społecznych także. Niech tą listą będzie Scopus. I jak najprostsze wskaźniki pozwalające na zróżnicowanie jakości czasopism. Pozostawienie decyzji ekspertom, nawet tak szacownym, jak członkowie komitetów PAN, skazuje całe przedsięwzięcie na uznaniowość. Mieliśmy z tym do czynienia kilkanaście lat temu, kiedy właśnie komitetom powierzono ocenę czasopism (wtedy krajowych). Bardzo wielu „ekspertów” promowało tytuły z własnej dyscypliny, w efekcie zintegrowanie całości okazało się prawie niemożliwe.
Rolą ekspertów nie ma być powielanie prac wielkich międzynarodowych konsorcjów opracowujących bazy czasopism, ale ocena jakościowa dorobku poszczególnych dyscyplin – a więc to, czego tak się domaga wielu: analizowanie nie tylko GDZIE, lecz też CO zostało opublikowane.
Widzę też ogromne niebezpieczeństwo w „eksperckich” próbach dopasowywania czasopism do dyscyplin, co grozi niestety rozliczaniem pracowników jedynie z publikacji w czasopismach z „własnej” dyscypliny. Tymczasem publikujemy interdyscyplinarnie, zatem to, w jakim czasopiśmie ukazują się nasze publikacje, nie powinno mieć żadnego znaczenia dla ewaluacji.
Maria Lewicka
(pogrubienia w tekście – od redakcji)
Dobry tytuł, wiele dobrych uwag.
1. Jeśli chodzi o wizję 1 i wizję 2, to jednak warto chyba realizować obie jednocześnie. Na przykład taka propozycja: osoby będące w N muszą wszystkie wypełnić po jednym slocie, swoimi udziałami (czyli wzmocnienie roli N0), a pozostałe 2N (tu się w pełni zgadzam, że 3N jest lepsze niż 2N) wypełniają najlepsi (limit 4 sloty na głowę bym powiększył, np. do 6). Oczywiście, dzielenie na autorów wysokopunktowanych prac (przynajmniej częściowe) byłoby krokiem w dobrym kierunku.
2. Propozycja, że badawczo-dydaktyczni liczą się jako N/2 jest dziwna i niedobra. Taka osoba powinna być w całej pełni w N, natomiast warto obniżyć limit publikacji (np. badawczo-dydaktyczni mieliby 3N slotów do wypełnienia, a badawczy 4N? albo, ostatecznie, 2N i 3N).
3. Scopus jako punktacja wyjściowa - pełna zgoda. Natomiast te wskaźniki są na tyle już "popsute", że dodatkowo proponowałbym "weryfikację post factum", opisaną pod koniec artykułu https://forumakademickie.pl/podnoszenie-poziomu-badan-czy-wyscig-o-punkty/ Pozwoli to EMPIRYCZNIE zweryfikować jakość czasopisma.
Wiele wskazuje na to, że podstawowe patologie systemu ewaluacji zostaną w "nowym systemie" utrzymane.
Przykład 1. Dana praca/publikacja jest wyceniona w systemie ewaluacji na "X" punktów (przykładowo 100). Czy wprowadzi do systemu "X" punktów? Nie! wprowadzi "X" * liczba autorów z różnych instytucji lub podobny wariant. Oznacza to, że system włącza mechanizm PREMIUJĄCY udział w tzw. spółdzielniach wydawniczych. Mam kolegę pracującego w podobnej działce ale różnych instytucjach, umawiamy się na "współpracę" pt. "ja dopiszę Ciebie, Ty dopiszesz mnie", i szafa gra. Wprowadzamy do systemu 200 punktów, ale każdy z nas zachowuje swoją stówkę. Patologia? Tak, patologia nagradzana przez system ewaluacji.
Przykład 2. Dwie porównywane jednostki naukowe, "A" i "B". Działające w tym samym "koszyku". Przyjmijmy hipotetycznie, że wypracowały taką samą liczbę punktów oceny parametrycznej. Przyjmijmy także, że mają taką samą liczbę zatrudnionych. Zdobyły te jednostki także taką samą liczbę grantów. Ale granty jednostki "A" zsumowały się do kwoty wyższej niż granty jednostki "B". Kto wygra rywalizację? Jednotka "A", bo premiowane jest kwotowe zwiększanie konsumpcji grantów. Patologia? Chyba tak, bo premiowane jest osiągnięcie podobnego efektu naukowego, po wyższych kosztach. Dodajmy, że jest to oczywista patologia, premiowana przez system ewaluacji.
Podsumowując, wiele ostanio się mówi o rzetelności w nauce, nadużyciach i patologiach uprawiania nauki. Jednak mało o tym, że nasze państwo INSTYTUCJONALNIE przykłada się do rozwoju tychże patologii.
Cyt."Tymczasem publikujemy interdyscyplinarnie, zatem to, w jakim czasopiśmie ukazują się nasze publikacje, nie powinno mieć żadnego znaczenia dla ewaluacji."
Bardzo ładnie i słusznie napisane.
W tym roku minęło 8 lat, gdy ukazała się praca (której jestem współautorem), zawierająca dowód niesprzeczności systemu Arytmetyki Peano, wykonany wyłącznie środkami tego systemu, co przynajmniej na pierwszy rzut oka stanowi wyzwanie rzucone II Tw. Goedla o Niezupełności (które mówi w skrócie rzecz ujmując, że taki dowód nie istnieje, ale przy założeniu, iż system Arytmetyki Peano jest niesprzeczny). Praca ta ukazała się w czasopiśmie, mówiąc oględnie, niezbyt wysoko notowanym zarówno na liście czasopism MNiSW, jak też na listach Thomson Reuters, czy Web of Science, a mimo to mało kto zwracał na to uwagę.
A ja popieram pomysł innej ścieżki oceny Instytutów Naukowych (PAN itp) one się zajmują tylko nauką, uczelnie i pracownicy badawczo-dydaktyczni (50% czasu przeznaczają na dydaktykę). Pensum to 240 godzin rocznie plus konsultacje ze studentami, zaliczenia! to jest masa pracy. Pracownik badawczo-dydaktyczny nie może być tak samo oceniany jak naukowy! Czy ktoś rozumie?
Na której uczelni pensum to 60 godzin/rok? bardzo mnie to ciekawi...
???
Cyt."[...] uczelnie i pracownicy badawczo-dydaktyczni (50% czasu przeznaczają na dydaktykę)"
Pani Elu, zależy jeszcze JAKĄ dydaktykę. Bowiem to, iż obecnie większość fizyków nie ma raczej szans na dydaktykę spoza informatyki (i to nierzadko zaawansowanej), to już norma od lat. I mało kto się tym przejmuje.
""...to w jakim czasopiśmie ukazują się nasze publikacje, nie powinno mieć żadnego znaczenia dla ewaluacji .... Szkoda że autorka tego pomysłu nie uwzględnia publikacji 6,7 stron za 1000 euro w drapieżnych czasopismach/ w FA wielokrotnie pisano o wyjątkowej szkodliwości tego procederu i pewnym cwaniactwie "naukowym" niektórych autorów/ wzbogacających dorobek "naukowców"
Też jestem sceptycznie nastawiony do propozycji Ministerstwa. Każda ocena ekspercka będzie nieobiektywna, jeśli eksperci pochodzą z tego samego środowiska, które jest ocenianie. A tak będzie, bo nikt nie zatrudni 1000+ ekspertów zagranicznych, bo to będzie zwyczajnie zbyt drogie i nieadekwatne do zysków z tak przeprowadzonej ewaluacji. Na koniec i tak Minister taki czy inny "wyrówna" niewygodne wyniki, bo aktualne (i prawdopodobnie przyszłe) Rozporządzenie daje mu do tego całkowite prawo.
Ocena parametryczna jest bardzo dobrym wyborem, bo jest obiektywnie mierzalna, trudniejsza do zmanipulowania i zastosowania eksperckiej uznaniowości. Rzecz w tym, że ocena parametryczna musi być wykonana merytorycznie i technicznie poprawnie. Bieżący system jest wadliwy, ale można go naprawić niewielkimi zmianami. Kręcenie parametrami liczbowymi tego nie zrobi. U autorów ministerialnych propozycji widać brak elementarnej wiedzy z analizy danych i statystyki.
Zmiana parametrów liczbowych w K1 nie adresuje głównych problemów tego kryterium, którymi są:
* wpływ liczby N na wynik - im większe N tym silniejsza tendencja centralna uzyskanych ocen; podmiot z N=60 ma 4 tysiące razy mniejsze prawdopodobieństwo uzyskania wyniku w top 2,5% niż podmiot z N=12; podmiot z N=120 ma 87 milionów razy mniejsze prawdopodobieństwo znalezienia się w top 2,5% niż podmiot z N=12. Wyprowadzenie teoretyczne tych zależności i ich potwierdzenie na danych z ewaluacji 2017-2022 znajduje się w artykule https://ssrn.com/abstract=5312756
* podatność na manipulację liczbą k - dostosowując treść oświadczeń pracowników z Art. 265 ust. 13 Ustawy można multiplikować punktację za jeden artykuł na wiele dyscyplin, a w ramach jednej dyscypliny można "docinać" udziały autorów do ich indywidualnych limitów. W ten sposób można uzyskać wzrost oceny K1 względem bazowej o 5-10% zależnie od charakterystyki dyscypliny i podmiotu. Jeśli do powyższego dodać manipulację oświadczeniami o dyscyplinach, to zysk wynosi nawet 40% na dyscyplinę. Wyprowadzenie teoretyczne i potwierdzenie na danych dla ewaluacji 2022-2025 w tym samym artykule https://ssrn.com/abstract=5312756
Zmiana wag kryteriów nie adresuje głównego problemu algorytmu agregacji ocen na kryteriach do kategorii naukowych, którym jest swoboda ręcznej manipulacji przydziałem kategorii przez podmioty mające wpływ na wartości referencyjne (KEN, MNiSW). Algorytm z załącznika 2 do rozporządzenia jest kalką z algorytmu ELECTRE TRI z drobnymi zmianami. Algorytm ten służy utworzeniu przydziału podmiotodyscyplin do uporządkowanych kategorii w sposób zgodny z subiektywnym systemem wartości decydenta (KEN, MNiSW), a nie zbudowaniu obiektywnego przydziału podmiotodyscyplin do kategorii. Artykuł https://ssrn.com/abstract=5312756 opisuje ten mechanizm szczegółowo, a w materiałach dodatkowych dołączony jest "optymalizator", który pod zadany z góry przydział kategorii do podmiotodyscyplin wylicza wartości referencyjne pozwalające uzyskać ten przydział. Z tym wątkiem wiąże się pytanie, czy zatem w poprzedniej ewaluacji doszło do manipulacji przydziałem kategorii? Niestety analiza statystyczna wyników w w/w artykule pokazuje, że tak, z prawdopodobieństwem błędu 5%.
W artykule też pokazano, jakie elementarne zmiany należy wprowadzić w systemie ewaluacji, aby bez zmiany ogólnej idei systemu, usunąć w/w wady.
Podsumowując, jeśli wykonanie polityki naukowej wyrażonej parametrami liczbowymi (punkty za publikacje, patenty, projekty, wagi, limity itd.) jest oceniane niepoprawnie metodologicznie, to wyniki będą niepoprawne, niezgodne z intuicją i zdrowym rozsądkiem. Proponuję więcej wysiłku włożyć techniczną poprawność systemu ewaluacji, w taki sposób, aby on rzeczywiście oceniał wykonanie przyjętej polityki.
Przeczytałem ten tekst i mam bardzo poważne uwagi metodyczne:
1. Rzecz pierwsza (która tutaj pomijam, bo w empirii często się to robi): przyjęcie rozkładu ciągłego dla zmiennej dyskretnej.
2. Jednak przyjęcie rozkładu nieograniczonego (nieuciętego) w sytuacji, kiedy zmienna jest ucięta X\in [5;300] jest fatalnym w skutkach błędem. Ucięcie rozkładu (tutaj: normalnego) zmienia znacząco dystrybuantę, co skutkuje dużymi zmianami w kwantylach. Stąd właśnie te kosmiczne liczby (a'la 10^10) na pierwszy rzut oka większe niż liczba kombinacji.
3. Jednak zarzut największy: dlaczego wynik mamy traktować jako zmienną losową, skoro jest on deterministyczny i w 100% kontrolowany (i sterowany/sterowalny) przez jednostkę? Jaka jest ku temu podstawa metodyczna? Bo ja takiej nie widzę.
4. (Pomijając pkt. 3) Dlaczego do opisu przebiegu tej zmiennej (która nie jest losowa) mamy używać funkcji nieliniowej, skoro sam wynik oceny jest kombinacją liniową wyników cząstkowych (po prostu: średnią). Lub inaczej: jeżeli rozważymy dwie jednostki, N={12, 120}, w której wszyscy pracownicy położą publikacje o takim samym rozkładzie (nie ważne jaki on będzie), to wynik obu będzie _identyczny_ => a to dlatego, że jest ważona suma wyników cząstkowych (lub całki po przestrzeni) czyli średnia arytmetyczna.
Słowem: gdybym recenzował, to raczej bym nie puścił.
Z Pana odpowiedzi nie wynika wprost, którego z czterech poruszonych w pracy wątków dotyczy wypowiedź. Domyślam się, że chodzi o obciążenie oceny K1 przez rozmiar ocenianego podmiotu. Cały wywód teoretyczny w tym rozdziale jest oparty o Centralne Twierdzenie Graniczne Lindeberga-Lévy’ego.
Ad. 1. W/w twierdzenie nie ma założeń dotyczących ciągłości lub nie rozkładu; są tylko dwa założenia: wszystkie zmienne losowe muszą być niezależne o tym samym rozkładzie, oraz rozkład ma skończoną wariancję. Oba warunki są spełnione, a dowód znajduje się w rozdziale 4.1.
Ad. 2. Wywód jest przeprowadzony przy założeniu, że składowymi oceny K1 są punkty zdobyte przez poszczególnych naukowców, a nie indywidualne publikacje, więc rozkład nie jest [5,300], ale [0,c], gdzie c to pewna stała, dużo większa niż 300, ale trudna do określenia z góry, bo wynika z sumy punktów za publikacje (limitowanej) oraz prawa własności intelektualnej (nielimitowanej, ale w praktyce skończonej). Niemniej, tak długo jak stała c istnieje to w/w twierdzenie ma zastosowanie. Twierdzenie to mówi, że nieskończona suma zmiennych losowych spełniających warunku z punktu 1 powyżej ma rozkład normalny o określonych parametrach. W tym ma nieskończone ogony. Jeśli liczba zmiennych losowych jest skończona, to wynikowy rozkład jest przybliżeniem normalnego (zazwyczaj ma skończone ogony), tym lepszym im więcej zmiennych. W praktyce przyjmuje się, że już dla 30-50 zmiennych błąd jest pomijalny; dla mniejszej liczby stosuje się rozkład t, który lepiej odzwierciedla rozkład sumy. Idąc dalej: "kosmiczne liczby" nie wynikają z ucięcia ogonów, bo właśnie dystrybuanta na tych ogonach jest użyta do wyliczenia tych "kosmicznych liczb".
Ad. 3. Bardzo chętnie dowiem się w jaki sposób jednostka może w 100% kontrolować liczbę punktów zdobytych za publikacje i prawa własności intelektualnej, skoro nawet autorzy tych wyników nie mają 100% kontroli nad procesem recenzyjnym i publikacyjnym. Pomijając ten Pana absurdalny argument i przechodząc do statystyki: wyniki (deterministyczne) naukowców pochodzą z pewnego rozkładu - jeden zdobędzie więcej punktów, inny mniej, pewne wartości są częstsze niż inne. Czyli losowo wybrany naukowiec ma wynik wylosowany z tego rozkładu. Ile razy losujemy, tyle razy może być inny wynik. Stąd wynik naukowca jest zmienną losową.
Analiza w rozdziale 4 jest oparta o założenie, że wszyscy naukowcy mają wyniki z tego samego rozkładu, co mniej więcej odzwierciedla założenie, że wszystkie jednostki zatrudniają równie dobrych naukowców. Chodzi o pokazanie, że nawet jeśli tak jest, to wraz ze wzrostem rozmiaru jednostki, jej ocena K1 będzie dążyć do wartości oczekiwanej rozkładu, a odchylenie standardowe ocen K1 będzie odwrotnie proporcjonalne do pierwiastka z liczby N. Mówiąc prostym językiem - im większa jednostka, tym trudniej będzie jej uzyskać ocenę K1 znacząco lepszą od średniej, ale też nie spadnie znacząco poniżej średniej. Konkretne wzory są w rozdziale 4.1.
Ad. 4. Sam Pan miesza w swojej wypowiedzi rozkłady z konkretnymi ocenami. Tak, ocena konkretnej jednostki jest deterministyczna, ale jeśli rozważamy całą zbiorowość, z której losujemy naukowców/jednostki to już mamy zmienne losowe. Suma/średnia zmiennych losowych jest też zmienną losową. Wartość oczekiwana oceny K1 jednostki jest liniowa względem składowych, ale już rozrzut tej wartości jest funkcją nieliniową - dokładnie to jest napisane w rozdziale 4.1. Proponuje przyswoić sobie podstawy statystyki i Centralne Twierdzenie Graniczne https://pl.wikipedia.org/wiki/Centralne_twierdzenie_graniczne
I jeszcze jedno: skoro twierdzi Pan, że ten wywód ma poważne błędy metodyczne, to jakim cudem rzeczywiste dane pasują do teoretycznie wyliczonych w ten sposób rozkładów (Fig. 2)?
Słowem: gdybym oceniał egzamin ze statystyki, to raczej bym nie zaliczył.
Ad 1. Znam twierdzenie graniczne, ale ono nie ma tutaj zastosowania, ponieważ wynik jednostki - będący liniową kombinacją niezależnych efektów naukowców - _nie jest_ zmienną losową. => Błąd poznawczy, polegający na nieadekwatnym zastosowaniu metody.
Ad. 2. Ależ skąd, wyniki dla jednostki po zsumowaniu (czy scałkowaniu, jakkolwiek): \in (0, N*900], a po unormowaniu (podpowiem: średnia arytmetyczna): \in (0, 900] lub \in (0, 300] [w zależności, czy normą jest N lub 3N). To elementarne własności przestrzeni liniowej.
Ad. 3. Być może nie wie Pan jak wygląda proces publikacyjny, chętnie wiem w skrócie opowiem. Otóż naukowiec (nie ważne, czy indywidualnie czy grupowo) nie losuje publikacji z urny dostępnych do wylosowania [a wówczas byłaby to zmienna losowa]), tylko:
a. _sam_ podejmuje decyzję co napisać,
b. _sam_ wybiera czasopismo,
c. _sam_ wprowadza poprawki po recenzjach,
d. _sam_ decyduje co na koniec (publikacja, transfer, etc)
e. _sam_ upoważnia jednostkę do możliwości wykazania publikacji w ramach osiągnięć grupowych (jednostki właśnie).
Jak Pan widzi wszędzie "sam", jest więc to proces _deterministyczny_, a nie stochastyczny (poza wynikami recenzji może, ale to inne zagadnienie).
I dalej: jednostka nie wybiera naukowców losowo, tylko _celowo_ zatrudniając ich u siebie. Uwaga: przed zdarzeniem (czyli a priori), jest więc to wartość z góry ustalona. Wynik końcowy jednostki znów _nie jest losowy_, tylko deterministyczny, gdyż w istocie to maksymalizacja liniowej kombinacji _nielosowego_ dorobku indywidualnego _nielosowej_ grupy pracowników przy nieliniowych ograniczeniach.
Ad. 4. Wyniki końcowy, tak jak opisałem powyżej, _nie jest_ zmienną losową, ponieważ wynik publikacyjnych pracowników _jest deterministyczny_ (z dokładnością do recenzji). Powtórzę jeszcze raz: ani zgłaszane publikacje, ani pracownicy _nie są_ losowani, zamiast tego wszystko jest _wybierane_.
I jeszcze uwagi końcowe:
1. Tak, rozrzut (proponuję jednak używanie słowa wariancja) nie jest liniowy, ale nie mówimy tutaj o zmienności, tylko poziomie. (To taki elementarz, proponuję poczytać).
2. To, że dane pasują do tego, co Pan nazywa "teorią" jest anegdotą, szczególnie, że to drugie powstało na podstawie pierwszego.
3. Jednostki o różnych N mają _identyczne_ szanse na uzyskanie wyniku końcowego, gdyż tenże jest sumą zdarzeń niezależnych (także probabilistycznie na to patrząc), a N (lub 3N) jest tutaj jedynie _stałą normującą_, która ma dokładnie zerowy wpływ na indywidualne i niezależne od siebie publikacji ludzi. Z punktu widzenie jednostki zaś to może mieć znaczenie, ale tylko wtedy, kiedy jednostka nie potrafi _zarządzać_ wartością N (czyli swoim składem osobowym). Uwaga: "zarządzać", czyli znów działanie celowe, a nie losowe.
Słowem: całość Pana pracy jest imponująca, ale musi wylądować w koszu, ponieważ przyjął Pan nieadekwatne założenia. Przy okazji chyba kilka egzaminów po poprawienia, jakby co mogę polecić korepetytorów.
@tpawlak
"Każda ocena ekspercka będzie nieobiektywna, jeśli eksperci pochodzą z tego samego środowiska, które jest ocenianie. A tak będzie, bo nikt nie zatrudni 1000+ ekspertów zagranicznych, bo to będzie zwyczajnie zbyt drogie i nieadekwatne do zysków z tak przeprowadzonej ewaluacji."
Zgadzam sie calkowicie z tym, ze jesli "eksperci pochodzą z tego samego środowiska", to "ocena ekspercka będzie nieobiektywna". I dlatego wlasnie jednak sugerowalbym, zeby zatrudnic tych "1000+ ekspertów zagranicznych".
Nauka to jest wolność myślenia. Nikt nie podejmie się realizacji nowego obiecującego tematu bo nie ma gwarancji, że otrzyma ostatecznie dobry wynik. Jest też ogronna różnica między humanistami a ścisłowcami. Dla humanusty każdy wynik jest publikowalny. Scisłowiec może pracować a końcowy wynik będzie nisatysfajcjunący, nieciekawy. Humanista może pokazać każdą analuzę i wynik. Zalewa nas ogromna liczba publikacji z czego tylko niewielki procent ma wartośc istotną.
A może jednak system obowiązku zrobienia doktoratu, habilitacji i profesury był najlepszy ?
Nie zapominajmy, że dydaktyka to też jest ogromna praca.
Na pewno nie był najlepszy, bo generuje odwróconą piramidę. W końcu wszyscy będą tymi profesorami i prawie nie będzie miejsca dla nikogo innego. I TAK mamy do czynienia z tym zjawiskiem, w tym wypadku raczej z powodu nieatrakcyjności finansowej (bo młodzi utalentowani ludzie, w przeciwieństwie do sytuacji w PRL, mają gdzie pracować poza nauką). Nie warto jeszcze wzmacniać tej tendencji przepisami.
Wiele osób nie zdaje sobie sprawy, że nie ma powrotu do sytuacji z lat 60.-80., kiedy najlepsi mieli do wyboru tylko marne pensje i możliwość rozwoju naukowego na uniwersytecie, albo marne pensje i nudną pracę w biurze jakiejś państwowej instytucji. W każdej możliwej sytuacji wyboru pensja wynosiła 30 dolarów i cześć. Ewentualnie wyjazd za granicę, co wtedy nazywało się "emigracja" i oznaczało zerwanie z krajem. Tego nie ma i już nie będzie.
Marlew, ten wpis brzmiał zupełnie INACZEJ i szkoda, że (nie mogę go znaleźć) został usunięty. To brzmiało mniej więcej tak (i jest tu gdzieś częściowo cytowane), że naukowcy, którzy (zwykle) mają jedynie 60 godzin dydaktycznych nie powinni wymigiwać się od obowiązków publikacyjnych. Ta niska ilość godzin dydaktycznych okazała się fałszywą wiadomością. Tak samo jak wiadomość, że nie istnieje stanowisko naukowo-dydaktyczne czy wiadomość, że nadgodziny i godziny ponadwymiarowe to dwa odmienne pojęcia (nie ma czegoś takiego w praktyce jak nadgodziny w trybie pracy zadaniowej). Albo ktoś tu celowo sieje fake news, albo sami nie potrafimy dojść między sobą do porozumienia. A tymczasem... (parafrazując kawał z żółwiem)... nauczyciele ponoć wywalczyli sporą podwyżkę.
Pomijając już oczywiste nieścisłości (nie ma kategorii "naukowo-dydaktyczny", jest "naukowo-badawczy"), to oto, co się dzieje, kiedy humaniści zabierają się za analizę danych:
1. "Wizja 1 (...) oparta jest na ocenie średniego poziomu wykonania w danej dyscyplinie (jeżeli wszyscy będą wiosłować równo, wtedy wynik będzie lepszy". Otóż nie, szanowana Pani Profesor: średnia jest jedynie miarą położenia i bez miary rozproszenia niewiele mówi. Nikt bowiem nie zakłada, że rozkład będzie jednostajny. A zatem: skoro jednostajny (raczej) nie będzie, to znaczenie mają ogony (czyli rozproszenie). Ponieważ jednak rozkład jest ucięty z prawej strony (max. 200(300)), to znaczenie ma w istocie lewy ogon => ten lepiej wiosłuje, kto ma mało maruderów. Zaznaczam: mało, czyli nie są N0, a jednocześnie ich bezwartościowe (na ogół po polsku zresztą) prace da się zastąpić czwartymi publikacjami najlepszych.
2. "Wizja 2 (...) to wizja dowartościowująca najlepszych": otóż już teraz tak jest, ponieważ to najlepsi (w rozumieniu publikacji) są w stanie zmienić asymetrię rozkładu.
Wniosek: obecne propozycje są tylko po to, aby molochy, które ostatnio powinny utraci masę (jak nie wszystkie, vide. SGH) uprawnień mogły dalej być molochami, zapełnionymi przez pseudo naukowców, którzy poklepują się po plecach i myślą, że jak 58x opublikują to samo w zeszytach naukowych w Koziej Wólce, to mają tytuł do bycia naukowcem.
Chyba badawczo-dydaktyczny (bo na pewnie nie naukowo-badawczy)?
Pan wybaczy, ale także psycholog dobrze wie, czym jest średnia i odchylenie standardowe :-) Wizja 1 wymaga - tak jak pisałam - kryterium koniunkcyjnego - każdy musi coś wrzucić do wspólnego garnka, jeżeli nie wrzuci, z garnka wyjmuje się odpowiednią liczbę "slotów", obniżając możliwe maksimum, a poza tym obcina się "makówki" tym, którzy wystają zanadto (do maksymalnie 4 slotów). Powoduje to spłaszczenie wyników oraz - niestety - obecność słabych publikacji od tych osób, którzy slotów nie mają czym wypełnić. Ideałem jest tu, żeby wszyscy wiosłowali równo (3 sloty na łebka).
Wizja 2 stawia na najlepszych (jest oparta na kryterium dysjunkcyjnym). W tekście, który został dołączony do tego komentarza proponuję, żeby dać pełną swobodę wypełniania 3N (czy jakiejkolwiek innej wielokrotności N) ale porównywać rozkłady. Niżej ważyć rozkłady odbiegające wyraźnie od Pareto w kierunku większej skośności (a więc od reguły, że 20 % produkuje 80% wyników) a wyżej w kierunku rozkładu bardziej prostokątnego. Daje to lepszy ogląd faktycznego dorobku jednostki (teraz: dyscypliny).
Ad.1. Tak, oczywiście "badawczo-dydaktyczny"
Ad.2. Oj, chyba nie.
Rozważmy dwie następujące N=12, przyjmując dla uproszczenia, że można wykazywać tylko artykuły wg następującej punktacji: {20, 40, 70, 100, 140, 200}:
1. wszyscy publikują tuż za medianą (czyli za 100 pkt.), i każdy zgłasza 3 takie artykuły jednoautorskie;
2. osiem osób zgłasza po cztery artykuły za 200 pkt. każdy, pozostałe cztery osoby zgłaszają po jednym artykule za 20 pkt.;
Która N-ka zrobi lepszy wynik i w której jest wyraźne premiowanie najlepszych?
No w drugim oczywiście, tu jest 540, w pierwszym 300. Ale właśnie o to mi chodzi. Jeżeli uwolni się liczbę możliwych zdarzeń do zgłoszenia wtedy mamy lepszy ogląd jednostki. Ten drugi zresztą pokazuje, że 8 osób na 12 (66%) wyrabia ponad 90% całości. I to jest dla jednostki bardzo dobry wynik - odbiega in plus od Pareto. Niemniej niepokojące jest, że w jednostce (badawczo-dydaktycznej) aż 8 osób nie prowadzi żadnej dydaktyki. A to oznacza, że cały ciężar spada na te biedne 4 osoby :-). Z konieczności prowadzi to do podziału na lepszych i gorszych, niezadowolenia tych drugich i spadku morale zespołu. Rozumiem, że to był tylko przykład ekstremalny, niemniej niepokojący.
Dlatego uważam, że na uniwersytecie wszystkie etaty powinny być badawczo-dydaktyczne z elastycznym (i wymiennym) pensum - raz jeden ma mniej, innym razem drugi. Raz jeden idzie na urlop naukowy, innym razem drugi. Raz jeden wyjeżdża na staż zagraniczny, innym razem drugi.... I od wszystkich pozwalamy na zgłoszenie takiej liczby zdarzeń (publikacji) jakie zrobią nam najlepszy wynik - przy czym bierzemy pod uwagę odchylenie od Pareto - im bardziej skośny, tym mniejsza waga ogólnego wyniku. I wtedy trzeba będzie policzyć, co nam się bardziej opłaca - brać jak najwięcej od "stachanowca" czy jednak włączyć nieco niżej punktowane ale jednak publikacje też innych pracowników.
To wszystko trzeba przesymulować na istniejących (lub teoretycznych) danych .
Bardzo dobrze, tylko jako to teraz pogodzić ze zdaniem: "jeżeli wszyscy będą wiosłować równo, wtedy wynik będzie lepszy, niż gdy część odnosi wyraźne sukcesy, a część nie"?
I sprawa znacznie ważniejsza: skoro zauważa Pani efekt Pareto (trafnie), to oznacza to nic innego jak silną(skrajną) asymetrię rozkładu. I tutaj doszliśmy do sedna: po co te propozycje? Otóż właśnie po to, żeby dostosować system do tej asymetrii dając molochom szanse na egzystencję i podtrzymanie fasady, jaką jest polska pseudo nauka. Oto odrobina empirii: soczewką tej żałosnej sytuacji (czyli pseudonaukowości) w Polsce jest niejaka SGH, w której 95% pracujących osób stanowi naukowe zero (dosłownie i w przenośni [wide niedawne wybory prezydenckie]). Wyszło to podczas ostatniej ewaluacji, w wyniku której ta przetwórnia powinna stracić wszystkie(!) uprawnienia. Dziwne? Ależ skąd, przecież napisałem, że to dydaktyczny tytanik, w którym poza garstką osób nikt nauką się nie zajmuje => nie jest to więc jednostka naukowa, a więc utrata uprawnień naukowych jest oczywistą konsekwencją. Co się jednak stało? Polityka wzięła górę nad analizą i ówczesny tzw. minister (Czarnek) tak długo manipulował wartościami referencyjnymi, aż "uratował" SGH (przy cichym wsparciu przedstawicieli innych partii).
Wnioski: chyba oczywiste.
To zdanie dotyczyło charakterystyki wizji 1 (a nie mojego ideału).
Gdy tylko 5% zajmuje się nauką to oczywiście całość odbiega od Pareto w kierunku ogromnej skośności i wynik ogólny powinien być odpowiednio niski.
Moja wizji jednostki kształcącej studentów (czyli szkół wyższych , w tym uniwersytetów oczywiście) jest taka, że powinny tu być etaty badawczo-dydaktyczne i praktyczno-dydaktyczne, to znaczy w obu przypadkach pracownik, który uczy ma czego uczyć, w pierwszym przypadku dydaktyka jest nastawiona na przygotowanie badawcze i teoretyczne, w drugim - daje też przygotowanie praktyczne. Pracownicy praktyczno-dydaktyczni powinni być aktywni w praktyce (jakakolwiek by ona nie była, w psychologii na przykład to mogą być czynni psychoterapeuci). Natomiast ewaluacja nauki dotyczyłaby oczywiście tylko pierwszych, i (chyba tak ma być też teraz) tych drugich jeśli coś publikują .
Nie rozumiem: skoro "dotyczyło charakterystyki wizji 1" i pokazałem jego fałszywość (poprzez kontr przykład), to znaczy, że obecny system _nie może_ być w ten sposób charakteryzowany.
Mieszanie nauki i dydaktyki jest błędem podstawowy, co zresztą ma odbicie w aktualnym podziale na jednostki akademickie i praktyczne. Niestety jednak w tym kraju nie ma odważnego, który by powiedział, że 90% środowiska naukowego nauki nie uprawa (tylko to udaje, z różnych przyczyn zresztą) i że w istocie cała ta grupa nie powinna piastować stanowisk naukowych. A że przy okazji jej (tej grupy) doświadczenie nieakademickie jest równie porywające, przeto cała ona powinna wylecieć na bruk.
Zamiast jednak tego proponuje się system utrzymujący fasadę, w której niby-naukowcy będą niby-publikowali niby-artykuły w niby-czasopismach (a nieśmiertelnych [i bezwartościowych] rozdziałach w monografiach zbiorowych nie wspominając).
No przecież ja się opowiadam za Wizją 2! Od samego początku.
Może albo skończmy już tę dyskusję albo przejdźmy na prywatny: marlew@umk.pl :-)
Pozdrowienia!
Przecież w Polsce trzeba się nazmieniac, aby wróciło do tego co było.
Ach, ta dydaktyka... Skoro ND ma mniej czasu na badania, to jego prace powinny liczyć się bardziej niż N. Swoją drogą nie wiem skąd Pani Profesor, z mojego Uniwersytetu zresztą, mówi o tych 60h. Dla pracownika na stanowisku adiunkta czy profesora uczelnianego na UMK jest to 210h. Dla kogoś, kto chce porządnie uczyć, jest to dużo. Zwłaszcza jak np trzeba przygotować zupełnie nowy przedmiot, co zazwyczaj zrzuca się na dobrych dydaktyków. W konsekwencji, dydaktyka potrafi zabierać czas, a godzenie jej z porządną pracą naukową z doświadczenia mojego otoczenia jest trudne i bardzo uprzykrza życie osobiste. Nie mówiąc już o konieczności pisania wniosków o grant czy uczeniu się zupełnie nowych rzeczy, co jest uważam niezbędne dla rozwoju. Według mnie trzeba realnie zmniejszyć pensum dla ND, zwłaszcza w dobie niżu demograficznego.
Jejku, 60 godzin było tylko przykładem! Jako przykład, że osoba z 60 godzinami dydaktycznymi (jest taka możliwość w obecnej ustawie) będzie tak samo liczona jako ND jak i osoba z pensum 210 godzin czy wyżej. A są przecież w innej sytuacji jeśli idzie o potencjał badawczy. Dla uściślenia, ja mam od kilku lat bardzo duże nadpensum, jak zresztą wielu moich kolegów. Tak, oczywiście super by było, żeby to pensum zmniejszyć tylko wtedy potrzeba nam więcej kadry.
Może Pani Profesor ma mniej godzin dydaktycznych, niż się Panu/Pani wydaje. U mnie na uczelni też część osób ma mniej. Ale dlaczego są takimi wybrańcami to nie wiem.
Proszę Pana, ja mam od kilku lat 300 godzin dydaktycznych rocznie (przy pensum 180). I to by było na tyle.
,
Nie nam się wydaje, tylko pani Profesor wydaje się, że ta ilość godzin, którą ma jest normą. Otóż niestety nie jest normą.
Jak zwykle zgadzam się ze wszystkim, zwłaszcza co do symulacji, czy nie ma efektu sufitu przy 2N (przecież to jest bardzo proste do zrobienia) oraz co do ekspertów przy ocenie czasopism. Nie tylko nie ma sensu używać ekspertów, żeby zrobili coś co zostało zrobione, ale też nie ma podstaw sądzić, że zrobią to lepiej, za to są, że zrobią to gorzej (jeśli będą to komitety PAN, to zawsze będzie konflikt interesów i nie zawsze będzie spełnione kryterium jakości).
Symulacje są potrzebne. Efekt sufitu będzie!
Przy czym dla dzisiejszych danych trzeba przyjąć nie tyle 2N, co:
N * (1 + b),
gdzie b = frakcja pracowników na stanowiskach badawczych
Dla uczelni z niezłym przybliżeniem daje to 1N :-)
Dodatkowo trzeba przeliczyć punkty inaczej, bowiem zgodnie ze skalą z prawie już gotowego rozporządzenia o sporządzaniu wykazów, liczba czasopism 200- i 140-punktowych ma bardzo znacznie wzrosnąć.
Z grubsza wygląda to tak:
https://x.com/LewDataScience/status/1949024529285587386
Ale wysycenie punktami dotyczy części automatycznej oceny, a być może każde osiągnięcie ma jeszcze być oceniane przez człowieka. Dla mnie to fatalny pomysł, który zmarnuje mnóstwo czasu ludziom mogącym w tym czasie uprawiać naukę, a nie wierze, że istotnie poprawi to rzetelność wyniku. Ale może źle zrozumiałem, że taki jest plan.
Dziękuję za odpowiedź; chodziło mi o proponowaną symulację oceny jednostek, ale jeśli miałoby to wyglądać tak jak Pan pokazuje na swojej symulacji, to efekt sufitu jest jeszcze bardziej prawdopodobny. Oczywiście nie wyobrażam sobie dodatkowej manualnej oceny wszystkich publikacji, ale może mam słabą wyobraźnię. Co do "który zmarnuje mnóstwo czasu ludziom mogącym w tym czasie uprawiać naukę" to obawiam się, że może to wyglądać oszczędniej, tj. "który zmarnuje mnóstwo czasu ludziom".
Oczywiście rozumiem, że chodzi o symulację wyniku podmioto-dyscyplin z publikacji. Do pełnej trzeba by mieć pełne dane, które ma OPI. Ja policzyłem kilka, dla których takie dane mam, za to już z obecnego okresu i na tej podstawie stwierdzam, że jest efekt sufitu (dokładnie: najniżej punktowane publikacje mieszczące się w koszyku to te po 200 punktów; oczywiście w przypadku wysoko punktujących podmioto-dyscyplin, także z dziedziny nauk humanistycznych).
A ja właśnie uważam, że ocena publikacji ma zdecydowany sens. Oczywiście musiała to by być wybrana próbka od jakiejś minimalnej liczby pracowników. Do tego samoopis jednostki pod kątem tego, co tak naprawdę tu osiągnięto, na ile to jest oryginalne, jak wygląda współpraca międzynarodowa, jaki jest oddźwięk tego w społeczności akademickiej. To jest właśnie ocena ekspercka jakości. Oczywiście jest to czasochłonne ale raz na 5 lat pewnie warto taki przegląd jednostek dokonać.
"Ja policzyłem kilka, dla których takie dane mam, za to już z obecnego okresu i na tej podstawie stwierdzam, że jest efekt sufitu"
jeszcze raz dziękuję - no to w zasadzie już dostarcza Pan bardzo ważną odpowiedź, bo sufit podważa sensowność tego przedsięwzięcia (przynajmniej dla czołówki).
"To jest właśnie ocena ekspercka jakości."
W pełni przychylam się do Twojej, Marysiu, propozycji oceny dwuetapowej, a więc ilościowej opartej o Scopus i jakościowej opartej o samoopis i ekspertów międzynarodowych (dwa warunki: jakość i brak konfliktu interesów):
https://forumakademickie.pl/dwustopniowa-ewaluacja-nauki/
W moim obszarze badań jest tak: publikacja w czołowym czasopiśmie danej subdyscypliny jest oceniana przez kilku najlepszych w świecie specjalistów z tego konkretnego obszaru badań.
Nie widzę, co do oceny tej pracy mogliby w procesie ewaluacji oceny instytucji wnieść eksperci z szerokiej dyscypliny (np. językoznawstwo, nauki psychologiczne, a zwłaszcza całe nauki medyczne). Na ogół mimo dobrej woli nie będą w stanie ocenić ani metodologii, ani oryginalności, ani znaczenia dla obszaru badań.
Po pierwsze nie wiem dlaczego publikacje z językoznawstwa miałby oceniać ktoś z nauk medycznych. Po drugie nie chodzi o ocenę publikacji jako takiej ale wkładu do dyscypliny, oryginalności itd. Kiedy dostaję do oceny dorobek habilitacyjny to jest on w 99,9% oparty na publikacjach, które przeszły przez solidne sito recenzyjne. A jednak muszę się wypowiedzieć o jego jakości, oryginalności, a nawet wybitności. Taka ocena ekspercka moim zdaniem (i pisałam o tym wcześniej) powinna obejmować szerszy zakres niż tylko treści zawarte w publikacjach - też współpracę międzynarodową, oddżwięk międzynarodowy liczony cytowaniami, inne formy uznania dorobku naukowego (nagrody, prestiżowe wyróżnienia), obecność prężnych zespołów badawczych itp. I nie wszystkie jednostki by jej podlegały tylko te aspirujące do kategorii A lub (w szczególności) A plus. Byłby to drugi etap ewaluacji, po pierwszym (czysto ilościowym - i możliwie uproszczonym).
@marlew, dwa wyjaśnienia:
1. Mój komentarz dotyczy propozycji ministerstwa, czyli oceny każdej jednej zgłoszonej do koszyków 2N publikacji, a ściśle to jeszcze mnożone przez dyscypliny reprezentowane w publikacji i przez podmioty reprezentowane w tej publikacji. To byłoby ok. 10^5 ocen, a w tym książki po 800 stron...
Nie był to komentarz do Twojej, innej propozycji.
2. Nigdzie nie sugerowałem, że osoba z nauk medycznych miałaby oceniać artykuł z językoznawstwa. Chodziło mi o to, że większość dyscyplin jest na tyle szerokich, że jakiejkolwiek oceny merytorycznej powinna dokonać osoba z konkretnego OBSZARU badań, która orientuje się w jego metodyce i zna aktualne ustalenia. Ten warunek może być spełniony, i dość często bywa, w ocenach awansowych, o których piszesz. Nie byłby spełniony w automatycznie przypisywanym procesie oceny wszystkich publikacji w dyscyplinie przez przypadkowe grono ekspertów w tej samej dyscyplinie.
By posłużyć się konkretnym przykładem, mój artykuł opublikowany tydzień temu: https://www.nature.com/articles/s41599-025-05446-y dostałby do oceny np. specjalista z zakresu fonologii historycznej języków romańskich. Zapewniam Cię, że nie jest w stanie ocenić ani metod ani wpływu na dyscyplinę w ujęciu polskich regulacji, ponieważ wpływ zwykle nie będzie na całą dyscyplinę, a na jakiś węższy obszar.
Z kolei w naukach medycznych pracy, która proponuje modyfikację w modelu predykcyjnym SEIR prognozującym przebieg epidemii wirusej, nie może ocenić np. hematolog.
To może zacznę od końca (chociaż pewnie lepiej by było korespondować prywatnie niż na całym forum). Otóż kryterium I daje tylko ogląd tego, na ile publikacje, które weszły do koszyka mogą być uznane za publikacje dobre, metodologicznie poprawne itd. (czyli przeszły sito recenzyjne w dobrych czasopismach). Natomiast kompletnie nic nie mówi (inne kryteria tym bardziej nie), w czym tak naprawdę dana jednostka (dyscyplina) wybija się na tle innych. Czy są to po prostu względnie solidnie robione prace "rzemieślnicze", czy też jest tu coś więcej, co by usprawiedliwiało nadanie dyscyplinie kategorii A lub A-plus. Dobry wynik w ewaluacji można dostać będąc trzecim, czwartym czy piątym autorem publikacji wielo-autorskich, realizując cudze pomysły, czy wręcz pełniąc w nich techniczne zadania. Dobry wynik w ewaluacji może dostać dyscyplina, której pracownicy publikują od sasa do lasa, byle tylko w nieźle punktowanych czasopismach. Natomiast moim zdaniem na kategorię A (tym bardziej A plus) powinny zasłużyć jednostki, które mają wyraźną specyfikę badawczą, realizują coś oryginalnego, coś, co ma oddźwięk w środowisku (lub ma taki potencjał), które tworzą zespoły badawcze, a także publikują we współpracy międzynarodowej . Czy w tej dyscyplinie są laureaci nagród naukowych (wszelkiego rodzaju, byle nie rektora własnego uniwersytetu :-), pełniący funkcje z wyboru w międzynarodowych gremiach? Oczywiście ocenie eksperckiej podlegałaby tylko wybrana liczba publikacji - to, co najbardziej charakterystyczne dla jednostki. Te oceny eksperckie (może razem z autoreferatami jednostek) mogłyby być publicznie dostępne po ewaluacji - wtedy stałyby się lustrem dla innych jednostek i źródłem informacji o tym jak wygląda polska nauka w różnych dyscyplinach..
No coś takiego... Oczywiście warunkiem jest istnienie niezależnych (międzynarodowych) ekspertów.
W psychologii w poprzedniej ewaluacji startowały 24 dyscypliny , z czego kategorię A otrzymało w pierwszym rzucie (bez odwołań) 8. Powiedzmy, że połowa z tych 24 aspirowałaby do A i zostałaby poddana ocenie eksperckiej. Czy naprawdę stworzenie zespołu ekspertów psychologicznych dla tej dwunastki raz na 5 lat byłoby takich problemem? Jeżeli możliwe to jest w małej Portugalii, w Czechach (byłam członkiem takiego zespołu), to dlaczego nie u nas?
W ogóle nie polemizuję z Twoją propozycją, tylko z nową propozycją ministerstwa, aby ludzie oceniali _każdą_ zgłoszoną do ewaluacji publikację. I to wielokrotnie, jeśli reprezentowanych jest w niej kilka dyscyplin i być może kilka podmiotów.
Ale: wysoko stawiasz poprzeczkę na A. W moim mniemaniu byłoby już super, gdyby dominowało to "solidne rzemiosło"! Nie tylko w Polsce.
Doktoratu nie mogę zrobić od kilku lat. Najpierw był mobbing ze strony promotora i okradzenie z uzyskanych wyników badawczych, a po nagłośnieniu sprawy wykluczył mnie z badań naukowych, komisja antymobbingowa nic nie stwierdziła, a nawet ze mną nie porozmawiała o problemie tylko szybko wygasili sprawę. W 2026 roku będę przechodził ocenę okresową i nie mam żadnej publikacji, bo tak postąpił ze mną mobber. Całe te oceny i parametryzacje i ewaluacje już mnie ni interesują. Teraz złożyłem pozew do sądu i tego już nikt ja uczelni nie będzie w stanie wyciszyć. Proszę, módlcie się za mnie...
pisz do KRD, skoro jednostka jest przeżarta belwererskimi kolesiami, to niech się przyjrzy temu ktoś z zewnątrz. w końcu KRD od tego jest.
Poszedł pozew do sądu, sprawa niebawem wypłynie i się całe belwederskie kolesiostwo obnaży.
PS. Po co mam pisać do Krajowego Rejestru Długów (KRD)?
Krajowa Reprezentacja Doktorantów
Mody, czy Ty wierzysz w te organy i instytucje?
Co ta Reprezentacja może mi pomóc?
Uważasz, że opinia KRD jest ważniejsza niż wyrok sądu?
Po moim zgloszeniu powołana została rowniez komisja antymobbingowa, ktora niczego sie nie dopatrzyła.
Nie ufam tym wszystkim organom, ktorych opinie i zalecenia nie mają mocy prawnej.
Wyrok sądu jest obowiązujący i tyle!
Trzymaj za mnie kciuki, Mlody
"Prawdą jest, że praca dydaktyczna pochłania czas, niemniej etaty ND mogą oznaczać bardzo różne obciążenie – od 60 do dowolnej liczby godzin rocznie."
Prawdą jest, że maruderzy nie publikują bo mają gdzieś. Nie mniej jednak dydaktycznie różnica między mną a maruderem który jest przenoszony sztucznie do dyscypliny która nie będzie wykazywana po to żeby nie mieć N0, jest żadna.
Skoro poświęcam swoje życie nawiązując współprace i publikując w najlepszych czasopismach robiąc to od ZERA, bo moja jednostka nie miała NIGDY wypracowanych rozwiązań jak publikować w taki sposób i jak prowadzić badania aby dotrzeć na szczyt dziedziny, to odejście od N0 MUSI iść w parze z kijem.
Maruder nie chce publikować? Niech uczy. Dla mnie te 60 godzin (chociaż uważam, że to co Pani Profesor mówi dotyczy TYLKO belwederów) i tak jest czymś co pokazuje, że docenia się moje poświęcenie. Prace magisterskie i doktorskie mogę zawsze prowadzić.
Tak samo 0,5N też uważam za dobry pomysł, niech się skończą te czasy jeżdżenia maruderów na karkach tym co zależy na nauce a nie na filozofowaniu co to powinno być.
Pozdrawiam,
"młody"
Być uczonym przez marudera. Czy to jest to, na co zasługują studenci? A może zamiast marudera mieć kilku dobrych, którzy podzielą między siebie jego godziny i będą w stanie zainteresować studentów przedmiotem. A tak, wiem, pensum... Nie można dopuścić, żeby ci dobrzy mieli za mało godzin dydaktycznych, bo kometa spadnje na ziemię i co wtedy z nami będzie?
Nauczenie się prowadzenia zajęć i przekazania wiedzy ZAWODOWEJ naprawdę nie wymaga wielkich zdolności.
Tak samo prowadzenie wykładów. Nie róbmy z dydaktyki pomnika, bo nim zwyczajnie nie jest.
Niech w takim razie badawczy prowadzi prace magisterskie i niech się skupi na pracy badawczej z dyplomantem zamiast uczyć czegoś co może Maruder zrobić równie dobrze.
A kto naprawdę zainteresuje studentów nauką? Miewałem na studiach wykładowców-maruderów, jednego nawet potem wywalili za przyjmowanie łapówek za zaliczenia. Nie wymagam noblistów w roli nauczycieli akademickich, ale niech to będą ludzie, mający w sobie trochę życia i iskry, którą przekażą następcom, a nie typy, które odwalają pańszczyznę. Wykładowca, który jest w stanie przekazać coś z własnego doświadczenia związanego z daną dziedziną będzie na pewno skuteczniejszy w nauczaniu, niż znudzony klerk.
od tego są ewaluacje jakości prowadzenia zajęć.
Jeśli pytania są ułożone faktycznie w taki sposób aby sprawdzić czy taki maruder potrafi coś przekazać, to po 2 semestrach albo się zmieni albo jego się zmieni.
Nie rozumiem myślenia typu, maruderzy są bo są a studenci tracą bo naukowcy nie uczą. Takie myślenie powoduje, że na uczelni mamy zatrzęsienie ludzi którzy się zasiedzieli i teraz im robimy prezent w postaci N0.
Niech idą na dydaktykę, jak tam się nie sprawdzą to w końcu zejdą z karku ludziom którzy coś robią, bo szczerze mówiąc, skoro obecne kryteria ich nie zmyły to nic już ich nie zmyje.
Naprawdę, uczenie zawodu nie jest tak trudne, tym bardziej, że są ludzie którzy nie chcą uczyć zawodu a robić naukę.
Przecież nie pójdą do PANu bo tam jeszcze większy skansen niż na uczelniach.
"Nie rozumiem myślenia typu, maruderzy są bo są a studenci tracą bo naukowcy nie uczą. Takie myślenie powoduje, że na uczelni mamy zatrzęsienie ludzi którzy się zasiedzieli i teraz im robimy prezent w postaci N0".
Muszę stwierdzić, ze nie widzę związku.
Dokladnie tak. Jeszcze pytanie po co w Instytutach emeryci, ktorzy ani nie publikuja, ani nie prowadza badan, ani nie maja zadnej dydaktyki... zamiast bujac wnuki pobieraja apanaze i przeszkadzaja innym w pracy.
Chcecie naprawić polską naukę? Jednym ze sposobów może być taki wzór na liczbę osiągnięć do ewaluacji = x(N-R), gdzie x = 2 lub 3 (jak tam komu pasuje), N = jak dotychczas, R = liczba retraktowanych artykułów dla N. W ten sposób liczba osiągnięć do ewaluacji w niektórych przypadkach może nawet być ujemna, a rektorzy może zaczną się zastanawiać, czy opłaca im się utrzymywać (i nierzadko nagradzać) papierników i innych magików od optymalizacji osiągnięć. Bo R będzie miało tendencję wzrostową, a N raczej nie. Już kiedyś pisałem - Problematic Paper Screener, ImageTwin etc. - potrzebni są tylko chętni do używania tych narzędzi. Może Zespół ds. nieuczciwych praktyk publikacyjnych?
System bez MARNOTRAWSTWA, to ocena 2N lub 3N najlepszych osiągnięć jednostki , bez limitu publikacji na pracownika, oceniamy DYSCYPLINĘ NAUKOWĄ. TRZEBA ZREZYGNOWAĆ Z BEZSENSOWNYCH SLOTÓW. W mojej ocenie 2N wystarczy do oceny. Trzeba wprowadzić IV kryterium, potencjał naukowy (doktoraty, habilitacje, profesury i inne osiągnięcia).
Tak Panie Ireneuszu,
Stopnie i tytuły, to naistotniejszy element. Kiedy wszyscy będziemy mieli glejt na nieomylność wydany w Belwederze, to osiągniemy nirwanę. Jak nauka w inych krajach może funkcjonować bez habilitacji i profesury ?
Tyle sarkazmu. Powrót stopni i tytułów do oceny parametrycznej to jak nadanie chwały i glorii papiernictwu.
Bym się pod tym podpisał. Plus popularyzacja i cytowania badaczy. Na spotkaniu było powiedziane, że I kryterium nie różnicuje, bo każdy ma pełno. Stąd zabieg przerzucenia nacisków na inne kryteria wydaje się być celowe, w tym co jest. Szału nie będzie, a będzie to deregulowane i da pełniejszy obraz systemu. A o ideałach trzeba zapomnieć, bo ludzie nie robią rzeczy idealnych.
No i właśnie: skoro każdy ma pełno, to dlaczego nasza nauka po reformie Gowina nie ruszyła z kopyta na podbój świata? A może w efekcie tej reformy każdy ma pełno, ale byle czego (i nie powiem w czym)? Więc może zadbajmy, żeby każdy nie miał pełno, ale żeby to niepełno było naprawdę dobrej światowej klasy?
Głównym błędem tych działań jest poprawiactwo uprawiane na ciele, które powinno być w całości wrzucone do kosza. Chodzi oczywiście o niesławną ustawę Gowina. Zamiast skasować tego Quasimodo nauki polskiej, traktuje się jego zapisy jako punkt wyjścia do kolejnych korekt, mających odwrócić sytuację z głowy na nogi. Właśnie takie podejście (stosowane od lat) powoduje, że polskie prawo jest pokręcone jak flaki w brzuchu i w efekcie nic w nim nie jest do końca pewne.
Tymczasem jedyne, co powinno się zrobić, to kasacja ustawodawstwa gowinowskiego do gołej ziemi i zamiast niego wprowadzenie maksymalnie prostego, odpornego na manipulację systemu. Na wypadek, gdyby to nie wybrzmiało dostatecznie: maksymalnie prostego.
"Nie bardzo wiem, dlaczego prowadzenie jednego wykładu i jednego seminarium magisterskiego (60 godzin) miałoby utrudniać komukolwiek pracę badawczą".
Proszę powiedzieć jaki procent pracowników naukowo-dydaktycznych ma takie warunki do pracy naukowej 1-2%. W większości dostaje się maksymalne obciązenie plus nadgodziny (studia dzienne, zaoczne).
Różnie bywa. Zależy od polityki jednostki oraz od liczby studentów (która jak wiadomo na wielu kierunkach spada). Akurat na psychologii mamy zawsze komplet i (w takiej jednostce jak moja) często nawet duże nadgodziny (jestem przykładem tego ostatniego). Ale są kierunki, na których o studentów się walczy i tam żadnych nadgodzin nie ma. Niemniej rozumiałabym, gdyby wymagane minimum było różne dla pracownika N i ND, ale maksimum ???? Odgórne przypisanie mi 1/2 N i tym samym ograniczenie mojego wkładu do ewaluacji mojej dyscypliny uznałabym za dyskryminację. W mojej jednostce na etacie stricte naukowym jest jedna młoda osoba, na której status ten wymusił przyznany jej grant. Czy będzie mieć 8 publikacji za 5 lat, nie wiem. Natomiast wiem, że przynajmniej kilkoro pracowników na etatach ND nie będzie mieć z tym żadnych problemów.
Z tym maksimum: po odłożeniu na bok udziału czasu na zadania organizacyjne, stanowisko badawcze (lub naukowe -- w instytutach) ma jednak przeznaczone więcej czasu pracy na działalność naukową niż badawczo-dydaktyczne. I sądzę, że typowo jest to właśnie około połowy. Postulat takiego zróżnicowania był wyrażany wielokrotnie w ostatnich latach i raczej nie wydaje się szczególnie kontrowersyjny (zauważmy, że liderami w K1 w 2022 w wielu dyscyplinach były instytuty, to właśnie ta przewaga braku obowiązków dydaktycznych się realizuje). Jak dla mnie to plus dla ministerstwa, że to się dzieje.
Co jeszcze tu ważne, to przepis wprowadza bodziec dla uczelni do oferowania stanowisk badawczych osobom wybitnie produktywnym (przy założeniu, bo tak musi ministerstwo zakładać, aby w ogóle się w to bawić, w sensie pozytywnym, ponad 4 publikacje w topowych kanałach publikacyjnych).
Nadgodziny a godziny ponadwymiarowe to coś innego.
Pytanie czy uczelnie prawidłowo to rozróżniają i płacą za to.
Jak mamy 50% dydaktyki i 50% czasu na pracę naukową to oznacza, że 20 godzin tygodniowo jest na dydaktykę. Wtedy wszystko to co w tygodniu jest powyżej 20 godzin powinno być nadgodzinami, a to co do 20 godzin a ponad 8 (tyle wynosi maksymalne pensum) to ponadwymiarowe.
Płatnika, czyli uczelnię nie obchodzi ile czasu pracownik zużyje np. na uzyskanie wyników, ich opracowanie, napisanie publikacji i opublikowanie. Ma być osiągnięte zadanie. To, że dużo godzin zużyło się na osiągnięcie zadania, to zawsze może być wina pracownika. "Jest opieszały", "zbyt wolno pracuje", "zbyt powoli myśli" itp., itd. Wybór może być między siedzeniem cicho a zwolnieniem : -)
Jak udowodnić nadgodziny mając tryb pracy zadaniowy? Nie, za nadgodziny nie płacą, płacą za te godziny ponadwymiarowe.
Potwierdzam. Nie rozumiem skąd stwierdzenie, że ktoś ma 60 godzin za seminarium magisterskie? Ja na przykład mam tylko 15 godzin. Naprawdę niewielu pracowników ND ma równo pensum lub mniej. Zwykle są nadgodziny.
Przykład 60 godzin to (na przykład) sytuacja 30 godzin (jeden wykład) plus 30 godzin (seminarium mgr z 6 magistrantami). Użyłam tego przykładu, żeby pokazać, że nawet taki pracownik będzie na etacie ND czyli będzie traktowany jako ktoś, kto ma ograniczony czas na pracę naukową. Oczywiście to jest przypadek skrajny ale pokazuje na pewien absurd tego zapisu.
Rzeczywiście przypadek ekstremalny. Faktycznie jesteście polskim Oksfordem, bo u nas seminarium magisterskie z 6 magistrantami nie jest dopuszczone jako zbyt kosztowne: minimum to 7, maksimum 12.
No i powiem Ci, że uczciwe jednoczesne prowadzenie 7 eksperymentalnych projektów magisterskich to jest bardzo, bardzo dużo godzin pracy. Czyż nie??
Seminarium mgr można mieć i dla jednego magistranta, tylko liczba godzin jest wtedy inna. Wszystko zależy od sensownej polityki prowadzonej w danej jednostce. Tak, oczywiście prowadzenie kilku eksperymentalnych projektów magisterskich to dużo godzin pracy. My mamy również empiryczne prace roczne, pisane pod indywidualną opieką - też wymagają bardzo wielu godzin pracy. Nadmieniam jednak, że projekty magisterskie (i inne) nie powstają całkiem niezależnie od naszej pracy badawczej. Magistranci - a potem doktoranci - stają się współautorami naszych artykułów. Mogą być stypendystami w naszych grantach. A tak w ogóle to kompletnym nieporozumieniem jest traktowanie dydaktyki jako uciążliwego balastu, którego szanujący się (i dobrze publikujący) badacz powinien się jak najszybciej pozbyć, najlepiej przechodząc na etat czysto naukowy. Jestem przeciwnikiem czysto naukowych etatów na uniwersytetach. Jeżeli ktoś nie chce uczyć może się przenieść do instytutu badawczego.
Jestem tego samego zdania. Jako skądinąd naukowiec w instytucie badawczym, któremu brakuje kontaktu ze studentami, co jest wymuszone przez system szkolnictwa wyższego, nad czym ubolewam.
Nadgodziny występują wtedy gdy pracuje się więcej niż 40 godzin tygodniowo, a jak się ma więcej niż pensum godzinowe to ma się godziny ponadwymiarowe.
"Wiele lat temu, biorąc pod uwagę różne obciążenie pracowników uczelni i jednostek PAN (czysto badawczych), wprowadzono zróżnicowane wagi, o które adjustowano dorobek w I kryterium – ten sam dorobek liczył się nieco niżej pracownikom PAN. Może warto do tego rozwiązania wrócić?"
A może też wykorzystać pracowików PAN do dydaktyki? Bo jest skłonność do kwalifikowaia dydaktyki jako wyłącznie obciążenia a jest ona także misją uczonego a nawet przywilejem. A w PAN o dydaktykę trzeba się starać i nie zawsze się udaje. Ja wykładałem głównie w Barcelonie, bliżej się nie dało. Nie narzekam, miasto przepiękne. Gaudi i jeszcze Morze Śródziemne...
Polską Akademię Nauk wymyślił Józef Stalin (wraz z innymi podobnymi akademiami w innych demoludach) z pewnych ważnych dla siebie powodów ale ponieważ ten pan od dawna nie żyje, możemy podejrzewać, że jego racje też mogą być nieaktualne.
Przez te 70 lat PAN nabrała nieco zasobów, także ludzkich, i racjonalne się wydają pewne kocepcje jej wykorzystania. Ja wiem, że na uczelniach przeważa pogląd, by problem PAN rozwiązać za pomocą autobusów z tabliczkami Sachsenhausen/Palmiry.
Nie chodzi o to, co kto wymyślił (i oczywiście PAN nie wymyślił żaden Stalin). Chodzi o to, że instytuty pozauczelniane trzymane są przez uniwersytety tak daleko od stutentów, jak się tylko da, bowiem studenci i doktoranci są tutaj ZASOBEM, którym nikt nie chce się dzielić z postronnymi. Zasobem niezbędnym dla zapewnienia własnym pracownikom wymaganego pensum oraz godziwej porcji nadgodzin.
Dopóki nie zostaną zmienione różne absurdalne przepisy dotyczące pensów (które w Polsce są horrendalne), dopóty cokolwiek robić ze studentami będą mogły tylko nieliczne jednostki, na podstawie osobistych układów z uczelniami.
W ustawie Gowina, połowicznej i niedoskonałej, ale obowiązującej słowo pensum nie występuje ani razu. Występuje jedynie w statutach uczelni, których władze postanowiły pozostać przy szkodliwym pensum. Połączenie ustawy z tymi statutami czyni sytuację jeszcze gorszą niż poprzednio.
Na uczelniach powinny być etaty naukowe bez żadnego pensum, a nauczanie powinno być przywilejem najlepszych i powinno być opłacane oddzielnie. Wtedy Dziekan odpowiedzialny za jakość kształcenia mógłby zlecać dydaktykę także naukowcom z PAN i z innych instytutów, instytucji, a także z przemysłu.
Jest tu jeden problem - pracownicy uczelni, którzy dorabiają poza uczelniami i nie są dydaktyką zainteresowani. Należałoby zatem podpisywać umowy o pracę z zastrzeżeniem, że pracownik uczelni pracuje tylko dla jednej instytucji. Tu i ówdzie tak robią i działa to dobrze, unika się pracujących na pół gwizdka, a także niepotrzebnych konfliktów interesów.
Jest w tym jednak pewien spory poziom złej woli, by z jednej strony uniemożliwiać pracownikom instytutów pozauczelnianych (jak PAN i IBL) prowadzenie zajęć a z drugiej deprecjonować je za brak dydaktyki.
i hipokryzji.
Prostuję: pracownicy na etatach dydaktycznych od ewaluacji z 2022 liczą się do N (po złożeniu stosownych dwóch oświadczeń). Tutaj zmiana jest ograniczająca, bo do tej pory mieli N = 100% udziału czasu pracy oraz S = 4 (maksimum udziałów). Teraz ma to być tylko maksymalnie 1/4 do N oraz połowa udziałów pracownika z grupy badawczo-dydaktycznych i 1/4 badawczego.