Kierunkom reform systemu ewaluacji działalności naukowej w Polsce poświęcone będzie listopadowe posiedzenie Komitetu Naukoznawstwa PAN. W debacie na ten temat wezmą udział zaproszeni eksperci. Można się już rejestrować na spotkanie – szczegóły w tekście poniżej.
Ewaluacja działalności naukowej w Polsce jest prowadzona od wczesnych lat dziewięćdziesiątych, początkowo w formie ocen parametrycznych, następnie – po reformie z 2018 r. – w modelu łączącym wskaźniki ilościowe z oceną ekspercką. Każdy z tych systemów miał wpływ na funkcjonowanie instytucji naukowych w Polsce, kształtowanie polityki kadrowej i publikacyjnej, a także na sposób myślenia o jakości badań. Obecnie Ministerstwo Nauki i Szkolnictwa Wyższego zapowiada kolejną reformę, której założenia są przedmiotem intensywnych dyskusji.
Komitet Naukoznawstwa PAN, podczas swojego plenarnego posiedzenia 14 listopada, organizuje panel dyskusyjny pt. „Model ewaluacji działalności naukowej w Polsce – kontekst, doświadczenia, perspektywy”. Będzie on okazją do krytycznego podsumowania dotychczasowych doświadczeń, wskazania pozytywnych i negatywnych skutków stosowanych dotychczas rozwiązań oraz sformułowania propozycji na przyszłość.
Punktem wyjścia do dyskusji będzie refleksja nad pytaniem: czy nauka w Polsce w ogóle potrzebuje systemu ewaluacji działalności naukowej? Jeśli taki system jest potrzebny, to jakie powinny być jego cele i funkcje? W jakim stopniu model ewaluacji powinien być powiązany z polityką naukową państwa? Jaki model oceny może realnie wspierać wysoką jakość i rzetelność badań prowadzonych w Polsce?
Uczestnicy debaty podejmą krytyczną analizę efektów dotychczas stosowanych systemów oraz przedyskutują, czy obecny model powinien być kontynuowany – w zmodyfikowanej formie – czy też zastąpiony innym rozwiązaniem. Dyskusja obejmie także szczegółowe kwestie dotyczące kształtu optymalnego modelu ewaluacji: charakter oceny (parametryczny, ekspercki czy mieszany), punkt odniesienia (dyscypliny, jednostki czy zespoły badawcze), kryteria oceny, równowaga między wskaźnikami a oceną ekspercką, zasady uznawania różnorodnych rezultatów i form wpływu, powiązanie wyników ewaluacji z finansowaniem oraz mechanizmy wdrażania zmian.
W końcowej części przewidziana jest dyskusja z udziałem członków KN PAN oraz zaproszonych gości reprezentujących instytucje kształtujące system ewaluacji i zainteresowane środowiska.
W debacie udział wezmą:
Dyskusję moderować będzie dr hab. Joanna Golińska-Pilarek (Uniwersytet Warszawski) – logik i filozof, członkini Komitetu Naukoznawstwa PAN oraz członkini Rady Narodowego Centrum Nauki w latach 2018–2024.
Panel dyskusyjny „Model ewaluacji działalności naukowej w Polsce – kontekst, doświadczenia, perspektywy” odbędzie się 14 listopada, początek o godzinie 12:00. Możliwe jest uczestnictwo online w spotkaniu – rejestracja poprzez LINK. Patronem medialnym wydarzenia jest „Forum Akademickie”.
Mariusz Karwowski
Przed rokiem 2018 ewaluacja też miała element ekspercki - było tzw. IV kryterium, gdzie jednostka opisywała swoje najważniejsze osiągnięcie/ osiągnięcia - te osiągnięcia były oceniane ekspercko. Eksperckim ocenom podlegały czasopisma krajowe (niestety).
Przy ocenie poprzednich ewaluacji ciągle powtarzane są różne stereotypowe klisze - a to, że liczyła się ilość a nie jakość (od nie wiem kiedy uwzględniane są tylko najlepsze 3N więc gdzie tu ilość), a to, że w ogóle nie była obecna ocena ekspercka....
Zbiorą się po raz kolejny, "gadające profesorskie głowy" i będą dumać, co by tu zmienić. Jak słusznie napisał poniżej prof. dr hab. inż. Andrzej M. "Obecny system to tylko marnowanie publicznych pieniędzy. Nie nadaje się on do modyfikacji."
Podobnie napisał już ponad rok temu na "Forum Akademickim" Prof. Łukasz Komsta cyt."Nauki, jaką znamy, nie da się już zreformować".
Po prostu, obecny system jest komuś wyraźnie na rękę... A przeciętni podatnicy Iksińscy nawet nie domyślają się, NA CO NAPRAWDĘ idą ich pieniądze, przeznaczane oficjalnie na naukę i szkolnictwo wyższe. Środowisko akademickie ma być trzymane na finansowej "smyczy", zaś społeczeństwo notorycznie OGŁUPIANE, przeciętny Iksiński ma faktycznie umieć liczyć do 500 i rozpoznawać znaki drogowe, zaś statystyczny prof. dr hab., dr hab., czy dr ma być specjalistą od pisaniny o-siamtym-i-owamtym, najlepiej o jakimś gender, alb o myśli politycznej polityka X. lub poglądach filozoficznych filozofa Y. itp. itp. itp. itp., zaś możliwości dołączenia przez zdolnych ludzi do ELITARNYCH elit naukowych tzn. tam, gdzie są specjaliści od dziedzin medycznych, przyrodniczych, ścisłych i technicznych, takie możliwości mają być REGLAMENTOWANE - tylko dla wybrańców, którzy mieli "plecy", reszta niech zasuwa do korporacji (sektor IT itp.).
Tak to można mniej więcej, streścić. Oczywiście, chyba mało kto z prof. dr hab.-ów nawet o tym słowem nie piśnie, bo po co? Oni już są "ustawieni" do końca życia, będą ich zapraszać do takich właśnie gremiów, gdzie sobie pobrylują, pokażą się, odbiorą czasem jakąś nagrodę itp.
chodzi tutaj o otumanienie polskiego spoleczenstwa, to jest na reke wszystkim, kosciolowi, skorumpowanym politykom i korporacjom i bankom aby mogli wciskac masom swoje produkty. Moze tutaj chodzi o to zeby polska nie miala swojego przemyslu i stala sie samodzielnym krajem? bo z wlasnym przemyslem i gospodarka mogla zaczac sie naprawde liczyc w swiecie politycznie? wiec lepiej trzymac mizerie bo zagrozi to jakims korupcyjnym ukladzikom polityczno korporacyjnom? jak sie myle to poprawcie mnie?
To tak jak likwidacja klasy średniej: nie ma ona władzy ale myśli, nie da łatwo się przekupić, posiada wiedzę... Tymczasem w kraju zaczyna się promować barberów, budowlańców, pseudorolników albo wielkich deweloperów, handlarzy typu Żabka.
I dobrym sposobem zarabiania-zwłaszcza na okres kryzysu gospodarczego- jest sprzedawanie dyplomów (ile to mamy w Polsce Uniwersytetów??) lub niezawodnych sposobów poprawiania zdrowia (zabiegi, suplementy diety) czyli pod pozorem wartości (wiedza, zdrowie) sprzeda się g... w papierku. Oczywiście z podpisem profesora Baltazara Gąbki
Cóż... prof. dr hab. X. piszący np. o teatrologii, czy o gender, czy filozofujący sobie, albo badający problemy demokracji (ups) itp. itp., liczy się w głupawym polskim systemie zdecydowanie wyżej, niż "szary" doktor Y. (bez habilitacji) chemii, fizyki, czy matematyki. Oczywiście, próba uświadomienia przez dr Y., że prof. X. miałby zapewne przez parę miesięcy problem z rozwiązaniem niektórych zadań, które ten drugi daje studentom (już nie mówiąc o badaniach naukowych prowadzonych przez dr Y.), uuuhhhh... taka próba skończyłaby się najprawdopodobniej źleee dla tego drugiego... Ojjj, podpadłby, oj, podpadłby.. Ma więc siedzieć cicho, jak myszka pod miotłą...
A rektor, minister i prezydent życzą sukcesów na początku października co roku, a świstak siedzi i zawija w sreberka jedno, a odwija drugie. I tak od Sylwestra do Sylwestra....
Widzimy tu w ww. artykule, pięciu zadowolonych ze siebie prof. dr hab.-ów, którzy nigdy nie poznali tego, jak to jest, gdy ktoś marnuje najlepsze lata swojego życia, bo jego opiekunowie naukowi woleli dbać o swoje prywatne sprawy, niż o rozwój swoich ludzi. W rezultacie, przytłaczająca większość tych osób nigdy habilitacji nie zrobiła, choć mieli BARDZO duży potencjał naukowy. Końcowy efekt jest taki, że 95 % z nich skończyło zgodnie ze scenariuszem przeznaczonym dla takich pechowców, jak oni, który to scenariusz przewiduje system polskiej nauki i szkolnictwa wyższego: tzn. jako "chłopcy na posyłki" do dydaktyki.
wspolczuje, ciesze sie ze nie dalem sie naciagnac nikomu na doktoraty tylko poszedlem pracowac, w pracy przekonalem sie ile warta jest wiedza i dyplomy z polski zwlaszcza zagranica. Na studiach widzialem ze osoby piszace doktoraty to przecietniaki i ze nie beda miec szansy na prace czy etat po skonczeniu doktoratu. wieszkosc z nich albo pracuje w prywatnej branzy albo bujaja sie na smieciowkach na prywatnych uczelniach. duza czesc nawet sie nie obronila. ci kumaci zrezygnowali po pierwszym roku widzac relacje na uczelni. inni wybijajcy sie z patentami doswiadczyli mobbingu i pracuja zagranica. wiem liczy sie ranga promotora we wszystkim, jak jest przecietnym idiota to raczej w niczym nie pomoze bo sam nic nie potrafi.. W tym srodowisku trzeba miec sponsora i promotora raczej. A nikt nie chce sie dzielic kasa i stanowiskami raczej. na szczescie mlodzi ludzie nie chca studiowac w polsce i wyjezdzaja w swiat za lepszymi mozliwosciami, wiec jest szansa ze te twory komunistyczne beda likwidowane i skonczy sie finansowanie bzdur i durnot z pieniedzy podatnika, typu teologia ksiedza czy wiecznych historykow albo kiepskich prawnikow. Polskie szkolnictwo produkuje masowo baranow.
"Polskie szkolnictwo produkuje masowo baranow." No i widzimy ich nawet tu na tym portalu jak plują i się wyżywają, by własne ego podnieść. Cóż i tacy są potrzebni, by się dorabiali na water szmata u obcych.
Obecnie publiczne pieniądze są wyprowadzane do drapieżnych czasopism, czyli zazwyczaj do Chin Ludowych. Ale za to punktoza się zgadza.
Zalecam daleko idącą ostrożność w formułowaniu takich oskarżeń: pojęcie "drapieżne czasopismo" jest bardzo dokładnie zdefiniowane i żadna naukowa jednostka nie pozwala na publikowanie osiągnięć swych pracowników w takich periodykach. Natomiast powielanie "miejskiej legendy" o jednym wydawnictwie, które bardzo mocno zaburzyło "konsensus wydawniczy" i oskarżanie go o "drapieżnictwo" tylko na podstawie tego "że już nie jest tak jak było" nie podając żadnych argumentów, a jedynie posługując się zupełnie nienaukowym kryterium "punktozy: jest dość miałkie intelektualnie.
Problemem jest jakość recenzji.
I potem mamy takie "odkrycia": https://youtu.be/Zq8tfam1-zE?si=h8_sAeBctg3twQEf
To nie jest tak, że najlepszy jest ten żołądek, który najwięcej zwraca. Profesjonalna recenzja to recenzja rzetelna a nie negatywna. Recenzje z MDPI generalnie są bardziej rzetelne niż te z wydawnictw tradycyjnych. Dlaczego? Ekonomia ma elementarną odpowiedź na to pytanie: wg ekonomii miarą wartości pracy jest płaca za nią. Recenzje w wydawnictwach tradycyjnych są za darmo a w MDPI recenzenci otrzymują vouchery. Niekiedy miałem wrażenie, że recenzent chce odegrać na recenzowanym autorze wszystkie swe życiowe nieszczęścia. W MDPI nigdy tak nie było.
Nie zgadzam się. Z moich doświadczeń wynika, że recenzje nierzetelne łatwo i często pojawiają się wszędzie, natomiast w MDPI pojawiają się bardzo często. Obłędnie często recenzje typu "poprawić przecinki na stronach 3 i 7". Co gorsza, zauważyłem, że wnikliwe, ale negatywne recenzje są w tym wydawnictwie rzadko brane pod uwagę. I dlatego po kilku podejściach do recenzowania tam dałem sobie spokój. Ja piszę trzy strony merytorycznie i żądam major revision. Pozostałe recenzje są zdawkowe. Tekst przechodzi. To po co ja się mam męczyć? Oczywiście, to nie jest argument za uznaniem MDPI za "drapieżne" w całości. Poziom zbliżony do co gorszych pism Elseviera (nie pojawia się tu przypadkowo).
Sam voucher to dla mnie żadna nagroda, bo nie publikuję swoich (w sensie takich, gdzie to ja decyduję) tekstów w pismach z MDPI. Elsevier daje mi za recenzję 30 dni dostępu do pełnej bazy ich tekstów. To znacznie bardziej wartościowe. Ale na zaproszenia do recenzji w MDPI zacząłem w pewnym momencie odpisywać, że odmawiam, bo nie recenzuję za darmo dla pism publikujących tylko w płatnym OA. Kilka razy nawet doczekałem się odpowiedzi, ale obecnie już nie jestem raczej zapraszany. I dobrze, znaczy, że mają jakiś przepływ informacji, bo kiedyś było tego dużo.
Mamy po prostu inne doświadczenia. Bez względu na to jedno warto sobie uświadomić - tradycyjne wydawnictwa to producenci bryczek, pieców kaflowych i klisz fotograficznych. Są skazani na zniknięcie i niepamięć i robią wszystko, by tę chwilę odsunąć - nie cofając się przed żadną niegodziwością. Shu‑Kun Lin może nie zasługuje na natychmiastowe wniebowstąpienie ale ze względu na jego walkę z tradycyjnymi wydawnictwami na odrobinę sympatii zasługuje - przynajmniej z mojej strony.
Być może. Dziwi mnie natomiast zdanie o "tradycyjnych wydawnictwach". MDPI w zasadzie też jest tradycyjne. Ma szybsze (i pewnie przez to oraz przez masowość produkcji) często nie za dobre recenzje, ale poza tym? Co tam jest niby nietradycyjnego?
Przez tradycyjne rozumiem papierowe. Do tradycyjnych papierowych pism zdarza mi się zaglądać bardzo rzadko, nie wiem czy choć raz w roku. Jeśli Springer, Elsevier e tutti quanti będą umiały porzucić papier, przestaną być tradycyjne. Osobiście w to wątpię, Eastman Kodak nie potrafił porzucił kliszy filmowej i przez to upadł a przecież to oni zaczęli fotografię cyfrową. Nie podejrzewam Springera o więcej rozumu. Wielkie firmy są niezwykle bezwładne.
Nie szczególnie interesuje mnie punkt widzenia ekonomii. Ale sprawa jest chyba bardziej złożona: jak będę źle recenzować to może przestaną mnie zapraszać do recenzowania i vouchery się skończą, i gdzie wtedy opublikuje swoje słabe badania.
Ja recenzuję za darmo bo ktoś mi recenzuje za darmo, liczy się uczciwość danej osoby a nie fakt dostania lub nie dostania vouchera. Ja ktoś chce być złośliwy to będzie i z voucherem i bez.
Każdy, kto je, powinien mieć jakieś rudymentalne zainteresowanie ekonomią. A w kwestii uczciwości - spotkał kiedyś pan osobę bezwarunkowo uczciwą? Zwłaszcza w nauce. Obawiam się, że mógłby spotkać go los emeryta Nierdzieżki ze sztuki Jeremiego Przybory "Definitywny upadek prezesa."
Uściślam: nie interesuje mnie punkt widzenia ekonomii w sprawie jakości recenzji. Albo podejmuje się recenzowania i staram się to zrobić dobrze albo odmawiam. Jak ktoś chce recenzować nieuczciwie, to nie wydaje mi się żeby ekonomia miała znaczenie; raczej perspektywa dostawania nagród-voucherów może zaburzyć bezstronność recenzenta.
Ogólna ludzka obserwacja jest taka, że usługa płatna jest wyższej jakości niż usługa bezpłatna. Moje doświadczenie to potwierdza choć wielkość próby recenzji z MDPI jest poniżej jakiejkolwiek wiarygodności statystycznej.
@Wahazar
Do innych czasopism nie są wyprowadzane pieniądze. One żyją z powietrza, non-profit i żadnych korzyści nie czerpią, jakież to piękne idee otwartego dostępu przyświecają im. A recenzentom płacą krocie, bo przecież najważniejszy element procedowania manuskryptu to peer-review. Recenzenci dniami i nocami siedzą i analizują tekst, podając później 3-stronnicową recenzję.
Naprawdę skończmy te brednie, bo tego się słuchać i czytać nie da...
Równie dobrze możemy się przyczepić do wydatkowania publicznych pieniędzy na różne inne działy w ustawie budżetowej, pytanie czy z adekwatną wielkością.
Gdyby wszystkie siły zarówno ministerstwa jak i naukowców, które marnowane są od lat na dyskusję o ewaluacji (która zmienia co najwyżej poziom finansowania) przeznaczyć na dyskusję nt. długofalowej polityki naukowej państwa, to bylibyśmy dzisiaj w znacznie lepszej pozycji niż jesteśmy.
Do dyskusji o "polityce naukowej państwa" potrzebne by było państwo: prawne, prawdziwe, z konkretną, jednoznaczną konstytucją. Takiego państwa nie zaproponują ani górnicy, ani fizycy, ani pielęgniarki.
Wyobraźmy sobie, że istnieje w Polsce uczelnia z wydziałem prawa, która ma problem ze spisaniem umowy, z którą nie ma problemu ani księgarnia, ani hipermarket. Śmieszne?
Czy faktycznie przyszłością nauki ma być outsourcing? "drapieżne czasopisma to jego niewielka, choć najstarsza część. Może czas zredukować nieuzasadnione wydatki?
W dyskusji brak specjalistów od nauk stosowanych. Najwyżej można zaliczyć do tego grona jedną osobę. Taki zestaw specjalistów nnie jest w stanie zaproponować rozwiązań korzystnych dla dospodarki. Te są najważniejsze. Wielkie odkrycia powstają przy okazji konkretnych badań mających gospodarcze znaczenie. Obecny system to tylko marnowanie publicznych pieniędzy. Nie nadaje się on do modyfikacji.
.
W tym zestawie większości osób debaty już były; są też opracowania, m.in. PAN. Czy opinia tych osób w temacie nie jest powszechnie znana?
Jest ale nadal lubią sobie pogadać.