Wszystkie dotychczasowe działania ewaluacyjne, wykorzystujące krajowe oceny eksperckie, prowadzą do wniosku, że polska nauka nie jest do tego typu ewaluacji przygotowana – pisze prof. Maria Lewicka z Instytutu Psychologii Uniwersytetu Mikołaja Kopernika w Toruniu, przedstawiając koncepcję dwustopniowego systemu ewaluacji, łączącego wskaźniki ilościowe z ocenami jakościowymi.
Zdaję sobie sprawę ze stopnia złożoności problemu ewaluacji jednostek naukowych. Przez cztery lata byłam członkiem KEJN, potem zespołu ewaluacyjnego, zespołu ds. ewaluacji czasopism (krajowych), zabierałam głos w sprawie ewaluacji wielokrotnie. Wiem, jak bardzo jest to skomplikowane. Aktualnie jesteśmy po półmetku ewaluacji lat 2022–2025, trwa dyskusja na temat zasad oceny nauki, jakie będą obowiązywać od kolejnej czterolatki. Wiele osób już się na ten temat wypowiadało, proponując swoje rozwiązania. Mój pomysł zgłosiłam jako odpowiedź na inicjatywę „Nauka do naprawy” firmowaną przez Polską Akademię Nauk i „Forum Akademickie”, tutaj przedstawię jego podstawowe założenia i uzasadnienie. Chcę podkreślić, że jest to pewien pomysł, a nie skończony system ewaluacji. Propozycja ta nakreśla kierunek, lecz nie precyzuje szczegółowych rozstrzygnięć.
Co należy usunąć i dlaczego
1. Należy nie tylko usunąć punktację czasopism wprowadzoną przez ministra Przemysława Czarnka, ale wyzerować całą dotychczasową punktację, co nie znaczy, że trzeba zupełnie zrezygnować z obiektywnych miar oceny dorobku naukowego. Niezależnie od absurdalnej punktacji czasopism krajowych wprowadzonych przez poprzedniego ministra, również punktacja pozostałych czasopism, jak zresztą w ogóle reguły ich punktowania i rangowania, wymagają ponownej refleksji.
2. Należy usunąć skomplikowany system liczenia slotów, ich pierwiastkowanie, dzielenie – trzeba to maksymalnie uprościć, aby każdy badacz mógł bez kalkulatora ocenić swoje dokonania, w tym swój wkład do oceny dyscypliny.
3. Należy odejść od zasady „ścinania makówek”, to znaczy równania do średniej w danej jednostce i obcinania dokonań wybitnych pracowników. W większości obszarów działania, też w nauce, obowiązuje zasada Pareto, co znaczy, że wkład do całości nigdy nie jest równomiernie rozłożony. W jednostkach naukowo-dydaktycznych są zarówno doskonali, jak i słabsi badacze, doskonali i słabsi dydaktycy, sprawni i mniej zaangażowani organizatorzy. Zwłaszcza w szkołach wyższych, w których istotną część pracy stanowi dydaktyka, wszystkie trzy grupy są jednakowo potrzebne. Na ogół mało jest osób, które są doskonałe w każdym z tych obszarów. Miarą osiągnięć jednostki naukowej są osiągnięcia najlepszych, a nie najgorszych czy średnich. Dlatego odgórne ograniczenia do czterech publikacji czy slotów na osobę nie pozwalają jednostce naukowej wykazać swoich najlepszych osiągnięć.
4. Absolutnie niezbędne jest podjęcie decyzji w sprawie tzw. czasopism drapieżnych i płatnych czasopism open access. Tu konieczna jest rola ekspertów, koniecznie z udziałem ekspertów zagranicznych. Wskazane przez nich czasopisma należy usunąć z analiz, nawet jeżeli figurują w bazach Scopus czy WoS.
Propozycje zmian
Proponuję dwustopniowy system ewaluacji, łączący wskaźniki ilościowe z ocenami jakościowymi.
Cokolwiek można powiedzieć o systemie dotychczasowej punktacji, to uważam za uzasadnione jego wstępne założenie: oparcie wartości czasopisma na miarach liczby cytowań, czyli JCR w przypadku czasopism z listy WoS lub miar typu CiteScore w przypadku czasopism z listy Scopus. Od roku 2005, kiedy to w wyniku działań ministra Michała Kleibera została wprowadzona pierwsza obiektywna miara rangująca czasopisma, poprzez prace kolejnego ministerstwa pod kierunkiem Barbary Kudryckiej, w wielu dyscyplinach nauk, przede wszystkim społecznych, dokonała się prawdziwa rewolucja. Widać to bardzo dobrze na przykładzie psychologii, która zasadniczo przeorientowała swój profil publikacyjny z polskojęzycznych rozdziałów w krajowych monografiach oraz polskojęzycznych krajowych czasopismach na publikacje w wydawnictwach zachodnich, głównie anglojęzycznych.
Niestety, ten motywujący do intelektualnego wysiłku system rozjechał się wraz z posunięciami kolejnych ministrów i ich ciał doradczych. Pierwszym było bardzo wyraźne „rozdęcie” proponowanej punktacji, z poprzedniej zawierającej się między 15 a 50 (w interwałach 5-punktowych) na punktację 20, 40, 70, 100, 140 i 200. Miało to dowartościowywać najlepsze publikacje, tymczasem stało się powodem do licznych nadużyć. Drugim powodem było dopuszczenie ekspertów do modyfikowania punktacji czasopism opartej na obiektywnych wskaźnikach połączone z – absurdalnym w warunkach interdyscyplinarności współczesnej nauki – przypisywaniem czasopism do poszczególnych dyscyplin. Ponieważ do zadań ekspertów należała też ocena czasopism krajowych, ostateczny rezultat był często wynikiem nacisków i tendencyjności oceniających. Wreszcie trzecim powodem była niekontrolowana, oparta na czysto subiektywnych przesłankach, aktywność ministra Przemysława Czarnka, dzięki któremu system ocen czasopism się całkowicie rozjechał z miarami obiektywnymi. Jeżeli do tego dodamy lawinowy wzrost liczby czasopism wydawanych przez koncerny komercyjne, zwanych popularnie „drapieżnymi”, to otrzymujemy obraz, który skłania wiele osób do zarzucenia ewaluacji opartej na miarach cytowalności czasopism i zastąpienia jej ocenami eksperckimi.
Niestety, przyznaję to z przykrością, wszystkie dotychczasowe działania ewaluacyjne wykorzystujące krajowe oceny eksperckie, prowadzą do wniosku, że polska nauka nie jest do tego typu ewaluacji przygotowana. Mam na to wiele przykładów, a ostatnim są szeroko krytykowane eksperckie oceny tzw. kryterium III (wdrożenia). Nie znaczy to, że mamy z ocen eksperckich rezygnować, nic bowiem nie zastąpi dobrze udokumentowanej ewaluacji jakościowej. Niemniej, nie sądzę, aby należało na opiniach ekspertów oprzeć cały system ewaluacji. Stąd proponowane połączenie ocen ilościowych, bazujących na wskaźnikach obiektywnych oraz – dopiero w drugim etapie i to jedynie w stosunku do wybranych jednostek – ocen eksperckich.
Ocena ilościowa
Proponuję listę Scopus ze względu na największą pojemność – uwzględnia ona także czasopisma krajowe i reprezentujące szeroki wachlarz dyscyplin, w tym z nauk społecznych i humanistycznych. Proponuję uproszczenie „punktacji” ograniczone do najlepszego kwartyla, w którym lokuje się dane czasopismo (niezależnie od dyscypliny czy obszaru badań).
1. Jako źródło wskaźników ilościowych proponuję: (a) dla czasopism listę Scopus z pięcioma progami: top 10%, Q1, Q2, Q3, Q4 oraz na ostatnim, szóstym progu pozostałe czasopisma spoza bazy Scopus. Miarą ilościową dorobku jest proporcja artykułów w 3N publikowanych w czasopismach z określonego progu. Lista byłaby odświeżana co roku. (b) dla monografii – zwiększenie progów do przynajmniej trzech, a najlepiej czterech – liczone według rangi wydawnictwa.
2. Nauki społeczne są naukami empirycznymi i powinny być oceniane według tych samych zasad co nauki przyrodnicze i ścisłe, choć przyjęte progi mogą być inne. Jeśli idzie o humanistykę – zwłaszcza filologie – zostawiłabym to do decyzji odpowiednich środowisk.
3. Proponuję, żeby w danej jednostce (dyscyplinie) utrzymać zasadę 3N, przy czym każdy pracownik na etacie naukowo-dydaktycznym lub naukowym dostarcza po jednej swojej najlepszej publikacji, pozostałe 2N wypełniane jest najlepszymi publikacjami w latach oceny. Ogólny wskaźnik może być modyfikowany in plus lub in minus w zależności od odchylenia od proporcji Pareto 20:80 (im większe odchylenie sugerujące asymetryczność wkładu, tym mniejszą wagę przypisujemy danemu wynikowi).
4. Osobnej refleksji należy poddać ocenę publikacji wieloautorskich, zwłaszcza gdy autorów jest kilkudziesięciu lub nawet kilkuset. Proponuję wrócić do starej zasady, aby do 10 autorów publikacja liczyła się w całości każdej jednostce, z której pochodzą współautorzy, powyżej 10 autorów, aby był to odpowiednio mniejszy procent. Rozsądnym wydaje się jednak, żeby publikacja wieloautorska (powyżej 10 autorów) liczyła się w całości jednostce, gdy autor korespondencyjny lub pierwszy pochodzi z tej jednostki, dopiero pozostałym liczyłby się odpowiedni procent.
5. Ocena ilościowa jest punktem wyjścia do oceny jakościowej (drugi etap) i jest miarą tego, na ile pracownicy zatrudnieni w danej dyscyplinie publikują w obiegu międzynarodowym i w jak uznanych miejscach. Należałoby ustalić odgórny próg zaliczenia danej jednostki do określonej kategorii, na przykład poprzez odpowiednią proporcję publikacji w czasopismach z pierwszego kwartyla i/lub top 10% na liście Scopus lub rozdziałów/monografii z I poziomu listy – na przykład 75% złożonych prac w 3N z Q1 i/lub odpowiednia proporcja czasopism top 10%, oraz najwyższego poziomu wydawnictw dla kategorii B+.
Taki system pełniłby funkcję motywującą dla pracowników, a równocześnie dawałby im poczucie bezpieczeństwa, gdyż osiągnięcie określonego progu automatycznie przełoży się na określoną, łatwą do przewidzenia kategorię i nie zależy od innych jednostek w danej dyscyplinie.
Ocena jakościowa
1. Drugim etapem ewaluacji dyscypliny jest ocena jakościowa prowadzona przez zespół ekspercki, w tym obowiązkowo przez reprezentantów środowiska międzynarodowego. Ocena powinna dotyczyć wybranych przez jednostkę publikacji oraz jakościowego opisu osiągnięć. Powinno się w niej brać pod uwagę liczbę publikacji, których pierwszymi lub korespondencyjnymi autorami są pracownicy jednostki, oryginalność prac, ich cytowalność, obecność zespołów badawczych i ich osiągnięcia, liczbę grantów i ich jakość, otrzymane nagrody naukowe itd. Można przyjąć, że od tej oceny zależeć będzie przyznanie kategorii A i A+, ewentualnie modyfikacja (np. w górę) oceny wynikającej z wskaźników ilościowych.
2. Nie wszystkie jednostki będą przechodziły przez ocenę ekspercką, część (być może większość) będzie satysfakcjonowała kategoria B lub B+, jeżeli będą się z nimi wiązać odpowiednie uprawnienia (prowadzenia studiów, nadawania stopni). Odpowiednie określenie kryteriów oceny eksperckiej skutecznie zniechęci słabsze jednostki. Można przyjąć, że do oceny eksperckiej nie kwalifikują się w ogóle jednostki, które w ocenie ilościowej wypadły poniżej pewnego progu. Można też rozważyć częściową odpłatność ze strony jednostki za udział ekspertów w jej ocenie. Powinno to zachęcić do krytycznego spojrzenia na własny dorobek i oceny, na ile wynik uzyskany w procesie eksperckiej oceny skompensuje środki na nią wydane.
Zalety proponowanego systemu
Taki system oznacza rezygnację z rangowania jednostek w ramach dyscypliny na rzecz przyjęcia pewnych progów minimum. Jeżeli w danym obszarze wszystkie jednostki osiągają ten próg, wszystkie otrzymują odpowiednią kategorię. Progi jednak powinny być jednoznaczne i uzasadnione merytorycznie. Można w tym celu wykorzystać wyniki ostatniej ewaluacji w kryterium I, przeliczone na odpowiednie kwartyle. Daje to jednostkom poczucie bezpieczeństwa, klarowne reguły gry i łatwość określenia swojej pozycji w stosunku do innych jednostek. Obecny system zdecydowanie deprecjonuje dobre dyscypliny – w dyscyplinach o dużych osiągnięciach dobra jednostka może uzyskać słabą pozycję w rankingu, podczas gdy w dyscyplinach słabych obiektywnie słaba jednostka może uzyskać wysoką pozycję w rankingu. W tym drugim przypadku nie wynika to z merytorycznej „specyfiki dyscypliny”, jak często się słyszy, tylko z mniej ambitnego, lokalnego stylu publikowania. W proponowanym systemie osiągnięcie określonego progu automatycznie kwalifikuje do pewnego minimum.
Wprowadzenie pierwszego etapu ewaluacji opartego na wskaźnikach obiektywnych uniezależnia też wyniki oceny od arbitralnych i czysto subiektywnych opinii ekspertów. Z kolei wprowadzenie drugiego etapu oceny – eksperckiego – sprawi, że jednostki zaczną myśleć o swoim dorobku nie wyłącznie w kategoriach punktów za publikację, lecz w kategoriach faktycznych osiągnięć.
Maria Lewicka
Ta propozycja ma sens na dużym poziomie ogólności. Nie jest niestety odporna na patologię współczesnych praktyk publikacyjnych, takich jak salami slicing i "spółdzielnie publikacyjne" (Ty dopiszesz mnie, ja Ciebie). Nadal jest w nim zawarta silna preferencja liczby publikacji. Nadal Autor dwóch praz dwuautorskich będzie gorzej oceniony niż współautor 11 prac dziesięcioautorskich ze śladowym wkładem w te prace. Czyli zachęta do "grania z systemem" jest nadal duża. Uważam, że trzeba powrócić do wyraźnego i odpowiedniego pubktowania Autorów wiodących (pierwszych?). Nie powinno być tak, że udział w "spółdzielni" będzie tak samo opłacalny jak branie na siebie odpowiedzialności za powstanie danej pracy. Tyle na szybko, jako głos w dyskusji. Ale tekst M. Lewickiej to dobry materiał do środowiskowej dyskusji.
1. 30% srodkow na uczelnie dostaje rektor. 70% dostają naukowcy - pieniądze idą na pracownika-naukowca. Publikujesz, dostajesz x zł za IF=1, 2x zł za IF=2 itp. Grupa uczonych razem będzie utrzymywać uczelnię i mieć realny wpływ na finanse. Za część środków kupią sobie aparaturę, materiały, za resztę zdecydują jaką chcą mieć pensję i kogo zatrudnić do badań. Uczelnia będzie zabiegać o najlepszych bo dostarczą pieniądze.
2. usunać punkty ministerialne. Dość kombinowania
3. NCN i NCBiR do likwidacji. Powołać nowe agencje, które przez kilka lat może będą uczciwie działać, powtorzyc po kilku latach bo napewno się skorumpują. Jeśli uważasz że nie to jesteś dzieckiem lub żyjesz w bańce mydlanej.
Popieram kluczowy postulat: „Należałoby ustalić odgórny próg zaliczenia danej jednostki do określonej kategorii (…) osiągnięcie określonego progu automatycznie przełoży się na określoną, łatwą do przewidzenia kategorię i nie zależy od innych jednostek w danej dyscyplinie.”
Podzielam też sceptycyzm wobec oceny eksperckiej, choć bardzo interesującym pomysłem jest dodatkowa ocena ekspercka na kategorię A czy A+. Może warto tu zastosować mechanizm stabilnościowy, uwzględniając pewną ciągłość i tradycję (trochę na wzór niegdysiejszego ubiegania się o uprawnienia doktorskie czy habilitacyjne, gdy trzeba było zgromadzić odpowiednią kadrę itd.)? Bo teraz zbyt łatwo można w dość przypadkowy sposób (manewrując składem kadrowym i oświadczeniami, czy korzystając z wypaczonej punktacji czasopism) zdobyć wysoką kategorię i vice versa. Wydaje mi się też, że jednostki kategorii A powinny mieć w miarę sensową liczebność (np. 24 osoby w N i to liczone jako średnia 4-letnia, a nie tylko ostatni rok). Efemerydy mające N=12 w ostatnim roku ewaluacji (a wcześniej znacznie mniej lub nawet nic) nie powinny mieć szans na A.
W innych sprawach polemizowałbym jednak z proponowanymi rozwiązaniami.
1. Artykuły wieloautorskie. Tu brakuje przede wszystkim docenienia prac wykonanych w ocenianej jednostce (kryterium typu: pierwszy/ostatni, korespondencyjny autor i/lub większość autorów). To inna kategoria (ważniejsza) niż niewielki udział pracownika jednostki w pracy wykonanej gdzie indziej.
Jeśli chodzi o zdjęcie ograniczenia 4 prac (slotów) od autora, to byłbym bardzo ostrożny. Osoby wybitne powinny być liczone w innym kryterium (zresztą nie ilość prac jest głównym wyznacznikiem wybitności). Obecnie w ogóle nie ma takiego kryterium (liczba wybitnych pracowników, uczestniczenie w wielkich kooperacjach międzynarodowych, liczba (nie kwota) prestiżowych grantów, zwłaszcza ERC, prestiżowe nagrody itd.). Takie kryterium powinno się pojawić.
2. Na jakiej podstawie usuwać „czasopisma drapieżne” jeśli są indeksowane w bazach Scopus i WoS (zwłaszcza będących w Q1 czy Q2). Co to znaczy „drapieżny”? Zwykle ma się tu na myśli MDPI, ale przecież właśnie tam można mieć za darmo pełen Open Access.
Tu proponowałbym raczej obniżanie zawyżonej punktacji post factum. Bowiem dość obiektywnym Indykatorem zawyżenia polskiej punktacji (ustanowionej na podstawie Scopusa, tu się zgadzam, od tego trzeba zacząć) jest znaczny napływ autorów z polską afiliacją. Świadczy to o słabszym lub wręcz słabym poziomie i adekwatnym działaniem jest liczenie takich prac z odpowiednio niższymi punktami.
3. Czasopisma polskojęzyczne. Zamiast opcji zero-jedynkowej (albo dyscyplina oceniana jest wg punktacji „scopusowej”, albo dopuszczamy dominację wydawnictw polskich), proponowałbym ustalenie (eksperckie, bo trudno inaczej) proporcji udziału prac polskojęzycznych oraz „scopusowych” w 3N dla każdej dyscypliny. Jeśli polskojęzyczna praca opublikowana byłaby w czasopiśmie indeksowanym w bazie Scopus, to można by ją zaliczyć do dowolnego z tych dwóch koszyków (tam, gdzie będzie korzystniej dla wyniku uczelni).
4. Wydawnictwa książkowe. Nie wiem, czy mnożenie progów punktowych jest krokiem w dobrym kierunku. Niepokoi mnie raczej to, iż wielkie koncerny wydawnicze wydają literaturę wszelkiego rodzaju, począwszy od literatury popularyzatorskiej, poprzez prace zbiorowe wydane na koszt autorów, skończywszy na znakomitej nauce. Jak odróżnić jedne od drugich?
System zaproponowany przez panią profesor jest całkiem rozsądny. Wszystko jednak zależy od szczegółów, a konkretnie od punktacji czasopism i tego, kto będzie tę punktację ustalał ....i tak dalej.
Tak czy inaczej, przy obecnym finansowaniu nauki, jakakolwiek by nie była ewaluacja w Polsce, dotyczy ona diagnostyki zmarłego pacjenta – takie mam odczucia, patrząc na budżet na 2025 rok.
Może powinniśmy zrobić ewaluację grantową według pana profesora Jajszczyka i pani profesor Chacińskiej (czyli ile kto dostaje grantów z NCN – to główny system grantowy w Polsce; oczywiście bez publikacji z tych grantów, bo wtedy ten system ewaluacji nie miałby sensu). Nie dowiem się co prawda, co Świętej pamięci osiągnął, ale w niektórych przypadkach dowiemy się, że był on zamożny.
PS
Dla młodych: All hope abandon, ye who enter science!
To ja myślę tak: należy system maksymalnie uprościć i mieć w perspektywie jednak tworzenie nauki, każdy punkt powinien być wyjaśniony tym co ma na celu:
- Nie należy tworzyć kolejnego skomplikowanego systemu który arbitralnie coś stopniuje (jeśli to możliwe). Po co? By Naukowcy mogli w sposób prosty i jasny szybko oceniać jakość swojej pracy.
- Ocena jednostki (bo Naukowca powinna być albo wewnętrzna, albo nie powinno jej być ze względu na wspominaną przez p. Profesor zasadę Pareto) powinna opierać się na IF, a lista powinna być uzupełniona o czasopisma z poza listy już, niestety, komisyjnie. Co do patentów i monografii - nie mam pomysłu nie-arbitralnego lub nieprzewidywalnego (np. średnia wartości publikacji w danej kategorii). Ilość punktów jest adekwatna do ilości pracowników z danej jednostki wśród autorów (chyba, że zostanie zadeklarowany wkład autorów - co moim zdaniem powinno być standardem). Po co? Przewidywalność wartości publikacji i minimalizacja nadużyć typu Czarnek, promowanie współpracy wewnątrz jednostki.
- Ocena jednostki - ilość punktów na ilość pracowników. Kropka. Jednostka jest przypisywana do kategorii w której ma najwięcej publikacji i w tej jest ew. rankingowana. Ranking nie wiąże się z finansowaniem publikacji.
- Punkty (nie ranking!) powinny przekładać się bezpośrednio na finansowanie publikacji w przyszłych latach. Po co? Żeby jednostki dobrze kierowały fundusze, co powinno również napędzać jakość/zł.
Jak to piszę, to mam coraz mocniejsze wrażenie, że obecne systemy skupiają się na tym, by wszystkim dokładnie powiedzieć co i jak mają robić, a może to jednak część rzeczy należy zostawić dyrektorom jednostek? Wiecie, mikro-zarządzanie czy coś...
Pani Profesor, dobra propozycja, ale niestety nie zostanie wdrożona. Na przykładzie wypowiedzi tutaj zamieszczonych - a jest to niewielki promil zabranych głosów w dyskusji na przestrzeni ostatnich lat - można jednoznacznie sformułować tezę, że polskie środowisko naukowe nie stać na racjonalny kompromis. Prawie każdy chciałby co innego i prawie każdy jest niezadowolony. Cała polska nauka jest właśnie taka. Tym się naprawdę różnimy od innych nacji. Bardzo dobry tekst na nieco inny temat, który ukazał się niedawno dotknął ważnej kwestii z punktu widzenia różnic Polska/cywilizowany świat dotyczącego pozyskiwania grantów ERC. Nie chodzi o same granty, chociaż ważne i prestiżowe dla środowiska, ale mentalność. Tak samo jest prawe ze wszystkim w polskiej nauce. Prawie każdy polski uniwersytet ma fizykę na niezłym poziomie... tylko bez realnego zapotrzebowania dydaktycznego. Obecnie prawie każdy polski uniwersytet ma niezłą infrastrukturę... tylko zdolnych badaczy i studentów brak. Sławne są już opowieści o całkiem fajnym sprzęcie na uczelniach... przechowywanych na okoliczność wizyt uczonych z zagranicy lub polityków z centrali. A po wizycie chowane, aby się nie zniszczyły i nie daj boże przydały młodszej, tej ambitniejszej kadrze. Syf totalny. Moim zdaniem, tak naprawdę przydałby się w polskiej nauce taki mocny polityk typu Czarnek (szef MNiSW) ... ale oświecony, racjonalnie i nowocześnie myślący. Za jednym zamachem raz na zawsze wyjustowałby habilitację z systemu, zlikwidował słabiutkie uczelnie nie wiadomo po co istniejące, połączyły niektóre dobra publiczne w postaci instytutów i uczelni nakierowanych na realizację konkretnych celów (badawczych lub dydaktycznych) i skończyłby z wszechstronną patologią. A ocena parametryczna, to taki mały pikuś w tym wszystkim. Ale nic się takiego nie stanie. Status quo jest najkorzystniejszy dla ogółu czy dla średniej lub miernej środowiska.
Trochę mnie przeraża, że na rok przed ewaluacją ciągle nie ma opracowanych jej zasad. Być może stabilność wymagań przyczyniła się do wzrostu jakości (oczywiście pod warunkiem, że te wymagania byłyby odpowiednio ambitne) , gdyż jednostki mogłyby przyjąć strategie uzyskiwania wyższych kategorii.
Podoba mi się pomysł oparty na progach i kategoryzacji niezależnej od innych jednostek.
"pomysł oparty na progach i kategoryzacji niezależnej od innych jednostek." - to nie pomysł, to ignorowana oczywistość, uczeń w szkole wie co trzeba umieć na ocenę bardzo dobrą.
Proponuję robić swoje nie oglądając się, jak to inni ocenią. Podobno na tym polega prawdziwa nauka.
W rzeczy samej
Trzeba protestować i wyrażać swoją opinię. Jak tylko będziemy robić swoje cicho siedząc to na pewno nic się nie zmieni (na prwno nie na lepsze).
Panowie Gdula i Wieczorek nie sprawiają wrażenia wrażliwych na protesty. Pan Czarnek też się nimi nie przejmował. Choć nie, on akurat uwielbiał się odszczekiwać, że to on jest mądry a nie ten drugi.
W sprawie tzw. "czasopism drapieżnych". Odgórne eliminowanie tytułów, które mają mimo wszystko IF i jakąś (czasami nawet dość wysoką) pozycję naukową jest zabiegiem sztucznym. Wystarczy jednak wprowadzić prostą zasadę, że finansowanie publikacji w takich czasopismach nie może odbywać się z subwencji ani z projektów przyznawanych przez NCBiR i NCN. Jedynie kiedy jednostka naukowa wypracuje własne środki (np. z prac zlecanych przez podmioty zewnętrzne) to może je przeznaczyć na taki cel. Ponadto powinno utworzyć się oddzielną listę czasopism branżowych, które są przeznaczone dla innego odbiorcy i nie powinny być "mieszane" z czasopismami naukowymi.
Dla psychologów, tak jak dla lekarzy i przedstawicieli nauk ścisłych Scopus jest reprezentatywny. Dla humanistów i prawników - zupełnie nie. Są dostępne wyniki badań na ten temat. Jedna miara dla wszystkich nie istnieje.
W rzeczy samej
Tzw czasopisma "drapieżne" biorą dużą kasę od autorów publikacji, "niedrapieżne" jeszcze większą od subskrybentów. Tam musisz zapłacić, żeby opublikować, tu- żeby.przeczytać. Co to za różnica?
Bardzo trafna uwaga, brawo, wreszcie ktoś to zauważył
Nikt nie chce czytać a każdy chce publikować. Praktycznie wszystkie pisma są open access, bo jak które nie jest, to pisze się do autora "Dear Sir/Madam, I would appreciate a pdf of your paper entitled..." Nie znam przypadku, by nie przesłał. Dlatego pisma papierowe będą ginąć a wydawnictwa znakomicie to wiedzą.
Pisanie do autora zajmuje czas, trzeba przejrzeć masę publikacji aby napisać artykuł naukowy, jedyna efektywna metoda to przeszukiwanie baz. Kto dziś pisze do autora
Może pisałem zbyt skrótowo: można napisać do autora, jak artykułu nie ma w żadnym serwerze preprintów. Są takie pisma, które domagają się usuwania preprintów z baz, sam w dwu czy trzech takich coś opublikowałem.
Żeby coś sensownego opublikować, najpierw trzeba sporo przeczytać. Pisanie na maile autorów (kto wie po kilku latach czy jeszcze aktualne) i czekanie na odpowiedź to metoda sprzed pół wieku. Gdy zaczynałem pracować w latach 90 były jeszcze specjalne kartki pocztowe z gotowym testem, które się uzupełniało i wysyłało pocztą.
Co do subskrypcji- miałem na myśli oczywiście elektroniczną, czyli dostęp online do pełnych wersji. Bibliotekę naukową w moim instytucie- kiedyś ponoć największą w mojej dziedzinie w Polsce- już dawno zlikwidowano pod wynajem. Czy subskrypcje online są tańsze od dawnych drukowanych- nie sądzę, skoro ministerstwo z nich rezygnuje pozbawiając całe krajowe konsorcjum dostępu do pewnych szerokich grup tematycznych czasopism Elseviera.
Żeby nasz artykuł w American Chemical Society był z open access, trzeba było dopłacić 4000 USD. Na szczęście to akurat sfinansowało ministerstwo.
Jest jeszcze jedna metoda: rosyjska piracka strona gdzie podobno można wszystko ściągnąć, ale takich metod akurat nie uznaję.
O, kolejny problem o którym powinno się więcej mówić, skoro dostępu do odpowiedniej literatury w wystarczającym stopniu nie zapewnia ani uczelnia ani ministerstwo, to znaczy że pracodawca zmusza i zachęca nas do łamania prawa. Niektóre publikacje trzeba zdobyć i już.
"Pisanie na maile autorów (kto wie po kilku latach czy jeszcze aktualne) i czekanie na odpowiedź to metoda sprzed pół wieku. "
A zła? Mnie nigdy nie zawiodła. Odpowiedź zwykle dostawałem w ciągu dnia, góra dwóch.
Dokładnie... Nie wiem co w tym dziwnego albo przestarzałego, że pisze się do autora z prośbą o pełny tekst. Robiąc przegląd systematyczny i kopiąc w dziesiątkach pełnych tekstów taka sytuacja to norma. I otrzymanie pdf-a po kilku godzinach również.
Dziekuję za ten tekst. Nawet niespecjalnie mam co dodać, ponieważ zgadzam się w 100%.
Dla mnie, to że NAUKOWCY biorą udział w procederze zwanym ewaluacją jest kwintesencją DZIADOSTWA jakie toczy naszą naukę.
EWALUACJA jest zrobiona po to, żeby Ministerstwo mogło rzucić ochłap i powiedzieć BIJCIE SIĘ O NIEGO!
Co my robimy? Jak upupione dzieci się o to BIJEMY.
Dziękuję za uwagi P. profesor, nie skorzystam. Nie będę brał udziału w kontynuacji tej aberracji jaką była Polska Rzeczpospolita Ludowa.
Kolejny rząd, kolejne pomysły na uzdrowienie Polskiej Nauki!
Od mieszania herbaty, nie robi się ona słodka.
Ale do mieszania chętnych nie brak. Wszak coś z tej kostki cukru można dla siebie uszczknąć.
Za PRL były oceny "eksperckie", a eksperci z góry wiedzieli, który wydział (uczelnia) jest lepszy. Wprowadzenie ewaluacji zakładało likwidację sterowania ręcznego. W ostatnich latrach władze próbowały wprowadzić co raz więcej sterowania ręcznego. Na przykład, wprowadzenie kryterium trzeciego. Umożliwienie zespołom eksperckim podwyższania lub obniżania punktacji tym czasopismom, które im podobają się lub nie. Wprowadzenie podziału czasopism na dyscypliny w taki sposób, że część czasopism, ewidentnie należących do dyscypliny, nie znalazła się na liście, natomiast inne, które nie powinny być na liście dyscypliny, są na niej.
Co do drugiego etapu - oceny eksperckiej. W Polsce jest ponad 200 uczelni, ponad 50 instytutów PAN, nie mniejsza liczna instytutów badawczych przemysłowych, biorących udział w ewaluacji. W każdej z tych jednostek jest kilka dyscyplin ewaluowanych. Ogólna ich liczba prawdopodobnie grubo przekracza 1000. Każde ze sprawozdań zawiera, co najmniej, ponad 100 stron. Ogólnie eksperci powinni przerobić grubo ponad 10 000 stron mądrych tekstów. Jak recenzent 100 stronicowego doktoratu pisze recenzję przez 3 miesiące, to ilu ekspertów trzeba, żeby to ogarnąć w parę miesięcy? A co do ekspertów zagranicznych. Gdzie tyle znajdziemy? Z jakiego klucza będą dobierani? A instytucja będzie zmuszona dodatkowo do napisania sprawozdania po angielsku.
Jesteśmy zmuszani przez rektorów, którzy chyba chcą przypodobać się ministrowi zamiast z tym walczyć.
Instynkt samozachowawczy tak każe, co robić. Jeśli otacza nas wrogi spisek, to jedyne, co można zrobić, to się do niego przyłączyć.
"...polska nauka nie jest do tego typu (oceny eksperckiej) ewaluacji przygotowana..."
W mojej opinii, jako średnio-młodego naukowca, powyższy cytat jest kluczowy w kontekście ewaluacji działalności uczelni. Wydaje mi się, że źródłem wielu problemów jest próba przyłożenia jednej miary do całej polskiej nauki. A wygląda na to, że różne obszary naszej nauki są na innych poziomach "rozwinięcia" międzynarodowego. Dlatego też, próba stworzenia listy opartej na Scopus została w większości zaakceptowana przez STEM i NZ, ponieważ tam od dawna standardem jest publikowanie w czasopismach z IF. Ale wywołała odzew środowisk humanistycznych, czego efektem było stworzenie ministra Czarnka. Jego zmiany celowane były w podwyższenie punktacji czasopismom humanistycznym/prawniczym, a rykoszetem dostało się też STEM i NZ, bo gdy pojawiła się okazja, to różne redakcje polskich czasopism (które jeszcze przeżyły po Gowinie), ustawiły się w kolejce do Pana Ministra.
Dlaczego nie moglibyśmy stworzyć innych mechanizmów oceny dyscyplin z HS, NZ i STEM, zaakceptowanych w pełni przez te obszary? Wtedy jeśli przyszedłby quasi-Czarnek, czy inny-Gdula, zamieszanie stworzone byłoby tylko w obrębie jednego obszaru (HS) bez promieniowania na pozostałe. A obecnie, duża rozbieżność w rozwoju dyscyplin z HS a STEM/NZ powoduje, że to ogon merda psem.
Pani profesor firmowała aktualny system będąc członkinią KEJN pomimo że zawiera radykalne wady , o których właśnie napisała. Zastanawiające.
Nie, firmowałam zmiany w pierwszym KEJNie, kiedy funkcjonowała jedna lista, nie było nacisków na zmiany punktacji, walczyliśmy wtedy o wprowadzenie listy Scopus jako pojemniejszej niż WoS. Zdecydowanie moim błędem była wiara, że w stosunku do czasopism krajowych eksperci będą w stanie się kompetentnie wypowiedzieć. To jeden z powodów, dla których sceptycznie wypowiadam się o lokalnych naszych ekspertach. Aby uniknąć nacisków i chachmęcenia z punktacją proponuję teraz proste reguły oparte na Q czasopisma.
I jeszcze jedna uwaga: proszę, nie łączcie nauk społecznych z humanistycznymi! Nauki społeczne są naukami empirycznymi i powinny być oceniane podobnie jak nauki przyrodnicze - przede wszystkim poprzez publikacje w czasopismach w obiegu międzynarodowym. Nie wyłącznie ale przede wszystkim. Wyjątkiem w naukach społecznych jest prawo, które ma kompletnie inny profil.
A poza tym - uczymy się na błędach, najważniejsze umieć wyciągać z tego konstruktywne wnioski.
Pozdrawiam wszystkich - Maria Lewicka
Pani profesor, dziedzina nauki społecznych to szereg różnych dyscyplin o charakterze (jak by to nie brzmiało) interdyscyplinarnym..... I traktowanie ich na równi z naukami przyrodniczymi czy ścisłymi jest nieporozumieniem........ Powoływaniem się na emiryczność tych nauk jest też znacznym uproszczeniem...... Dalej propozycja Pani Profesor zmian i uproszczenia procedury ewaluacyjnej jest jak najbardziej uzasadniona i potrzebna, ale wprowadzenie kolejnych kwantyfikatorów, progów, etapów itd. wcale nie zmieni sytuacji, może w jakimś stopniu uprości i zobiektywizuje końcową ocenę. I jeszcze końcowa uwaga, czy to naukowcy mają ponosić odpowiedzialność za jakość i rozpoznawalność wydawnictw wg. otrzymują słynne punkty. Proszę mi powiedzieć jak polskie wydawnictwa mogą konkurować na rynku z grupami z Zachodu? Ponadto koszty wydania pracy, niejednokrotnie odkrywczej w polskim wydawnictwie są najczęściej trenowaniem finasów przez wydawnictwo, ponieważ nie liczy się jakość pracy tylko biznes, zarobek wydawnictwa, i kto ma ponosić te koszty autor, który najczęściej nie partycypuje w zyskach? A eksperci, przepraszam o jakich zachodnich ekspertach Pani pisze całej tej rzeszy nie znającej dorobku w innych językach niż j. angielski, przepisujący bzdury, komplikujących , daruję Pani system wyłaniania ekspertów jest kompletnie nie czytelny, wręcz chory......
Może jednak należało by wrócić do korzeni w ocenie dorobku naukowego?
Ja nie piszę, że te same kryteria ilościowe należy przykładać do nauk społecznych i przyrodniczych, tylko, że zasada powinna być taka sama ilościowa w I etapie, jakościowa w II etapie). Natomiast nauki społeczne (poza prawem) to nauki empiryczne, które mają swoją doskonałą reprezentację w bazach takich jak np. Scopus. Psychologia, socjologia, geografia społeczna, ekonomia, pedagogika, nauki polityczne, kognitywistyka gdy wchodzi do dyscypliny media i komunikacja - co tam jeszcze... I proszę mi nie mówić o tym, że te nauki mają jakąś szczególną misję w kraju do spełnienia bo po pierwsze wszystkie nauki mają, a po drugie każda nauka może się rozwijać killkutorowo - obecność w wydawnictwach zachodnich (czasopismach, monografiach) nie wyklucza obecności w kraju.
Moja propozycja ma na celu uspokojenie nastrojów - każdy będzie wiedział ile wniósł i na jaką kategorię zasługuje jego jednostka bez konieczności porównań z innymi. A oceny eksperckie wskażą na faktyczną jakość jednostki.
Odpowiadając na inny wpis - ilu ekspertów nam potrzeba - dlatego właśnie proponuję udział ekspertów dopiero w II etapie, do którego nie muszą (a nawet nie mogą) przystępować wszyscy. Oceny eksperckie funkcjonują w innych krajach, też z udziałem zagranicznych ekspertów, nie wiem dlaczego nie mogą funkcjonować w Polsce. I tak, oczywiście, trzeba będzie po angielsku opisać swój dorobek :-)
Co do czasopism drapieżnych i płatnych się nie wypowiadam - tu potrzebny jest albo jakiś powszechny konsensus albo kompletna zmiana polityki Publish or Perish i ograniczenie nacisku na liczbę publikacji. Nie ma popytu nie ma podaży - proste. Mam odnośnie tego drugiego dość wariacki pomysł jak to zrobić ale to na inną okazję.
Ile jeszcze 4-latek upłynie na uczeniu się na błędach?
Czy można skończyć z tym DZIADOWANIEM. Dlaczego w ogóle NAUKOWCY firmują ten żart w postaci finansowania Nauki w Polsce?
Skoro Pani Profesor nie bierze odpowiedzialności za listę, to kto za M. Gowina podniósł MDPI punktację o oczko w stosunku do pierwszej listy?
Dlaczego tylko MDPI? Przecież Hindawi jest wiele drapieżniejsze. Tylko że wykupione przez Willey'a czyli znaczy, że swoje?
Oczywiście, że nie biorę za tę listę odpowiedzialności bo nie miałam na nią żadnego wpływu. Pierwszy KEJN zakończył swoją aktywność w 2016 zanim zaczęły się różne harce. Potem się zmienił na KEN i chyba przestał mieć wpływ na cokolwiek. A w nowym KENie mnie już nie było.
Kwestia czasopism drapieżnych jest ogromnle skomplikowana. Podobnie jak w ogóle kwestia czasopism płatnych czyli komercyjnych. Ale dopóki o wartości naukowca będzie świadczyć liczba jego publikacji , dopóty będą istnieć koncerny, które będą na tym robić złoty interes.
Co do zasady, podobają mi się propozycje Pani Profesor, z dwoma zastrzeżeniami.
Przede wszystkim listy powinny być cyklicznie np co dwa lata, aktualizowane, bo robienie tego raz na 8 lat kompletnie wypacza ocenę dorobku. Jeśli w 2015 czasopismo było w II kwartylu to obecnie może być w 1 decylu (i na odwrót). Co więcej, zdarzają się czasopisma nowe, np z obszaru AI, które są bardzo wysoko notowane w Scopusie (może nawet nieadekwatnie do realnego poziomu), a na liście ministerstwa nie ma ich w ogóle.
Odnośnie pierwiastkowania udziałów - wydaje mi się, że to nie jest aż takie trudne, i zdążyliśmy się przyzwyczaić, choć nie jest to też aż tak ważne.
Jeśli chodzi o czasopisma OA znajdujące się na listach Scopusa, niezależnie czy jest to MDPI czy inne wydawnictwo, to można wprowadzić dla nich jakąś korektę w dół uwzględniającą fakt, że ich wskaźniki cytowań, dzięki dostępności, są pompowane w górę. Kompletne skreślanie tych czasopism niekoniecznie jest uzasadnione, ale to co się dzieje obecnie jest niewątpliwie patologią.
Ja zaproponowałam updatowanie listy co rok - ostatecznie Scopus publikuje swoje dane raz na rok, a my wprost będziemy z tego korzystać bez żadnych zbędnych przeliczeń na punkty (jeśli ta propozycja znajdzie uznanie). Wtedy nie jest też potrzebne żadne pierwiastkowanie bo nie ma czego pierwiastkować. Co do MDPI to nie mam zdania - korekty nie bardzo by tu pasowały, bo co - mamy im obniżyć Q? Raczej trzeba podjąć decyzję - bierzemy czy nie bierzemy. A jak bierzemy, to z całym "dobrodziejstwem inwentarza".
Trzeba się przeciwstawić sytuacji gdzie ważniejsze jest miejsce publikacji (wydawca, nazwa czasopisma), niż wartość pracy naukowej. Ocena ilościowa osiągnięć naukowych tylko wg liczby cytowań np. Google Scholar, Publish or Perish oraz ocena jakościowa ekspertów.
Nie wiem dlaczego polska nauka ma płacić ogromne pieniądze globalnemu biznesowi wydawniczemu. Trzeba wyzbyć się kompleksów względem zagranicznych wydawnictw. Aktualnie nie ma problemu by publikować w wielu językach jednocześnie - polski, angielski, chiński, arabski, itd.
Ewaluacja na podstawie liczby cytowań? Życzę powodzenia w ustaleniu wartości referencyjnych dla poszczególnych dyscyplin. Niektóre tematy są tak niszowe, że nie są zbyt często cytowane.
No chyba, że w ten sposób chcemy uprawiać "modną" naukę, bo wszyscy którzy swoimi ideami wyprzedają obecne czasy będa musieli od nauki odejść.
Nie wiem, czy pan sobie z tego zdaje sprawę ale ewaluacja może być albo według widzimisię kogoś ważnego albo na podstawie liczby cytowań. Wszystkie obiektywne wskaźniki naukometryczne takie jak IF są ustalane na podstawie liczby cytowań. Więc ma pan do wyboru - albo oceni pana subiektywnie ktoś ważny albo zostanie pan oceniony obiektywnie na podstawie liczby cytowań: pańskich własnych albo innych ludzi, którzy opublikowali w tym samym piśmie co pan.
Oczywiście, że sobie zdaję. I zdaję sobie sprawę, jaka jest różnica w ewaluaowaniu po czasopismach (np. ich IF) a jaka po cytowaniach. Ile cytowań rocznie wg. Pana powinien mieć matematyk aby przejść pozytywnie ewaluację?
- Franek! Sprawdź czy w naszym radiowozie działa kogut na dachu - mówi milicjant do kolegi.
- Działa... nie działa... działa... nie działa...
Coroczna punktowa ocena jest czymś w tym stylu. W Stanach Zjednoczonych profesor z tenure ma stały etat i nikt nie robi mu ewaluacji. A młodszych pracowników oceniają przełożeni.
Skoro Polska jest takim pawiem narodów i papugą, co to wszystko małpuje, może by zmałpować akurat to?
Google Scholar zbiera także cytowania ze stron internetowych i innych nienaukowych źródeł. Jakie ma znaczenie, że jakaś prywatna strona internetowa mnie zacytuje w swojej próbie budowania SEO? Dodatkowo, każdy może sobie taką stronę postawić, więc farmy cytowań przeżyłyby renesans.
Publish or Perish to program, nie baza, czy jakiś aggregator cytowań.
Wie pan, jak analitycy z Goldmana Sachsa w swym raporcie zacytują jakąś pańską publikację z dziedziny finansów, to ma to większe znaczenie niż cytowania od połowy noblistów z ekonomii.
Brawo Panie Profesorze, znalazł Pan poważny Autorytet, godne pochwały, jestem pod wrażeniem..... Jednak reforma PAN jest konieczna ....
Ale na jaki wzór? Bo na tzw Zachodzie wpływ społeczny mierzony jest m.in. właśnie cytowaniami w różnego rodzaju raportach instytucji komercyjnych i publicznych
Goldman Sachs na światową rzeczywistość ma wpływ większy niż jakikolwiek uniwersytet. Że go pan nie lubi tym bardziej zwiększa jego znaczenie, nie jest łatwo wyrobić sobie antypatię przez ocean. A reforma PAN jest konieczna pod warunkiem, że nie będzie to mieszanie herbaty bez dosypywania cukru, wtedy wiry się robią.
PS. Czy jest pan przeciw gospodarce pieniężnej? Pogląd wart uwagi ale chyba niezgodny z misją nauki, której idzie o rozwój a nie o cofanie się, zwłaszcza o kilka tysięcy lat.
Źródła naukowe, czy nienaukowe, najważniejsza jest prawda. Nowe prawdziwe zdania.
Zatem są bazy wiedzy z których można za darmo skorzystać . Ja jestem zadowolony gdy ktokolwiek przeczyta mój artykuł, z Chin Australii USA Brazylii, Francji, itp.
@Ireneusz
Aby dotrzec do naukowcow w tych wszystkich krajach, i w innych tez, wystarczy publikowac tylko w jednym jezyku. Nie trzeba "w wielu językach jednocześnie".
Wystarczy język programowania Google tłumacz
Mam "publikację naukową" dwudziestu czterech współautorów w której na jednego średnio przypada 1/2 strony formatu A5 treści merytoryczne.
Cała nasza oświata i nauka przeszła z JAKOŚCI na ILOŚĆ.
Naukowców i dydaktyków należy wynagradzać za EFEKTY. Jeden wynalazek, patent czy licencja przyniesie nam czyli społeczeństwu więcej korzyści niż tysiące publikacji.
Zacząć należy od dostosowania ilości i struktury kształcenia zawodowego do potrzeb społeczno - gospodarczych kraju i to finansować ze środków publicznych.
Nie wystarczy, że "ktoś chce" - musi wykazać się, "że potrafi".
Jakość nauczania dzisiejszych uczelni jest fatalna !
Inżynier po politechnice nie zna zasad maszyn prostych a jeśli " coś o tym słyszał" to nie wie jak to w praktyce zastosować.
Wiedza, której nie potrafi się wykorzystać w praktyce jest nic nie warta.
@Janusz Ksyck
To bardzo zalezy, co chcielibysmy oceniac. Oraz, co nazywamy nauka. Oto definicja z Wikipedii:
"Science is a systematic discipline that builds and organises knowledge in the form of testable hypotheses and predictions about the world"
Innymi slowy, nauka to poznawanie swiata wokol nas, w co zreszta wlacza sie poznawanie ludzi i spoleczenstw (one tez sa czescia przyrody). Nie ma tutaj nic o patentach, licencjach i komercjalizacji.
To, co Pan nazywa nauka, w najlepszym razie podpada pod cos, co po angielsku nazywa sie 'applied science', czyli dyscypliny w ktorych wiedza jest natychmiast wykorzystywana praktycznie (jak medycyna czy inzynieria), ale to jest tylko maly wycinek tego, co rozumiemy przez nauke, jako calosc.
Szanowna Pani Profesor, świetny tekst i świetna propozycja. Szkoda że nie zostanie wdrożona. A dlaczego ? Ponieważ jest świetna, wyeliminowałaby patologię i uzdrowiłaby naukę polską. Jak dotąd moim skromnym zdaniem, nikt nie zaproponował czegoś tak prostego i dobrego.
Dwie uwagi "na szybko":
1. Problem czasopism "drapieżczych" - powinien być wprost rozwiązany.
2. "Do 10 współautorów" - liczenie publikacji w całości dla każdej jednostki. Absolutny sprzeciw. Maksymalnie do 3 współautorów. Moje długoletnie doświadczenie pokazuje, że gdy jest więcej niż 3 współautorów, to są wśród nich - z różnych powodów - "gapowicze".
Moje długoletnie doświadczenie pokazuje, że nie zawsze tak jest. To, że różni współautorzy mają różny wkład to jasne. Ale dlaczego odgórnie ograniczać liczbę współautorów? Wystarczy wprowadzić zasadę, że korzyści z takiej publikacji (tj. punkty) dzielą się równo na wszystkich, niezależnie od dyscyplin. Być może wówczas ci, którzy realnie się napracowali, zaprotestują przeciw dopisywaniu "martwych dusz". Nikt jednak nie zaprotestuje przed wymuszonym dopisaniem szefa. Dlatego też niektórzy naukowcy mają rocznie po 20 i więcej publikacji. To też powinno budzić wątpliwości kiedy wiadomo, ile pracy trzeba włożyć, aby publikację przygotować.
Pan zajmuje się jakimiś naukami doświadczalnymi czy "naukami" humanistycznymi?
A co pan powie o pracach z fizyki doświadczalnej, które mają tysiące (sic!) autorów? https://journals.aps.org/prl/abstract/10.1103/PhysRevLett.114.191803
Moim zdaniem to są kpiny.
W naukach doświadczalnych kilkudziesięciu autorów to nie jest nic nie spotykanego. Przy opracowaniu nowych technologii, albo do szeroko zakrojonych eksperymentów, czy czasem nawet 'zwykłych' obserwacji potrzebne jest bardzo dużo danych, które trzeba zebrać i opracować. Chociażby wyniki badań klinicznych.
Aczkolwiek tysiąc autorów to już nieco dużo.
W tamtej pracy jest pięć tysięcy autorów.
Zgadzam się, że gapowicze mogą się pojawić, choć czasami pojawiają się nawet przy 2 współautorach.
Ostatni opublikowałem, jako współautor, artykuł z 4 współautorami gdzie miałem spory wkład, choć nie byłem pierwszym autorem. W recenzjach jest artykuł z 2 współautorami, gdzie mój wkład był mniejszy.
Nie wiem dlaczego wszyscy mają być "karani" za to, że jeden z współautorów wniósł niewielki wkład do artykułu.
Tak, większość chyba nie chce już "konkursów piękności" i "igrzysk śmierci" tylko wsparcie przez rozsądną możliwie najprostszą i przewidywalną ocenę. I usunięcia MDPI z listy.
A dlaczego akurat MDPI? Bo zagraża dochodom starych graczy zawłaszczających rynek?
Tak, tak, Chcą Państwo zachowac MDPI, bo jesteście lub macie tam swoich Editors lub Special Issue i recenzje robione przez znajomków. Statystyki MDPI mówią, że Polska w ostatnich latach korzysta z tego nagminnie a jakość tych artykułów to kpina. Krótko, ten kartel chinśki należy ograniczyć, wydane miliony na MDPI nie wniosły nic w rankingach światowych dla naszego kraju, tylko na Was dało awanse na kolejne profesury.
Mimo wszystko do recenzowanych publikacji w mdpi mamy wolny dostęp. Do moich własnych publikacji w Elsevierze nie mam dostępu, bo wydawca zażądał od ministerstwa kilkaset mln więcej i ministerstwo wycięło czasopisma z chemii i inżynierii materiałowej żeby zaoszczędzić. Czasami proszę znajomych z zagranicy, żeby podesłali jakiś artykuł, bo u nas tych akurat czasopism (notowanych w tzw Top 10) nie mają też uczelnie. Wytnijmy więc "drapieżne" wydawnictwa z wolnym dostępem i nie zostanie nam nic poza czytaniem abstraktów
Pan sobie kpi. Prawda jest taka, że bez tej punktacji by tam Pan nie opublikował swoich artykułów. A jest łatwo, tanio, szybko i skutecznie i jeszcze kasa wpada. Dramat, a nie nauka. Powodzenia życzę w szukaniu postdoca za granicą z artykułami z MDPI.
Kilka tysięcy CHF opłaty za publikację to tanio? Co do łatwości: recenzenci potrafią docisnąć autorów podobnie albo i bardziej niż w innych wydawnictwach. Kasa wpada zarówno do mdpi (od autorów), jak i do Elseviera (np 4000 USD za dostęp online do jednej publikacji lub setki milionów za subskrypcję dla krajowego konsorcjum). I jedne i drugie wydawnictwa tanie nie są.
W mdpi publikują się Harvard, Oxford, etc a my mamy się usunac? Kpiny...
Często bywa, że kogoś dorobek jest w Scopusie mizerny a odkąd pojawiło się mdpi nagle jest mnóstwo publikacji i punktów. Widać przez lata pisali do szuflady i czekali na powstanie mdpi. ;) I tacy ludzie dostają nagrody i stanowiska.
A scopus to galaktyczna baza wiedzy, kosmici tylko z niej korzystają
Pytanie: W jakim kraju jest najlepsza nauka?
Odpowiedź: W Stanach Zjednoczonych Ameryki Północnej.
Pytanie: A jak tam wygląda ewaluacja nauki na poziomie federalnym?
Odpowiedź: Nie ma czegoś takiego, każdy uniwersytet ewaluuje się sam tak, jak mu się to podoba.
Może by by tak skory do małpowania wszystkiego, co tylko bogatsi wymyślą, paw narodów i papuga zmałpował/zpapugował akurat to?
Nie ma takiego państwa. Są Stany Zjednoczone Ameryki
Nareszcie trzeźwy głos. Proponuję rozwiązanieniej radykalne: niechże ci geniusze od ewaluacji nauki utworzą nową specjalizację, Ewaluologię niestosową i w jej racjach oddają się swojej pasji badawczej, wzajemnie się oceniając. To byłby pięknym rezerwat dla tych, którzy nie mając możności, z powodu naturalnych swych ograniczeń, robienia nauki, z uporem od lat robią w naukę. I jakie oszczędności, i jaka wspaniała wielość z jedności, i jaki potencjał intelektualny w takim zespole drzemie...,a z czasem wyeksportować
A jak wygląda finansowanie na poziomie federalnym? Może to też zmałpujemy? Ile w Polsce uczelni utrzyma sie z patentów, grantów i opłat za naukę?
Jak dotąd wszystkie prywatne, niektóre mają całkiem wysoki poziom. Byłbym optymistą, prawo Archimedesa obowiązuje tak samo w Polsce jak w Ameryce, podejrzewam, że inne prawa też.
Zgadzam się w 100 %. Trzeba brać wzór z kraju, w którym nauka najlepiej rozwija się. Nie da się tego czytać, tej biurokracji kolejnej, niewiele lepszej. Studenci też są ważni, a odkąd pojawiła się punktoza to słyszymy, że tylko, publikacje są najważniejsze. Dydaktyka schodzi na drugi plan. A i tak mało kto czyta te publikacje, jest ich tak dużo. To, że cytowane są to odrębna kwestia. Jakieś muszą być, a i tak albo przypadkowo przywołuje się kogoś w pośpiechu (presją ilości, jakiś slotów), albo dawno są ustalone, czyli umówione. "Ty cytujesz mnie a ja Ciebie i ta sieć pseudo nauki rośnie jak wielki balon". Specyfika każdej dyscypliny jest inna. Badania coraz bardziej potrzebne interdyscyplinarne, żenujące jest więc proponowanie ujednolicania metod ich oceny.
Czyli jak nic się nie zmieni to najlepiej przeprowadzić się do USA.
Zgadzam się. Ewaluacja jest wprowadzona przez biurokratów i nau,ytek biurokratów. Najlepiej wystrzelić to w powietrze bo ewaluacja niczego dobrego nie przyniosła. A co przyniosła- produkcję nikomuniepotrEbnych artykułów, za które Państwa płaci straszna kasę za ich opublikowanie i spadek jakości dydaktyki. Ta uczelnia i ten kierunek ma dostać więcej pieniędzy który przyciąga więcej studentów. Ot taka prosta rynkowa zasada i nic więcej. A z działalności Naukowej roLiczac instytuty badawcze.
W zasadzie za to co dokonuje się w Polsce (prznajmniej w naukach ścisłych i przyrodniczych) przy tym ogromie patologii i niedofinansowania ministersrwo powinno dziękować na kolanach a nie terroryzować ewaluacją. ;)
Zgadza się, to że ciągle do tego samego worka wrzuca się pracowników naukowych i naukowo-dydaktycznych to kpina. To samo uczelnie, czy badawcze czy nie, ewaluacja taka sama.
Teraz jest podział na naukowców, badaczy dydaktykow i dydaktyków. Drukować Drukować ile się da drukować, i płacić za drukowanie
Większość propozycji wydaje się być racjonalna. Moim zdaniem, prostsze byłoby po prostu przypisać do czasopisma wartość liczbową "highest percentile", zamiast wprowadzać szersze progi punktowe. Myślę, że czasopismo, które ma miałoby 88% (czy 88 punktów), nie musi być kategorię niżej niż takie które ma 92%. W takim przypadku różnica między czasopismami wynosi rzeczywiste 4%, a nie nagle 20% (przy wprowadzeniu progów), co lepiej powinno lepiej oddać odbiór czasopisma w danym środowisku.