Ocenianie jakości treści naukowych wyłącznie po tym, gdzie się ukazały, jest niezgodne z międzynarodowymi rekomendacjami dotyczącymi metod ewaluacji nauki. Dlaczego nie przystępujemy do europejskiej platformy publikacyjnej Open Research Europe, tylko cementujemy „punktozę”? Dlaczego akceptujemy system, w którym instytucji naukowych nie stać na dostęp do części wyników ich własnych badań?
Zdaniem Ministerstwa Nauki i Szkolnictwa Wyższego, lista czasopism punktowanych jest niezbędna. Jak przekonywano w czasie spotkania prezentującego efekty prac Zespołu ds. nowego modelu ewaluacji:
Polskie instytucje naukowe wypracowują w okresie 5 lat (…) około 700 tys. publikacji. Artykuły naukowe są oceniane (recenzowane) w czasopismach naukowych, zostały zatem poddane ocenie eksperckiej. Komisja Ewaluacji Nauki wraz z zespołem eksperckim nie jest w stanie ocenić wszystkich artykułów z uwagi na ich liczbę. Potrzebna jest zatem lista czasopism punktowanych oraz przyjęcie zasady tzw. dziedziczenia prestiżu, która polega na tym, że artykuł jest tak dobry jak czasopismo, w którym się ukazał.
Powyższa wypowiedź wydaje się opierać na trzech założeniach. Po pierwsze, że wszystkie teksty, które ukazały się w recenzowanych czasopismach naukowych podlegały już ocenie eksperckiej, której można zaufać. Po drugie, że skoro publikacji naukowych jest tak dużo, to niemożliwe jest ocenianie ich treści. Po trzecie, że można ocenić jakość artykułu, wedle tego, gdzie został opublikowany. Postaram się pokazać, dlaczego każde z tych założeń jest problematyczne.
Przeciwko zasadzie dziedziczenia prestiżu
Zacznijmy od końca, a więc od tzw. zasady dziedziczenia prestiżu. Ocenianie jakości treści naukowych wyłącznie po tym, gdzie się ukazały, jest niezgodne z międzynarodowymi rekomendacjami dotyczącymi metod ewaluacji nauki. Do takich rekomendacji zaliczyć można The San Francisco Declaration on Research Assessment (DORA) czy postulaty Koalicji na Rzecz Poprawy Oceny Badań (Coalition for Advancing Research Assessment, CoARA). Punkt trzeci opracowanego w ramach tej CoARA Porozumienia w sprawie reformowania oceny badań (Agreement on Reforming Research Assessment) nawołuje do zaprzestania oceny wyników na podstawie wskaźników związanych z miejscem publikacji. Porozumienie to zostało podpisane przez wiele zagranicznych oraz polskich instytucji naukowych. Jest ono także popierane przez Komisję Europejską i Europejską Radę ds. Badań Naukowych (European Research Council, ERC).
Ważnym przejawem międzynarodowych starań na rzecz odchodzenia od zasady „dziedziczenia prestiżu” jest platforma Open Research Europe. ORE to platforma umożliwiająca publikowanie recenzowanych artykułów naukowych beneficjentom grantów europejskich w otwartym dostępie – bez opłat dla autorów czy czytelników. Platforma ta celowo nie występuje o wyliczenie jej współczynnika wpływu (Impact Factor). Dlaczego? Jak czytamy na stronie ORE: „Komisja Europejska jest częścią rosnącej liczby organizacji, którym zależy na wspieraniu (…) przekonania, że to wewnętrzna wartość tego, co publikowane, udostępniane i ponownie wykorzystywane, jest ważna, w przeciwieństwie do miejsca, czasopisma lub platformy, gdzie artykuł został opublikowany.”
W marcu tego roku ogłoszono rozszerzenie ORE. Na tej, zarządzanej przez CERN, platformie będą mogli publikować za darmo już nie tylko beneficjenci grantów ERC czy Horyzont, ale także badacze z 11 krajów (Austrii, Francji, Niemiec, Włoch, Holandii, Norwegii, Portugalii, Słowenii, Hiszpanii, Szwecji i Szwajcarii). Polska jak na razie nie przystąpiła do tego projektu. Zamiast tego – tworząc kolejną listę czasopism punktowanych w oparciu o wskaźniki wpływu periodyków naukowych – cementujemy tzw. punktozę. Tworzymy system, który stawia w centrum uwagi pytanie o to „ile punktów daje artykuł” i gdzie się ukazał, zamiast pytania o to, o czym on jest, co wnosi, dlaczego warto go przeczytać.
Odejście od zasady dziedziczenia prestiżu i listy czasopism punktowanych było także postulatem Zespołu doradczego MNiSW ds. nieuczciwych praktyk publikacyjnych. W raporcie końcowym prac tego zespołu czytamy: „Ocena wyrażona w obecnych punktach jest niewłaściwa, bowiem przedmiotem prestiżu i wartości naukowej jest to, co jest napisane, a nie gdzie” (str. 11). I dalej: „Przeprowadzenie ewaluacji według obowiązujących kryteriów, szczególnie punktowanej listy czasopism i wydawnictw, w żadnej mierze nie oddaje obrazu nauki, tylko pokazuje strategie dostosowania się jednostek do obowiązujących przepisów (str. 14)”.
Masz pieniądze, masz dostęp do wiedzy
Skąd więc w ogóle pomysł na zasadę dziedziczenia prestiżu? Miejsce publikacji może być w wielu przypadkach trafnym wskaźnikiem zastępczym (proxy) jakości artykułu. Po pierwsze, do najbardziej rozpoznawalnych czasopism składanych jest wiele artykułów, jeśli więc dany tekst zostanie w jednym z nich opublikowany, to często oznacza, że przeszedł przez gęste sito selekcji. Po drugie, w zespołach redakcyjnych najbardziej znanych czasopism często zasiadają uznani eksperci, a proces recenzji prowadzony jest rzetelnie. Po trzecie, publikacja w prestiżowych czasopismach, w przeciwieństwie do publikacji w lokalnym mało znanym periodyku, ułatwia włączenie się do międzynarodowego dialogu naukowego, ponieważ artykuł w topowym czasopiśmie staje się bardziej widoczny dla ekspertów z danej dziedziny.
Jednak zbytnie koncentrowanie się na rankingach czasopism naukowych przyczyniło się do wielu istotnych problemów współczesnej nauki. Przede wszystkim chodzi o otwarty dostęp do wyników publicznie finansowanych badań. Nakładane przez wydawców paywalle stwarzają niepotrzebne i nierówne bariery dla badaczy i studentów. Publiczne wydatki na program Wirtualna Biblioteka Nauki, zapewniający m.in. dostęp do części światowej literatury naukowej poprzez uniwersyteckie subskrypcje biblioteczne, sięgają ponad 230 milionów złotych rocznie. Oligopolistyczna pozycja największych wydawców czasopism naukowych pozwala im dyktować wysokie ceny. Wydatki te jednak i tak nie starczają na to, aby zapewnić polskim instytucjom badawczym dostęp do wszystkich czołowych tytułów czasopism naukowych. Jest to szczególnie kuriozalne, gdy dotyczy braku dostępu do publikacji wyników badań prowadzonych w polskich instytucjach.
Choć nie każdy artykuł wzbudzi równe zainteresowanie szerokiej publiczności, nie ma powodu, aby odmawiać podatnikom dostępu do wyników badań finansowanych z publicznych pieniędzy. W zależności od dziedziny, wiele publikacji naukowych zawiera cenne informacje dla osób, które często nie mają dostępu do akademickich subskrypcji bibliotecznych – nauczycieli, pacjentów, dziennikarzy czy przedsiębiorców. W ramach tzw. zielonej drogi otwartego dostępu (green open access), niektóre publikacje można znaleźć za darmo w uczelnianych repozytoriach – nadal jednak nie wszystkie. Sam proces wyszukiwania na własną rękę może być czasochłonny, ale pomagają w nim rozwijane przez organizacje non profit automatyczne rozwiązania takie jak np. Unpaywall i inne narzędzia otwartego dostępu.
Problemem jest także wydawanie publicznych środków na wysokie marże wydawców czasopism naukowych. Najwięksi wydawcy to komercyjne firmy, które nie wnoszą do nauki wiele, a ich zyski opierają się na darmowej pracy akademików (autorzy artykułów naukowych nie dostają wynagrodzenia za publikację, a recenzje przygotowywane są nieodpłatnie). Ważnym źródłem przychodu tych firm są opłaty za publikowanie w otwartym dostępie. W modelu zwanym złotą drogą (gold open access) to autor musi zwykle zapłacić za to, aby jego tekst był dostępny bez barier na stronie czasopisma. Opłaty za opublikowanie jednego artykułu w otwartym dostępie to nierzadko koszt około 3 tysięcy euro. Wszystko to razem tworzy niesprawiedliwy system, w którym dostęp do wiedzy naukowej lub możliwość otwartego dzielenia się efektami własnej pracy, zależy od zamożności badacza lub jego instytucji.
Co więcej, zasada dziedziczenia prestiżu opiera się na założeniu, że rankingi czasopism oparte na wskaźnikach cytowalności trafnie oddają wartość samych czasopism. Rankingi stwarzają samospełniające się przepowiednie: tytuły, które znajdują się w nich najwyżej dostają wiele tekstów, z których mogą wybierać. Kiedy redakcje naukowe tych czasopism odchodzą od komercyjnych wydawców (np. w proteście przeciwko zbyt wysokim opłatom za open access, jak miało to miejsce w przypadku czasopisma NeuroImage) i zakładają nowe czasopisma prowadzone przez tych samych ekspertów, nowe tytuły muszą liczyć się z dużo mniejszą rozpoznawalnością, a często przez jakiś czas są wręcz nieobecne w rankingach. Wielu badaczy nie wie o ich istnieniu, a ci którzy wiedzą, mogą obawiać się publikacji w nich ryzykując utratę punktów.
Jeszcze poważniejszym problemem dla zasady dziedziczenia prestiżu jest fakt, że wskaźnikami cytowalności da się manipulować, co odsyła nas do pierwszego założenia z cytowanej na początku tego artykułu wypowiedzi.
Ocena ekspercka nie zawsze godna zaufania
Jak pokazali Tomasz Żuradzki i Leszek Wroński, w 2023 roku w dziesiątce najlepszych czasopism z filozofii wedle topowych światowych rankingów, w tym w bazie Scopus, znalazło się kilka tytułów czasopism-wydmuszek (fake journals), publikujących w dużej mierze automatycznie wygenerowane artykuły, które cytując siebie nawzajem trafiły na szczyty rankingów. Czasopisma drapieżne pojawiają się w każdej dyscyplinie nauki i część z nich jest indeksowana w takich bazach, jak Scopus.
Na dotychczasowej polskiej liście czasopism punktowanych także nie brakuje tytułów o bardzo wątpliwej reputacji. Jak czytamy w raporcie końcowym Zespołu doradczego MNiSW ds. nieuczciwych praktyk publikacyjnych: „duża liczba punktów (100, 140) przypisana jest często czasopismom mało prestiżowym, stosującym wątpliwe etycznie standardy publikacyjne, a nawet »drapieżnym« (…). W powiązaniu z presją publikacyjną, sprawia to, że badacze decydują się na publikowanie w słabych, ale wysoko punktowanych publikatorach, a instytucje naukowe wspierają taką praktykę” (str. 18). Podobne konkluzje pojawiają się w zagranicznych publikacjach naukowych omawiających skutki powiązania systemu ewaluacji nauki z bazą Scopus – może to tworzyć system, w którym czasem publikowanie w czasopiśmie drapieżnym się opłaca.
W dobie rozkwitu czasopism drapieżnych oraz papierni (paper mills) nie można zakładać, że redakcje wszystkich periodyków, które są indeksowane w bazach czasopism naukowych, faktycznie dbają o jakość publikowanych w nich artykułów. Część z nich to w istocie strony internetowe, które publikują wszystko zarabiając na opłatach za otwarty dostęp.
Niektóre z zapowiedzianych zasad tworzenia nowej listy czasopism punktowanych mają odpowiadać na opisane wyżej problemy. Chociaż „około 90% całej listy czasopism będzie kształtowane w oparciu o ocenę bibliometryczną”, ma być wprowadzona możliwość usunięcia z listy czasopism punktowanych „periodyków niespełniających standardów etycznych lub naukowych”. Nie wiadomo jednak, wedle jakich kryteriów będzie to możliwe.
Narzędzie faworyzowania „swoich” czasopism?
Najmocniejszy argument na rzecz listy punktowanych czasopism naukowych dotyczy kwestii organizacyjnych. Ewaluacja jakości publikacji wedle wskaźników bibliometrycznych czasopism jest prawdopodobnie tańsza i szybsza niż ocena ekspercka treści tych artykułów.
Dlaczego jednak zakładać, że eksperci musieliby przeczytać wszystkie 700 tys. publikacji, aby ocenić poziom instytucji, w których pracują ich autorzy? Ośrodki naukowe mogłyby wskazywać do oceny mniejszą liczbę osiągnięć, albo ocenie eksperckiej mogłaby podlegać losowana pula tekstów z bazy wszystkich osiągnięć.
Chociaż ocena ekspercka osiągnięć naukowych może być droższa niż ocena wedle listy czasopism punktowanych, to samo stworzenie listy czasopism także kosztuje czas i pieniądze. Jak tłumaczyli członkowie Komisji Ewaluacji Nauki: „z baz wskazanych w rozporządzeniu pobranych zostanie ponad 100 tys. czasopism, trzeba będzie podjąć decyzje odnośnie do ok. 5 tys. tytułów z mniejszych baz (dołączenie do wykazu, akceptacja propozycji ekspertów), należy określić dyscypliny, w ramach których funkcjonują periodyki, wreszcie około 3 tys. czasopism musi przejść odrębną ocenę ekspercką. W sumie klasyfikacja obejmie około 35 tys. pozycji.” Ile artykułów z nieznanego wcześniej czasopisma trzeba przeczytać, aby ocenić „poziom merytoryczny artykułów naukowych publikowanych w czasopiśmie naukowym”? Z iloma osobami warto byłoby skonsultować „rozpoznawalność czasopisma naukowego”?
W aktualnym systemie obawy o to, że ocena ekspercka będzie zbyt subiektywna, przypadkowa lub stronnicza nie znikają – dotyczą one jednak nie oceny poszczególnych osiągnięć, a procesu tworzenia wykazu czasopism. O tym, że ministerialna lista może stać się narzędziem faworyzowania „swoich” czasopism mogliśmy się już przekonać w przeszłości.
Oczywiście ocena ekspercka samych osiągnięć także narażona jest na to ryzyko. Dlatego powinna mieć jasno określone, transparentne i dopasowane do danej dyscypliny kryteria. Kluczowe jest także opracowanie mechanizmu wyboru międzynarodowych ekspertów tak, by minimalizować ryzyko stronniczej oceny. Wskaźniki bibliometryczne mogłyby być brane pod uwagę jako element takiej oceny. Jednak do oceny wpływu danego artykułu, lepszym narzędziem będzie liczba cytowań tego właśnie artykułu, a nie czasopisma, w którym się ukazał. W wielu krajach nie ma czegoś takiego jak jedna, krajowa lista czasopism punktowanych. Istnieją alternatywy.
Za późno na zmiany?
Konsultacje społeczne zmian w kolejnej ewaluacji już się skończyły. Obecnie funkcjonujemy w systemie, którego szczegółowe reguły wciąż nie są znane – nowa lista czasopism punktowanych ma być ogłoszona po wakacjach, ale będzie obowiązywać wstecz.
Może do czasu kolejnych konsultacji społecznych w sprawie zmian w systemie ewaluacji w środowisku naukowym uda się dojść do konsensusu chociaż w tej jednej sprawie, że: ocena jakości wyników badań nie powinna zależeć wyłącznie od tego, GDZIE te wyniki zostały opublikowane?
dr Emilia Kaczmarek, Zakład Etyki
Wydział Filozofii Uniwersytetu Warszawskiego
(śródtytuły od redakcji)
Z jedną opinią, która często tu pada, nie zgadzam się, być może państwa zaskoczę. Mianowicie że lista ministerialna będzie zawsze gorsza od oceny wg IF.
Nie chcę się rozpisywać nad działaniami zagranicznych wydawców i "podmiotów bibliometrycznych", próbowałem kilkukrotnie na FA i zawsze wychodzi mi to przydługo. Podejrzewam w promocji bibliometrii, jaka nastąpiła kilkadziesiąt lat temu, genialną akcję promocyjną wydawnictw, może kręgów naukowych, bądź nawet państw. Cały sęk w tym, że licząc cytowania, IF-y i inne wskaźniki, na początku trzeba arbitralnie wyznaczyć bazę czasopism, które uwzględniamy. Potem na zasadzie dodatniego sprzężenia zwrotnego pewne czasopisma będą tylko wzrastać, a nowym będzie bardzo trudno wejść do interesu - ale zwłaszcza jeśli wtrącą się do tego państwa i zaczną takiej bibliometrii używać do rozdysponowywania swoich pieniędzy. I uważam, że państwu polskiemu, podobnie jak żadnemu innemu wręcz nie wolno wziąć bazy danej bibliometrycznej prywatnej firmy, w dodatku z zagranicy i wg tego prowadzić ewaluację. Zresztą jest to wyczuwalne intuicyjnie, nawet na poziomie formy i estetyki (kiepsko zawsze wyglądało, gdy WoS czy Scopus były wpisane na sztywno do ustawy czy rozporządzenia - a co jeśli te podmioty zmienią nazwę lub się podzielą?). Państwo nie powinno dawać się wodzić za nos i powinno zostawić sobie suwerenność decyzji; choćby się na IF wzorowało, to wtedy jakaś lista ministerialna z nieznacznymi choćby korektami powinna być, oczywiście nie znaczy to, że taka jak u nas.
Zaznaczam, ze rozważania te są dla mnie o tyle teoretyczne, że ewaluację wg IF uważam za skrajnie szkodliwą z wielu powodów i system finansowania/oceny nauki powinien w ogóle być od niej krańcowo odległy.
Jeśli nie można badań naukowych rzetelnie ocenić, może lepiej nie oceniać ich wcale i zrezygnować ze słowa ocena? W gruncie rzeczy, albo badania naukowe są uznawane za potrzebne i zyskują finansowanie, albo nie.
IF czasopisma jest oceną niewłaściwą, którą punktacja ministerialna spłaszcza i odrobinę zniekształca, co powoduje, że miara jest jeszcze gorsza.
Jeśli jednak na siłę przyjąć, że IF czasopisma jest wystarczająco dobrą miarą jakości opublikowanych badań, IF czasopisma pomnożony przez IF artykułu będzie lepszą.
"Potem na zasadzie dodatniego sprzężenia zwrotnego pewne czasopisma będą tylko wzrastać, a nowym będzie bardzo trudno wejść do interesu"
Nieprawda. Wielokrotnie podawałem przykłady odwrotne, np. tu:
https://opolska360.pl/prof-hubert-wojtasek-wsrod-naukowcow-jest-ciche-przyzwolenie
Wielu renomowanych czasopismom IF spada, a wielu nuworyszom gwałtownie rośnie. W skrócie:
"Podobnie jak naukowcy i instytucje badawcze, czasopisma zabiegają o wzrost cytowań publikowanych artykułów, niektóre w sposób niezbyt uczciwy, wykorzystując do tego celu nieuczciwych autorów. [...]
Zjawisko to można zaobserwować w niektórych czasopismach, w których publikował profesor Królczyk. „Tribology International” w 2000 roku opublikował 98 artykułów, a w 2023 roku 1001, czyli ponad 10 razy więcej. Jego Impact Factor wzrósł z 0,657 do 7,045. „Alexandria Engineering Journal” miał w 2000 roku 33 publikacje, w 2020 - 441, w 2023 roku – 1151. W ciągu niespełna ćwierć wieku wzrost ponad 30 razy. IF tego czasopisma w 2000 roku wynosił zero, w 2020 – 4,342, a trzy lata później już 7,727. „Journal of Energy Storage” powstał w roku 2015 i już po dwóch latach znalazł się w pierwszej ćwiartce czasopism w swojej dyscyplinie. Jego IF wyniósł odpowiednio: 7,059 w 2020 i 9,644 w 2023 roku, a liczba artykułów w 2020 – 657, a w 2023 – 3161. Taki gwałtowny wzrost tych parametrów trudno racjonalnie wytłumaczyć wzrostem jakości. Renomę czasopisma buduje się zazwyczaj żmudnie i powoli. Dla porównania popatrzmy na prestiżowe „Proceedings of the National Academy of Sciences of the United States of America”, flagowe czasopismo Akademii Nauk Stanów Zjednoczonych. Liczba artykułów między 2000 a 2023 rokiem wzrosła z 2641 do 3661, tylko o około 20 procent, a jego Impact Factor niezmiennie oscyluje około 10.
No co z tego że jednym rośnie a innym spada, czy ludzie są mądrzejsi a świat stał się lepszy. Napewno biznes wydawniczy rośnie, 2000, 3000, 4000 $£€ za opublikowanie artykułu OA. To patologia.
Oczywiście, że to patologia. Tylko, że u tych, którym gwałtownie i nieuczciwie rośnie, to trochę większa patologia. Dlatego potrzebne są zmiany.
https://forumakademickie.pl/deklaracja-sztokholmska-nagradzac-za-jakosc-zwalczac-oszustwa/
https://forumakademickie.pl/promowac-rzetelnosc-badan-eliminowac-zachowania-nieetyczne/
https://forbetterscience.com/2025/11/17/the-fribourg-declaration/
Tylko jakoś nie widać zainteresowania, nie tylko decydentów, ale także większości środowiska naukowego, dla którego obecny system jest po prostu wygodny i opłacalny.
Do ~Hubert Wojtasek 27.04.2026 08:30
Pisze pan, cytuję: „Oczywiście, że to patologia. Tylko, że u tych, którym gwałtownie i nieuczciwie rośnie, to trochę większa patologia. Dlatego potrzebne są zmiany.”
Panie Hubercie, pozwolę sobie przytoczyć kawałek mojej wypowiedzi z 03.12.2025 12:10:
„Jeden z ataków na ewaluację polegał na podziale czasopism na „dobre” i „drapieżne”. Atak ten przeprowadzano przeważnie z „góry” – kierownictwo PAN i inni decydenci.” Tą wypowiedzią dołącza pan do ataku.
Dlaczego jednym (Przeważnie nowym czasopismom), jak pisze pan, gwałtownie rośnie, a inni prawie stoją w mieście? Dlaczego nowym IF rosną a niektórym starym spadają? Bo założyciele czasopism nowej generacji przeanalizowali wady tych dobrych czasopism i postanowili je wyeliminować. Główne wady to, po pierwsze, nieograniczony czas na recenzje. Często zdarza się że recenzowanie 15 stronicowego artykułu zajmuje wiele miesięcy. Po jednej stronie tygodniowo!!! Po drugie, długi czas przygotowania do druku. Po trzecie, kilka miesięcy od przyjęcia do druku do opublikowania. Daje to w sumie od roku i wzwyż od wysłania do opublikowania. W dyskusji w FA jeden z obecnych decydentów nauki napisał, że opublikowanie zajęło mu dwa lata. A w tym wielokrotnie poniewieranym MDPI góra dwa miesiące.
Pisze pan: „Dlatego potrzebne są zmiany.” Ma pan rację. Zmiany już zachodzą. Odpowiedzią na pana zawołanie są te tak nielubiane przez decydentów nauki oraz pana nowe czasopisma.
A teraz oczywista odpowiedź, dla czego im wszystko rośnie. Bo część pracowników nauki wkurzyła się na ciągłe ich poniewieranie przez wydawców „dobrych czasopism” i zrezygnowała z ich usług, przerzucając się na te nowe!
Panie Profesorze,
Chyba nie zajrzał Pan na strony, do których linki podałem powyżej. Bo autorzy tych artykułów (z którymi się w pełni zgadzam) nie proponują jako rozwiązania jakiegoś nowego wydawnictwa, bo to niczego nie zmieni - każdy komercyjny wydawca dba przede wszystkim o zyski. A to w ciągu ostatnich dwóch dekad spowodowało gwałtowny spadek jakości większości czasopism, szczególnie tych "nowych", jak Pan to nazywa, które w tym czasie powstały. I bynajmniej nie mam na myśli jednego wydawcy. Takie czasopisma ma każdy z "wielkiej piątki", jak Pan to nazywa. W moim zestawieniu tych, "którym gwałtownie i nieuczciwie rośnie", na pierwszym miejscu wcale nie jest MDPI, tylko Elsevier, z prostej przyczyny - MDPI publikuje ok. 400 czasopism, Elsevier - ok. 3000.
I jeszcze raz muszę powtórzyć - w ciągu 20 lat nie zdarzyło mi się, żebym czekał na decyzję redaktora dłużej niż 4 miesiące, w przypadku desk rejection było to zazwyczaj mniej niż miesiąc. Więc naprawdę nie wiem skąd się biorą te narzekania na przewlekłość.
Ale to w tej chwili nie jest najważniejszy problem. Ważniejszy jest zalew czasopism wszelkiego rodzaju barchłem z papierni i artykułami produkowanymi przez AI. Jedynym rozwiązaniem tego problemu jest zmiana modelu publikowania (opisana w tych artykułach "podlinkowanych" powyżej) i zmiana modelu oceny badaczy i instytucji.
I jeszcze raz podam link do artykułu redaktorów JBC, w którym wyjaśniają dlaczego im "nie rośnie" i dlaczego nie podporządkują się nowym, komercyjnym regułom przemysłu wydawniczego.
https://www.jbc.org/journalranking
Do ~Hubert Wojtasek 04.05.2026 17:09
Panie Profesorze,
Pisze pan, cytuję: „…w ciągu 20 lat nie zdarzyło mi się, żebym czekał na decyzję redaktora dłużej niż 4 miesiące, w przypadku desk rejection było to zazwyczaj mniej niż miesiąc. Więc naprawdę nie wiem skąd się biorą te narzekania na przewlekłość.”
Chyba coś panu pomyliło się. Napisałem o tym, ile czasu upływa do publikacji, a nie decyzji redaktora oraz podałem informację od jednego z decydentów nauki, zamieszczoną w FA.
A może te „stare, dobre?” czasopisma publikują nie dla zysku, a w czynie społecznym?
A co, w tych 3000 czasopismach nie ma „barachła”?
Odnośnie zmiany modelu oceny badaczy i instytucji. Jak wrócimy do ekspertów, to można nawet nie robić tej oceny. Przecież z góry wiadomo, które uczelnie oraz instytuty PAN są najlepsze.
Wygodny dla leniwych i bojących się. Opłacalny dla tych, których ogląd świata ogranicza się do podwórka, na którym aktualnie rządzą.
Gdyby tak Darwin, Pasteur, Kopernik i wielu innych idących pod prąd, byli poddawani sobie współczesnej ewaluacji eksperckiej lub punktowej, to jak by wypadli? Gdyby tak musieli dogodzić sobie współczesnym recenzentom?
Gdyby tak F. Sanger musiał co roku coś opublikować, nie zniechęciłby się jeszcze przed drugą nagrodą Nobla?
Francois Jacob i Jacques Monod, napisali w swoich wspomnieniach, że cieszą się, że pracowali w czasach, w których dało się pracować. Dziś Europa traci na znaczeniu w tempie, które każe się poważnie zastanowić nad wieloma aspektami naszego postępowania.
Dawniej były inne problemy, znacznie bardziej egzystencjalne. Brak stabilnego finansowania nauki ze strony państwa, bardzo mała liczba katedr uniwersyteckich. Jeśli ktoś robi naukę za własne pieniądze, to nic nie musi. Jeśli komuś udało się zdobyć etat profesora na uczelni, co zwykle było marzeniem ściętej głowy, to był tak wybitny i "ważny", że też już niewiele "musiał".
Niezwykle wysoki próg wejścia, zatrudnienie tylko wybitnych (odsiewając wielu innych, też bardzo dobrych), a potem czas na spokojną pracę w oczekiwaniu na przełomowe efekty, to ciekawy system, wciąż praktykowany na szczytach nauki współczesnej (ale niżej, nawet w tych samych krajach, vide Chiny, szaleje punktoza i wyścig szczurów).
Zresztą, nie trzeba daleko szukać. II Rzeczpospolita, potem PRL. Nawet o maturę nie było łatwo, studiowało parę procent społeczeństwa, nawet doktorów mało. Kilka uniwersytetów w sumie. System typowo elitarny. W nim nie musi być punktowej oceny. To se ne vrati. Choć może warto by było? Droga jednak daleka, bo u nas wręcz synonimem są "uczelnie najlepsze" i "uczelnie największe (liczebnie)".
Cyt." Jeśli ktoś robi naukę za własne pieniądze, to nic nie musi. "
Robić naukę, a robić karierę akademicką, to jednak NIE to samo, a zwłaszcza w Polsce.
Można sobie robić naukę, tzn. prowadzić badania, publikować nawet dobre wyniki, nawet w tych czasopismach punktowanych (dawniej z "Listy Filadelfijskiej"), a kariera akademicka tzn. awans naukowy, może pozostać i tak niezrealizowanym marzeniem. Znam taką osobę.
Nie proponuję powrotu wprost do przełomu wieków XIX i XX. Aktualny socjalny system studiów i zarządzania uczelniami (wszystkimi tak samo) powoduje, że europejskie (nie tylko polskie) uczelnie tracą na znaczeniu, co wprost przekłada się na powolną marginalizację części świata, która nie tak dawno była motorem jego postępu społecznego i technologicznego. Oczywiście, najłatwiej zwyczajnie przyjąć do wiadomości, że taki trend się utrzyma. Jednak dobrze życząc naszym dzieciom i wnukom, powinniśmy zastanowić się nad optymalizacją / naprawą systemu wadliwego w sposób już dobrze widoczny.
Faktycznie, udało się tyle zepsuć, że „to se ne vrati”. Błąd pierwszy i raczej już nieusuwalny to likwidacja techników i szkół zawodowych, i założenie, że w europejskich czasach post-historycznych wszyscy powinni dostać dyplom wyższej uczelni. Skutek: mamy 1,3 mln studentów na niecałe 900 tys. licealistów. Taki system wymusza obniżenie jakości kształcenia na studiach i zapaść intelektualną całego państwa: mamy coraz gorzej wykształconych ministrów, ambasadorów, samorządowców, a ci będą podejmować coraz gorsze decyzje. Trend trochę światowy. Trudno nie zauważyć. Nic nowego, historia uczy, że postęp technologiczny czasowo demoralizuje.
Do elitarności studiów raczej nie wrócimy, ale nadal potrzebujemy 20, może 50 bardzo dobrych uczelni na te 380 już istniejących. Nadmierny rozrost szkolnictwa wyższego jest wyjątkowo szkodliwy dla najlepszych uczelni, ponieważ rosnącego bez umiaru Molocha państwo nie utrzyma.
Błąd drugi: brak finansowania statutowego badań naukowych. Wystarczyłyby na to np. pieniądze z IDUB. Bez podań, niepewności podejmowanych działań, sprawozdań z wydania każdego tysiąca złotych z osobna = czysta strata czasu + uzasadnianie utrzymania rozbudowanej administracji.
Błąd trzeci: zbędna sprawozdawczość, przerost administracji i działań administracyjnych = czysta strata czasu.
Błąd czwarty: brak autonomii uczelni i pozostawanie przy systemie habilitacyjnym, z jednoczesnym obniżeniem rangi doktoratu = czysta strata czasu.
Błąd piąty: ocena uczelni oparta niemal wyłącznie na z założenia niewłaściwym liczeniu punktów za publikacje.
Powyższe błędy pokazują, że państwo jest (oby przejściowo) w takim stanie upojenia ciepłą wodą w kranie, że zdaje mu się, iż nie potrzebuje ani nauki, ani autonomicznego rozwoju.
Jakość kształcenia nie tylko powinna się liczyć, ale powinna być najważniejszym elementem oceny i finansowania uczelni.
Poprawniej liczonym punktom za publikacje dałbym nie więcej niż 30% w ogólnej ocenie. 40% za jakość kształcenia i 30% za faktyczny wpływ na rozwój technologii, gospodarki i społeczeństwa.
Kiedyś napisałem kabaretowy skecz, w którym ci panowie występowali o granty. Uległ anihilacji razem z którymś z poprzednich komputerów i jest nie do odzyskania.
Może taki się przyda. Nie mój, ale z czasów moich studiów doktoranckich (autor Todd Hutson).
Why God didn't get tenure:
1. He had only one major publication
2. And it was in Hebrew
3. And it had no references
4. Nor was it published in a major refereed journal
5. Some doubt that He wrote it himself
6. His cooperative efforts have been quite limited
7. The scientific community has had an exceedingly difficult time attempting
to duplicate his results
8. It may be true that He created the world, but what has He accomplished
since then ?
Skecze możemy sobie pisać, a Ministrów i Premierów to i tak GUZIK obchodzi. Mam wrażenie, że ci ludzie mają dezaktywowaną funkcję o nazwie "sumienie( )" w swoich "systemach operacyjnych" (jeśli można to tak określić). Tu nic chyba nie pomogą nasze wpisy, żale, a nawet przedstawianie tu różnych pomysłów na poprawę sytuacji, choćby jeden z nich był tym najlepszym. Tu chyba musi być faktycznie jakiś strajk, czy ogólnopolska akcja protestacyjna, bo dalej tak być NIE MOŻE.
Najgorętsze dyskusje na Forum Akademickim zdają się dotyczyć podziału pieniędzy między jednostki naukowe i tego, żeby z tego „sprawiedliwego” podziału coś dobrego wynikało.
Która dyscyplina naukowa powinna dostawać największe dotacje?
Na to pytanie odpowiada rynek pracy każdego państwa, które swoją naukę sponsoruje. Jeśli potrzebujemy więcej informatyków, więcej pieniędzy należy przekazać wydziałom kształcącym najlepszych informatyków, jeśli potrzebujemy więcej psychologów – zwiększamy finansowanie wydziałów kształcących psychologów.
Która uczelnia powinna dostać najwięcej pieniędzy?
Naukowcom w zasadzie w 90% płaci podatnik za to, żeby kształcili doskonałych fachowców w swoich dziedzinach, ponieważ postęp technologiczny to w mniej więcej 90% firmy, a nie uczelnie.
Ci, który to robą najlepiej powinni dostać oprócz dobrych pieniędzy na dydaktykę, także pieniądze na finansowania statutowe badań podstawowych.
Resztę załatwić powinien tematyczny (a nie wiekowy lub płciowy) system grantów uzupełniony przez branżowe granty zamawiane.
@Przemo
Dla porządku tylko dodam, oczywiście wyrażając tylko swoją własną opinię:
mamy BARDZO różne oczekiwania wobec nauki oraz wizje tego, jak badania naukowe powinny być zorganizowane i finansowane.
@Marcin Przewłoka
Rozumiem i szanuję.
Wszyscy wiedzą na czym polega "fenomen" MDPI jeśli ktoś piszę o OA, to przypomnę że w Elsvier i Spirnger - jest możliwość publikowania bez opłat bo ministerstwo opłaciło pewną pulę artykułów, ciekaw jestem czy prognoza "Hubert Wojtasek" ilości naukowców publikujących w mdpi w tej ewaluacji się sprawdzi - podejrzewam że jest realna
Ale chciałbym zwrócić uwagę na inny problem - jaka jest wizja przyszłości pracy ludzi, którzy bronią doktorat i mogą zostać zatrudnieni na asystencie, tylko okazuje się że za pracę ekwiwalent finansowy jest taki sam jak ludzi bez żadnych umiejętności NAJNIŻSZA KRAJOWA
https://www.imim.pl/files/Rekrutacje/2026/2026_04_rekrutacja_DN-4_asystent_strona.pdf
Mając taką wizję przyszłości, nawet jeśli się uda kogoś "złapać" na doktorat, kto będzie chciał zostać?
W mojej opinii, ocena ekspercka jest obarczona takimi samymi potencjalnymi wypaczeniami, jak obecna ocena oparta na ministerialnej liście czasopism. Ale po kolei.
(1) Załóżmy ocenę opartą tylko na surowych wskaźnikach czasopism typu Impact Factor (IF) i kwartyli. W takim przypadku okazuje się, że cwani wydawcy mocno manipulują procesem, zmniejszając liczbę recenzji, a zwiększając widoczność (a w praktyce cytowalność) za pieniądze.
(2) Załóżmy ocenę opartą na cytowaniach. Cytowania są zazwyczaj wynikiem czasu, ale indywidualni badacze mogą łatwo zwiększać ich liczbę, organizując „spółdzielnie”, które zresztą wymyślili fizycy cząstek elementarnych, publikując prace z setkami autorów. Pomysł był szczytny – uwzględniać wszystkich zaangażowanych – ale szybko został przejęty przez innych, do mniej szczytnych celów.
(3) Lista czasopism ministerialnych, w pewnym sensie, jest ekspercka. W założeniu ma likwidować wypaczenia, które pojawiają się przy (1) i (2). W praktyce okazuje się, że ekspert to człowiek z krwi i kości – ma pewne sympatie i zobowiązania wobec pracodawców. W efekcie, dobrze jest znaleźć się w jakiejś komisji, bo to daje prestiż i możliwości wpływu, zarówno długoterminowego, jak i krótkoterminowego. Długoterminowy wpływ: decyzje dotyczące tego, które czasopisma wejdą na listę i z jaką wagą. Krótkoterminowy: ekspert wie, co będzie się liczyć, zanim jeszcze lista zostanie ogłoszona (np. teraz lista ma być ogłoszona po wakacjach, ale eksperci już wiedzą, które czasopisma będą się liczyć, i mogą tę wiedzę sprzedawać znajomym, na przykład przy „wódeczce” – raczej nie przy kawie, bo to wymaga większej zażyłości). Swego czasu zrobiono "legalny" przekręt na niby-patentach, bo niektórzy wiedzieli, że będzie je można dopisywać bez umiaru.
(4) Załóżmy czysto ekspercką ocenę. Do przejrzenia będzie ogrom publikacji, co wiąże się z dużymi kosztami. A i tak będą to robić ludzie, którzy mają swoje osobiste preferencje i zobowiązania, skoro ktoś ich powołał.
Moim zdaniem, wszystkie te podejścia są jednakowo obarczone ryzykiem wypaczeń, a kwestia, które z nich zostanie wybrane, zależy od mody. Ale jak pisałem wcześniej, jeśli inne kraje zaczną wprowadzać to "nowoczesne" eksperckie podejście, prędzej czy później zostanie ono wdrożone u nas, bez względu na koszty. U nas w sprawach nauki decyzji się nie podejmuje, tylko dokonuje transferu metod.
Ale jest jeszcze inna opcja, która może się niespodziewanie wyłonić. Ktoś już wspomniał o możliwości wykorzystania AI. Oczywiście, przekłamania mogą być spore. Ale co przemawia za tą opcją? Niskie koszty, szybkość i niezależność oceny. Gorzej, mam poważne obawy, że w ciągu kilku lat większość recenzji publikacji będą wykonywać wyłącznie AI, ponieważ jest ono w stanie wychwycić poważne błędy merytoryczne i potrzebuje tylko kilku minut na analizę. A tak naprawdę, jeśli badacz pochodzi z certyfikowanego ośrodka, to inni badacze nie powinni decydować, czy jego publikacja jest dopuszczalna, czy nie. A współczynnik akceptacji, w sposób niezależny może ocenić AI.
PS1. Podobno Albert Einstein, był oburzony, gdy wysłano jego manuskrypt do recenzji. W jego opinii, on wysłał manuskrypt do opublikowania, a nie do dawania do poczytania innym.
PS2. Kiedyś, jak manuskrypt edytowała pani sekretarka, to można było się kawy napić w większym towarzystwie. Ale niestety, "to se ne vrati".
Cytowania jako wskaźnik "naukowości" ? Przykładowo w Scholarze , raz mam 674 , raz 543 ,innym razem 482 . I to ma być obraz mojego dorobku w tym skromnym systemie ?????
@akademik
Jakość nauki jest naprawdę trudno zdefiniować i zmierzyć. Istnieją jednak pewne korelacje, które w większości przypadków sprawdzają się – rzeczywiście w jakimś stopniu odzwierciedlają jakość.
Jedna z tych korelacji to liczba cytowań. Zwykle liczba korelacji odzwierciedla to, jak często naukowcy sięgają do jakiejś publikacji, ponieważ wydaje się im ona ważna. A to zdecydowanie określa wpływ jakieś publikacji w danej dziedzinie wiedzy, i to nie tylko w tej jednej zresztą.
Tak więc, jak najbardziej, "cytowania jako wskaźnik "naukowości" ".
Zaś co do Pańskich przygód z Google Scholar, to rzeczywiście trochę dziwne. Scholar robi pewne poprawki i przesunięcia, jednak to zwykle daje różnice 2-3 cytowań mniej lub więcej, ale nie kilkudziesięciu. Bardzo dziwne.
Jednak, jeśli Google Scholar nie odpowiada, to zawsze można spojrzeć na swoje konto w Scopus lub w Web of Science. Tam cytowań jest mniej, ale są "pewniejsze".
@Marcin Przewloka
Szkoda, że nie można poprawiać swoich postów.…
Zdanie miało brzmieć "Zwykle liczba cytowań odzwierciedla to, jak często naukowcy sięgają do jakiejś publikacji, ponieważ wydaje się im ona ważna".
Jeśli chcemy oceniać działalności naukową na podstawie obiektywnych kryteriów (bo np. z jakiegoś powodu nie mamy zaufania do oceny środowiska) to mamy tylko jedną całkiem pewną informację o działalności uczonego: jego publikacje. Wszystko inne jest subiektywne i może zostać podważone.
A o artykułach i książkach wiemy tylko dwie całkowicie pewne rzeczy:
1. Gdzie zostały opublikowane.
2. Gdzie zostały zacytowane.
Jest więc naturalne, że jeśli chcemy oceniać jakość uczonego na podstawie całkowicie obiektywnych kryteriów, to musimy oceniać głównie jego publikacje. Jeśli ta ocena ma być oparta o miejsce opublikowania artykułów i książek, to musimy te miejsca też wartościować, obecnie umieszczenie a stronie interetowej też jest publikacją. A tego możemy dokonać też tylko na podstawie cytowań. Jak się nie kręć, plecy z tyłu.
Cytowania lub raczej ich brak, to wygodny sposób na skazanie autora lub autorów danej pracy na niebyt. Tzn. niby jest/są, bo przecież coś tam opublikował/opublikowali, ale tak naprawdę, to jakby ich nie było. Mogę z łatwością podać tego kilka przykładów.
@komentator (poprzedni)
W przypadku oceny dorobku pojedynczej osoby w długim okresie czasu albo oceny jakieś grupy osób lub instytucji w krótkim lub długim okresie czasu, pojedyncze publikacje, które są przełomowe, ale nie zbierają szybko cytowań, nie zmieniają ogólnego obrazu sytuacji. To są ‘outliers’, ich obecność nie przeszkadza w rzetelnej ocenie.
@Profesor PAN
Zgadzam się, że cytowania to bardzo ważny element, który na pewno należy brać pod uwagę przy ocenie. Pomimo tego, że są tutaj przynajmniej dwa "ale".
Jedno dotyczy tego, że w krótkim okresie między-ewaluacyjnym te cytowania mogą się jeszcze nie zakumulować na tyle, aby zostać zauważone i poprawnie ocenione (jeśli byśmy patrzyli na suche liczby).
Drugie zaś to temat sztucznej inflacji cytowań poprzez produkcje "publikacji na zamówienie" (-> paper mills). Podejrzewam, że w niektórych dyscyplinach to może być poważny problem.
To są zresztą kolejne dwa argumenty za tym, aby ocena była ekspercka, ponieważ ludzie dobrze znający daną dziedzinę nauki potrafią celnie ocenić wpływ i wagę publikacji oraz zapewne byliby w stanie wyłowić "dziwności" związane z niezwykle wysokim poziomem cytowań niektórych prac.
Proszę pana, korupcja dotyka każdej ludzkiej działalności ale przecież nie rezygnujemy z jedzenia obiadu, bo przecież mogli dać przeterminowaną sałatkę. Jasne, że w nauce też istnieje korupcja. Ja nie mówię o sposobie trafienia do Nieba, podaję tylko w miarę wiarygodną metodę oceny, która jest na tyle obiektywna, że nie da się jej nieobiektywności zarzucić bez złej woli.
Z ekspertami jest podobnie - do eksperta należy mieć zaufanie a w Polsce nikt nie ma zaufania do nikogo. Najgorsze, że jest to postawa w pełni racjonalna. Dlatego metoda ekspercka może kiedyś, kiedy po nas zostanie tylko wspomnienie.
@Profesor PAN
Już tutaj pisałem niedawno, że korupcja to jest właśnie świetny przykład tego, że skala ma kolosalne znaczenie. Nikt nie neguje faktu, że korupcja istnieje właściwie wszędzie, ale kluczowe jest, jak bardzo jest zakorzeniona i rozpowszechniona. Jak dużą rolę odgrywa w różnych aspektach życia codziennego. Skala jest kluczowa.
Jestem jak najbardziej za wprowadzeniem w Polsce oceny eksperckiej przeprowadzonej przez zagranicznych ewaluatorów i jestem pewien, że te osoby brałyby pod uwagę cytowania. To zresztą należałoby wpisać na listę czynności i zadań, która to lista stanowiłaby ‘guidelines’ dla tychże ewaluatorów. Cytowania są bardzo ważne.
I jeszcze wracając do ‘paper mills’, proszę rzucić okiem tutaj (z wczorajszego Science):
Thousands of shady ads sell paper authorship for cash, large-scale investigation finds. Results are “only the tip of the iceberg” of shadowy paper-mill marketplace
https://www.science.org/content/article/thousands-shady-ads-sell-paper-authorship-cash-large-scale-investigation-finds
@ akademik,
Cytowania jako wskaźnik naukowości? Dobre pytanie. Problem polega jednak na tym, że owe cytowania nic nie mówią o jakości dorobku naukowego badacza tzn. czy pana publikacje wniosły istotny wkład wiedzy w rozwój dyscypliny naukowej, a którą pan reprezentuje.
I podobnie: BRAK cytowań też jeszcze nie oznacza, że dana praca niczego nie wnosi. Już podawałem na "FA" kiedyś referencję do pracy, która jest tego świetnym przykładem, Dyskutantowi, który o to prosił.
@ komentator (poprzedni),
Zgoda. Rzecz rozbija się oto, że badacze powinni rozwiązywać określone problemy w ramach dyscyplin naukowych, które reprezentują. I jeżeli im się to uda, to wówczas możemy mówić o postępie, przełomie i rozwoju nauki, co wiąże się z jakością realizowanych badań.
@Maciek
To, co Pan opisuje, to jest bardzo mocne zawężenie tego, co rozumiemy przez naukę. To raczej podpada pod usługi i serwis, niż badania naukowe. Jest ważne, ale nie pozwala na prawdziwy rozwój, ponieważ zwykle z tego typu badan nie wynikają żadne przełomowe obserwacje.
Absolutnie NAJWAŻNIEJSZYM zadaniem nauki jest opis świata, w którym żyjemy. To, że naukowcy odkrywają nowe planety gdzieś daleko w kosmosie oraz opisują to, jak żyją bakterie w gorących źródłach, nie rozwiązuje natychmiast żadnego palącego problemu, ale jest właśnie sednem tego, co rozumiemy przez poznawanie świata i wynika z chęci, czy też raczej potrzeby, poznawania nowego. Ta potrzeba jest niezmienną cechą Homo sapiens, którą można zaobserwować w poprzek historii i geografii naszego gatunku. I to właśnie te badania są kluczowe dla tworzenia nowych technologii i przełomowych podejść do różnych problemów naszego świata.
Odnośnie publikacji, które nie zbierają cytowań, to oczywiście są takie. Są przykłady ważnych publikacji, które nie zbierały od razu cytowań lub były przez jakiś czas ignorowane, a ich wagę zrozumiano po dłuższym okresie czasu. Jednak w kontekście oceny dorobku danej instytucji naukowej, one będą stanowić mały odsetek, więc takimi pojedynczymi publikacjami, które umkną właściwiej ocenie, nie należy się przejmować.
@ Marcin Przewloka,
Na początku chciałbym podziękować panu za krytyczne uwagi pod moim adresem, które są w swej istocie celne. Ma pan rację, iż najważniejszym zadaniem nauki jest opis świata w którym żyjemy, co wynika z potrzeby poznania naukowego. Natomiast ja nie wiem, czy właśnie te badania oparte na obserwacji otaczającego Nas świata są kluczowe dla tworzenia nowych technologii i przełomowych podejść do różnych problemów globu? Tutaj mam problem.
@Maciek
Zapewne należałoby wziąć pod lupę każdą taką przełomową innowację lub bardzo ważną z punktu widzenia przemysłu technologię i cofając się w czasie zadać sobie pytanie, "skąd się to wzięło?". Przykłady zbliżone do moje dziedziny wiedzy, które znam, wszystkie zaczynają się zawsze od fundamentalnych pytań, "a co to jest", "jak to działa", zadanych przez ludzi zainteresowanych właśnie opisywaniem świata, a nie tym, co by tu wdrożyć do przemysłu. Technologie tak ważne, jak PCR czy CRISPR mają właśnie takie źródła i ja chętnie je przedyskutuję, jeśli ktoś jest zainteresowany, ale te informacje jest przecież łatwo znaleźć samemu online.
W ciągu komercjalizacji jakiegoś odkrycia jest zawsze dużo pracy, usprawniających i adaptujących na potrzeby uzyskania ostatecznego komercyjnego produktu, ale początek jest zawsze w ‘blue sky research’.
Jest tutaj jeszcze jeden niezwykle istotny element. Mianowicie nieprzewidywalność, czy też raczej nieprzewidywalności, bo jest ich kilka. Nieprzewidywalność tego, w którym kierunku pójdą nasze badania, kiedy podążają za pytaniem "jak to działa". Nieprzewidywalność same odkrycia (tak zwane ‘serendipity’). Nieprzewidywalność niektórych dużych wyzwań oraz nieprzewidywalność tego, jak nasze odkrycia z różnych dziedzin mogą się przyłożyć do walki z tym wyzwaniami. Najlepszym przykładem tych dwóch ostatnich jest COVID oraz jak badania nad mRNA przyłożyły się do naszej odpowiedzi.
Promotor mojego doktoratu mawiał: "Jeśli wyniki twoich badań cię nie zaskoczą w ciągu 6 miesięcy, to znaczy, że nie warto było tych badań robić, bo wyniki można było przewidzieć".
Więc jak patrzę teraz na wymogi naszej szkoły doktorskiej, która każe doktorantowi na wejściu złożyć plan badań na 4 lata, a potem go jeszcze z tego rozlicza po dwóch latach w ramach oceny śródokresowej, to mi ręce opadają.
@ Marcin Przewloka,
Owszem początek jest zawsze w blue sky research. Tak też uważałem przez ostatnie 25 lat, a odkąd interesuje się nauką, i tak też mi niejednokrotnie mówili liczni badacze. Niemniej ostatnio spotykam się z opiniami abym nie trzymał się zbyt mocno dotychczasowych podziałów na badania podstawowe i aplikacyjne. Dlatego faktycznie należałoby wziąć pod lupę każdą przełomową innowację. Centra badawczo-rozwojowe przy wielkich korporacjach i koncernach po coś istnieją, nie chodzi tu tylko o uzyskanie komercyjnych produktów. Stąd dziś mam pewne wątpliwości.
@Maciek
Wydaje mi się, że trochę Pan miesza niektóre sprawy.
Rzeczywiście często nie ma sensu rozdzielanie prac badawczych na podstawowe i aplikacyjne, gdyż granica pomiędzy nimi nie zawsze jest klarowna. Poza tym, nawet w obrębie jednej grupy badawczej cele mogą uwzględniać obydwa kierunki na raz. Jednak kiedy naszym celem jest zrozumienie świata, to z pewnością będą to badania podstawowe, przy czym oczywiście z tych badan może wyjść coś bardzo aplikacyjnego, ale oryginalne pytania nie dotyczyły komercjalizacji. W druga stronę to również działa: z badań aplikacyjnych czasami dowiadujemy się czegoś nowego o tych fundamentalnych mechanizmach rządzących przyrodą i człowiekiem, ale wtedy to właśnie te odkrycia są poboczne, bo oryginalne cele były czysto komercjalizacyjne.
To wszystko jednak nie zaprzecza idei finansowania badań podstawowych jako oddzielnego kierunku. Wiele badań jest właśnie tych fundamentalnych i z założenia nie-aplikacyjnych. Historia nowych technologii i innowacji uczy nas, że początek zawsze jest w tym zainteresowaniu i odkrywaniu świata. Z tego później wezmą się aplikacje, bez tego 'blue sky research' by ich nie było. Nie ze wszystkiego oczywiście, ale niektóre z tych obserwacji staną się zaczątkiem tych właśnie kluczowych innowacji.
Jeśli zaś chodzi o to stwierdzenie "Centra badawczo-rozwojowe przy wielkich korporacjach i koncernach po coś istnieją, nie chodzi tu tylko o uzyskanie komercyjnych produktów", to jednak w olbrzymiej większości tych korporacyjnych centrów badawczych chodzi właśnie o uzyskanie komercyjnych produktów. To jest cel ich działania. Są wyjątki, ale to są…. no właśnie, wyjątki.
@ Marcin Przewloka,
Panie Marcinie otóż pan jest aktywnym badaczem, a ja jedynie interesuje się nauką stąd faktycznie moje posty mogą czasami mieszać niektóre sprawy, choć nie powinny. Niemniej dziękuję panu za treść postu powyżej. Jeżeli chodzi o centra badawczo-rozwojowe wielkich korporacji, koncernów, a także sił zbrojnych np. US. Army, to pragnę zauważyć jedynie, że prowadzą badania naukowe, które podlegają ocenie w międzynarodowych rankingach akademickich vide SIR. I to jest ciekawe, bo w sumie oceniane są podobnie, jak klasyczne instytucje akademickie np. uniwersytety badawcze, narodowe akademie nauk. Dlatego też napisałem, że nie chodzi tu tylko o uzyskanie komercyjnych produktów. Po prostu one wchodzą w naukę. Postrzegam to jako poszukiwanie nowych dróg i rozwiązań.
@Maciek
To, co my widzimy, co się dzieje w takich centrach naukowo badawczych prywatnych firm oraz instytucji wojskowych to tylko drobna część tego, co oni tam robią. O większości nie wiemy nic, informacje (czyli publikacje) nie wychodzą na zewnątrz, i w konsekwencji nie są oceniane. Finansowanie tych badań też oczywiście wygląda inaczej, niż na dowolnym średnim uniwersytecie.
Nie piszę tego wszystkiego, żeby udowodnić, że ktoś ma rację, a ktoś nie, tylko dla informacji oraz po to, by przedstawić i uzasadnić swoją opinię na dany temat.
:-)
@ Marcin Przewloka,
O ile mi wiadomo, to publikacje naukowe centrów badawczych korporacji ukazują się w renomowanych pismach naukowych i recenzowanych. Badacze publikują wyniki swoich prac pomimo, że ich głównym celem jest rozwój produktów i patentowanie. Publikacje te reprezentują wysoki poziom naukowy, ale ukazują się rzadko i podlegają ścisłej weryfikacji ze względu na tajemnice handlową. Zapewne inaczej to wygląda w przypadku instytucji wojskowych.
@Maciek
Muszę tutaj Pana wyprowadzić z błędu. Tak się nie dzieje. Nie wiem, skąd ma Pan te informacje, ale są one nieścisłe i mylące.
Artykuły niezależnie od tego, przez kogo są do publikacji wysłane, przechodzą taka samą recenzję. Nie ma żadnej taryfy ulgowej zastosowanej dlatego, że jakiś manuskrypt został wyprodukowany w prywatnej firmie, a nie na uniwersytecie. Tak więc publikacje z ośrodków R&D firm prywatnych opublikowane „w renomowanych pismach naukowych” jak najbardziej „podlegają ścisłej weryfikacji”.
Firmy z zasady publikują wtedy, kiedy wypuszczenie jakichś danych/wyników na światło dzienne nie zagraża ich ścieżce rozwojowej. Czyli generalnie publikowane są rzeczy, których firma już nie dalej rozwijać. To jest całkowicie zrozumiałe (konkurencja nie śpi) i dlatego naukowcy idący pracować do sektora prywatnego muszą być przygotowani na całkowity brak publikacji w czasie, kiedy pracują dla danej firmy. Identycznie jest w sferze badań militarnych lub tajnych z innego powodu (np. w temacie groźnych patogenów i ich modyfikacji). To mogą być badania podstawowe, ale nie będą opublikowane z powodu klauzuli tajności. W czasie, kiedy pracowałem dla amerykańskiego laboratorium narodowego widziałem, jak to się odbywa.
Google Scholar nie ma znamion poważnej, wiarygodnej bazy czasopism. Nie jest to zbyt dokładny wskaźnik czegokolwiek.
To taka zgrubna wyszukiwarka naukowa, lepiej lub gorzej sortująca wyniki. Chyba starają się usuwać podwójne cytowania tego samego (np. preprinty, gdy artykuł już się zmaterializuje) i czasem coś tam u siebie czyszczą z części śmieci (stąd skoki liczbowe), ale trudno odgadnąć ich metodologię, często załapują się jakieś prace dyplomowe czy abstrakty konferencyjne....
Przy okazji łapane są też artykuły z obiegu krajowego, nie wiem czy wszystkie. Trzeba się sporo uczciwie napracować nad swym profilem, aby był w miarę wiarygodny. Nie każdemu się chce, a niektórzy chyba celowo oszukują dopisując do swego profilu cudze prace (też się da zrobić i to jest duży minus).
Plusem Google Scholar są cytowania w książkach/monografiach, nieobecne w innych bazach.
Ma pan tyle cytować ile ma. A co systemy pokazują to inna sprawa.
Ano właśnie. Ale samemu się swoich cytowań nie policzy, bo jak.
Prosto. Jeśli tych cytowań artykułu jest mniej niż sto, to nie ma problemu - wziąć google.scholar i odrzucić preprinty i inne śmieci (których scholar trochę pokazuje) i już. 10 minut roboty. Przy tysiącu ponad godzinę ale ilu Polaków ma prace z tysiącem cytowań? Kilku.
Ocena tylko kilku czy kilkunastu najwybitniejszych artykułów z danej dyscypliny z każdego ośrodka i tak da ekspertom mnóstwo pracy (będzie to 10-20 tysięcy artykułów do przestudiowania). Tak jest w Wielkiej Brytanii (REF), system kosztowny, i też poddawany krytyce. Załóżmy nawet, że eksperci ocenią to wszystko solidnie, obiektywnie i celnie (w co jednak nie wierzę).
Niestety, taki system ewaluacji doprowadzi w niedługiej perspektywie do szybkiego spadku liczebności kadry naukowej i chyba jednak degradacji nauki w Polsce. Dlaczego? Bo rektorom będzie potrzeba tylko kilku liderów w każdej dyscyplinie, którzy wyprodukują tych kilka czy kilkanaście prac "do ewaluacji". Inni potrzebni nauczyciele akademiccy to dydaktycy prowadzący zajęcia dydaktyczne, nawet niekoniecznie ze stopniami naukowymi (minimów kadrowych już dawno nie ma). Podoba się Państwu taki model sytemu szkolnictwa wyższego? Model oszczędnościowy, menedżerski, a jakże... Większość z nas odczuła by go bardzo boleśnie, nawet jeśli światli rektorzy z najlepiej finansowanych uczelni pozostawią trochę etatów dla "średnio efektywnych" dobrych naukowców.
@Jan Cieśliński
W ostatnim brytyjskim REF ocenionych zostało około 185 tysięcy tak zwanych ‘outputs’ czyli artykułów. Warto przypomnieć, że w REF artykuły przeglądowe nie są w ogóle brane pod uwagę, chyba że są one czymś znacznie więcej, niż tylko zwykłymi przeglądówkami (reviews). W mojej ocenie to, że w Polsce artykuły przeglądowe wchodzą do ewaluacji, jest chore (jeszcze bardziej, niż sama lista czasopism).
Oczywiście, ocena tych artykułów na potrzeby REF to jest ZUPEŁNIE co innego, nic recenzja artykułu wysłanego do jakieś czasopisma w celu publikacji.
Ten problemowi, o którym Pan pisze, dosyć łatwo zapobiec. Mianowicie należy ograniczyć liczbę publikacji dostarczonych przez pojedynczych PIs na przykład do 3 lub do 5, a jednocześnie do ewaluacji należy włączyć wszystkich pracowników naukowych jako przymus. Instytucji powinno zależeć na tym, żeby jak największa liczba pracowników dostarczała dobre publikacje, bo ocena wpływa na przyznawanie środków finansowych. Jeśli w dużej instytucji jest bardzo niewielu PIs, którzy produkują mocne artykuły (wersja, o której Pan pisze), ta instytucja dostanie bardzo mało pieniędzy, nie wystarczy dla wszystkich, więc to się dyrektorom absolutnie nie będzie kalkulować. Znacznie bardziej będzie się opłacać mieć wielu PIs, z których znaczącą większość będzie dostarczać dobre publikacje.
Teraz tak jest, że do ewaluacji włącza się wszystkich, a nikt nie może więcej niż 4. Nie rozumiem chyba istoty Pana pomysłu, co w nim nowego (poza śmiałym zamysłem dorównania REF-owi w rozmachu i wielkich kosztach....)?
@Jan Cieśliński
Nie, nie ma w nic nowego, zgadzam się. A podałem to rozwiązanie dlatego, ponieważ pokazuje ono, iż - wbrew temu, co Pan pisze - taki system ewaluacji absolutnie NIE "doprowadzi w niedługiej perspektywie do szybkiego spadku liczebności kadry naukowej”. Tylko tyle.
Pisząc "taki system ewaluacji" miałem na myśli ten, w którym ocenia się tylko kilkanaście najlepszych prac, a nie prace wszystkich. Zatem tu nie ma sporu. Nie chodziło mi o metodę oceny samych prac. Notabene, mała poprawka do naszego systemu zmniejszyłaby punktozę i slotozę ("od każdego 4 sloty"), zarazem wzmacniając rolę "każdego". Otóż każda osoba z N miała by jeden cały "swój" slot do wypełnienia. Jeśli wypełni byle czym lub ułamkowo (aby tylko uchylić się przed N0), to slot ten w takiej postaci wchodzi do ewaluacji. Pozostałe 2N slotów moga bardziej wypełniać liderzy, poluzował bym ograniczenie 4, zwiększając je do 5 czy nawet 6. Ale zasadę, że jedna wieloautorska może "obsłużyć" kilka ośrodków i kilka dyscyplin, wszędzie jako pełny slot, trzeba jakoś zmienić, bo jest to mocna dyskryminacja zespołów opartych na jednym ośrodku (dzielenie punktów za prace nisko punktowane to artefakt tego, że coś tam myślano o tym, ale koniec końców - wyrwano temu zęby).
Czy to jednak nie złudzenie? Wydaje mi się, że zatrudnienie w nauce przede wszystkim zależy od ilości środków, jakie państwo przeznacza na naukę. A obecny system, tak od czasów Kudryckiej, jest chyba wręcz nastawiony na to, żeby środki można dowolnie przycinać bez szkody dla pozorów przyzwoitego zarządzania, obiektywizmu, konkurencyjności, itd. Najlepszy przykład: NCN ze swoim współczynnikiem sukcesu.
No, chyba że rektorzy zaczną sobie budować zamki i zafundują prywatne helikoptery kosztem etatów ...
"Zatrudnienie w nauce przede wszystkim zależy od ilości środków, jakie państwo przeznacza na naukę"? Zdecydowanie nie.
Po pierwsze, owe "środki" to tylko zapis księgowy. Po Ustawie 2018 nastąpił dynamiczny (rzędu co najmniej 50%) wzrost "środków na naukę", tylko dlatego, że "dotację dydaktyczną" zastąpiła "subwencja" i chyba inaczej zaczęto księgować wydatki na etaty uczelniane. Nie miało to żadnego związku z sumaryczną liczbą etatów (co najwyżej wzrosła liczba etatów czysto badawczych i czysto dydaktycznych, a zmalała liczba badawczo-dydaktycznych). Faktyczne wydatki na naukę raczej zmalały (bo znikło tzw. BST), na mojej uczelni - zmalały na pewno.
Po drugie, "środki" można rozmaicie rozdysponować. W końcu nie jest sensowne, że adiunkt czy nawet profesor uczelniany zarabia poniżej średniej krajowej, asystent - ledwie minimalną krajową. Likwidacja 50% etatów pozwala nie tylko na "rektorskie ekstrawagancje", ale też na znaczne podniesienie płac. Niekoniecznie tak musi być, ale opcje mogą być różne.
Ja nigdy nie twierdziłem, że nakłady na naukę istotnie wzrosły, nie bardzo rozumiem wywodu z akapitu 2. Ustawy Gowina tak samo nie popieram, jak i Kudryckiej.
A czy wprowadzenie takiej oceny zaowocowałoby zwiększeniem płac? Prawdę mówiąc, należałoby się. Zapewne trzeba by odpowiednio zwiększyć strumień pieniędzy, aby nie była konieczna redukcja zatrudnienia.
Rzeczywiście, zgodzę się, że rektor/szef instytucji nie miałby prostej motywacji do dbania o zatrudnienie. Tam rzeczywiście trzeba by rektorów światłych, myślących w perspektywie lat kilkudziesięciu, dbającego o rozwój kadry.
Kiedy zastanawiałem się nad takim modelem ewaluacji/finansowania, jako minus widziałem dolę tych być może trochę tylko słabszych naukowców. Jeśli ktoś przez 10 lat nie napisałby artykułu, który uczelnia czy wydział zgłosiłyby do ewaluacji, to mogłoby to rodzić frustrację, pewnie jakieś dalsze patologie; nie wiem, czy od razu zwolnienia.
Mimo wszystko bym takiego pomysłu nie wykluczał. Na moje wyczucie byłby lepszy, z innej bajki niż to, co mamy obecnie - a mamy coś jak zły sen.
Argument o „niemożliwości” rzetelnej oceny tysięcy publikacji staje się coraz mniej aktualny, bo dobrze skonfigurowane systemy AI‑ewaluacji potrafią dziś robić to szybciej, spójniej i w wielu aspektach dokładniej niż duże zespoły recenzentów.
No to niech może owe "dobrze skonfigurowane systemy" ustawią może sensowną listę czasopism? Ciekaw jestem co im wyjdzie.
Jeśli chodzi o szkolnictwo wyższe, pilnie potrzebna jest ewaluacja jakości kształcenia, a tego jak nie było, tak nie ma.
Działalność naukowa? Byłbym za ekspercką oceną przydatności badań dla gospodarki i społeczeństwa oraz uwzględnianiem liczby cytowań artykułów - najprostsza ocena istotności naukowej.
Tylko niewielka część publikacji z list rankingowanych realnie rozwija naukę, większość powstaje głównie z powodów parametrycznych, a nie merytorycznych. Dostępne źródła nie podają jednej liczby określającej, jaki procent publikacji z list punktowanych wnosi realny wkład w rozwój nauki — i to samo w sobie jest znaczące. Systemy ewaluacji oparte na punktach i rankingach nie mierzą jakości badań, lecz produktywność formalną, co wielokrotnie podkreślano w debacie publicznej. Artykuł „Nie potrzebujemy ministerialnej listy czasopism punktowanych” wskazuje, że obecny system w Polsce prowadzi do inflacji publikacji, które powstają, aby spełnić wymogi parametryczne, a nie dlatego, że rozwiązują istotne problemy badawcze.
Moim zdaniem w dziedzinie nauk technicznych i przyrodniczych, publikacja utraciła już walor miarodajnego kryterium oceny zarówno naukowca jak i jednostki naukowej. Kryterium publikacyjne powinno być zastąpione przez szeroko rozumianą przydatność społeczną otrzymanych wyników badań.
Zdecydowanie tak.
Coś w tym jest. Innym wkładem "niepublikacyjnym" jest dydaktyka. Zwłaszcza uczelniany sektor medyczny, techniczny czy rolniczy, ale także te branże, gdzie dobry praktyk "z ulicy" jest cenny sam w sobie w dydaktyce. Właściwie dyscyplin typowo akademickich (gdzie kluczowe są oryginalne publikacje) jest całkiem mało. W większości dyscyplin liczy się nie tyle produkcja nowej wiedzy, lecz praktyczne opanowanie i implementacja wiedzy istniejącej (miarą "nieakademickości" dyscypliny może być też tendencja do masowego i chętnego pisania pobieżnych "przeglądówek"). Z drugiej strony nauka typowo akademicka rzadko (zwłaszcza w Polsce) jest otoczeniu zewnętrznemu do czegokolwiek potrzebna "na teraz". Błędem jest sztampowe wymaganie od wszystkich tego samego.
Dydaktyka praktycznie z definicji powinna być oceniana pod kątem przydatności społecznej, natomiast ze sztampowym wymaganiem "od wszystkich tego samego" mamy do czynienia właśnie obecnie (patrz kryterium publikacyjne).
Co do drugiego - tak. Co do pierwszego - jest pewna wątpliwość, czym jest ta "przydatność społeczna". Bo to niekoniecznie sam popyt. Niewątpliwie jest bowiem zapotrzebowanie na studia łatwe, nieabsorbujące i dające dobrze brzmiący dyplom. Ale czy warto w takie studia inwestować pieniądze publiczne? A mamy u nas pewien przechył w tę stronę.
Absolutnie nie utożsamiałbym popytu na dany kierunek studiów z przydatnością społeczną. Dla mnie miarą przydatności społecznej dydaktyki mogła by być przykładowo ilość absolwentów, którzy znaleźli zatrudnienie w swojej dziedzinie.
Tak mówił prof. Mirosław Soroka w 2012 w wywiadzie dla Gazety Wrocławskiej:
"Sami naukowcy w kuluarach przyznają, że ponad 90 proc. prowadzonych przez nich badań to "zapychacze” czy jakby powiedzieli studenci: ściema."
Kto oceni, czy dane publikacje "rozwiązują istotne problemy badawcze"? Gdzie postawić granice owej "istotności"? Ile procent obecnej kadry akademickiej przetrwa taką ocenę (i który procent, bo w niektórych dyscyplinach to kwestia dość arbitralna)? Nauka od dawna opiera się na peer review, i bez recenzowanych czasopism ciężko sobie wyobrazić ten system. Problemem jest inflacja śmieciowych czasopism oraz rosnąca degeneracja czasopism do niedawna całkiem solidnych. Kluczem do poprawy jest więc ostrzejsza ocena CZASOPISM. "Po owocach ich poznacie".
Zgadzam się! Ale tej kwestii to już nikt nawet nie próbuje poruszać. Nawet się dziwię, że jeszcze nikt na pana nie naskoczył ...
Pełna zgoda. Zdumiewająca jest skłonność środowiska naukowego w Polsce do ucieczki przed rzeczową oceną pracy naukowej. Jeszcze bardziej zastanawia upór związany ze stosowaniem nieadekwatnych parametrów jak wspomniane w artykule dziedziczenie popularności czasopisma przez autora opublikowanego w nim artykułu naukowego, a do tego jeszcze dokłada się zniekształcenie prostej miary popularności jaką jest IF, przez arbitralną skalę punktową, która zdaje się nie mieć logicznego uzasadnienia. Jak można wspierać system zniechęcający do rzetelnej pracy naukowej?
Ocena rzeczowa jest jedyną właściwą oceną pracy naukowej. Kto nie potrafi jej przeprowadzić, nie powinien uciekać do niewłaściwych metod oceny, tylko z oceniania zrezygnować.
Stan obecny jest zły i na pewno wymaga naprawy. Ale zaczynanie akurat od likwidacji listy czasopism uważam z duży błąd. „Stłucz termometr, nie będziesz miał gorączki”.
1. Na pewno istnieją czasopisma renomowane, w których publikacja nobilituje. Nie jest ich dużo. Warto je wychwycić i wskazać, bardziej w celu wskazówki dla systemów nagród czy oceny, niż ewaluacji (bo liczba polskich publikacji w tego typu pismach jest raczej mała i w Kryterium 1 zawsze się rozmyje przy uśrednianiu).
2. Na pewno istnieją czasopisma bez żadnych standardów i one muszą być wskazane negatywnie (nieobecność na liście). Nie jest to trudne: międzynarodowe bazy typu Scopus czy WoS pilnują jakichś podstawowych zasad i nie warto "koła wymyślać na nowo", one powinny być trzonem naszej listy (jak teraz). Z kolei czasopismom krajowym łatwo (i warto) narzucić jakiekolwiek dobre zasady. Groźba usunięcia z listy jest dobrym bodźcem, aby zasady były przestrzegane.
3. To, co zdecydowanie „nie zagrało” w naszej ewaluacji to wypaczony podział czasopism na „wysoko punktowane” (100-200) i zdegradowaną resztę. Przede wszystkim: zbyt wiele jest kiepskich czasopism w tej pierwszej grupie (notabene: liczy ona aż pond 8 tysięcy czasopism) i właśnie te kiepskie 100-140-tki zdominowały ewaluację. Decydenci czy KEN mogą to bardzo łatwo wychwycić spoglądając na listę tych czasopism, które są odpowiedzialne za najwięcej punktów ewaluacyjnych w danych dyscyplinach. To nie jest lista długa (zapewne tylko kilkadziesiąt czasopism, w sumie), ale to w niej kryją się dziesiątki tysięcy polskich artykułów i (czasem) dziesiątki milionów złotówek. Generalnie, jawne „rozliczenie finansowe” ewaluacji by się ewidentnie przydało.
"Decydenci czy KEN mogą to bardzo łatwo wychwycić spoglądając na listę tych czasopism, które są odpowiedzialne za najwięcej punktów ewaluacyjnych w danych dyscyplinach."
Ależ oczywiście. Prof. Hensel pokazał to dla poprzedniej ewaluacji.
https://forumakademickie.pl/mdpi-w-ewaluacji/
Spośród ok. 30 tysięcy czasopism obecnych na liście w roku 2021, za ok. 10% "dorobku" ewaluacyjnego odpowiadało 20, z tego 10 to były czasopisma jednego wydawcy - MDPI. A przypomnę, że te 140 pkt to zostały im przypisane w czerwcu 2019 - w połowie okresu ewaluacyjnego. W tej dwudziestce było tylko jedno renomowane czasopismo - Physical Review Letters. Obawiam się, że w tej ewaluacji (2022-2025) będzie 17 czasopism MDPI (liczba artykułów w tej czterolatce w stosunku do poprzedniej pięciolatki podwoiła się - z ok. 26 tys. do ok. 52 tys.), pozostałe 3 to będą Scientific Reports, PLoS One i ERSJ. To się nazywa "konstrukcja bodźców".
Dziękuję z link. Gdzieś to już słyszałem, ale dopiero teraz widzę, że są tu świetne dane surowe, chyba wręcz kompletne? Ale analizę warto pogłębić, przynajmniej odrzucić lata 2017-2018, bo tam były inne punkty. Przykro mi to mówić, ale wzmiankowana pozytywnie obecność Phys. Rev. Lett. w czołówce czasopism też chyba nie świadczy o jakiejś wybitnej roli polskiej fizyki, ale bardziej o udziale polskich fizyków w wielkich kooperacjach (trochę stawiając pod znakiem zapytania sensowność takiego punktowania prac kooperacyjnych).
Zatem: pochylenie się KEN czy innych ekspertów nad tą pierwszą 20-tką "liderów" (ale warto spojrzeć i na kolejne miejsca, warto też zbadać liczbę wielokrotnego wykorzystania danej publikacji) od razu pozwala na zobaczenie, gdzie mamy luki w naszej ewaluacji, od razu widać które czasopisma wymagają natychmiastowej obniżki punktacji o jeden czy dwa poziomy. Uzasadnienie takiej "eksperckiej" decyzji byłoby proste: zbytnia łatwość publikacji, zbyt mała selektywność czasopisma, nie adekwatna do nadanej wysokiej punktacji. Moim zdaniem, warto taką obniżkę robić nawet post factum (zapisując w rozporządzeniu taką opcję), ale lepiej choćby później (czyli teraz) niż wcale.
Zgoda co do Phys. Rev. Lett. (zazwyczaj 1000+ autorów). Aż dziwne, że nie ma Lancetu, bo przecież medycy publikują najwięcej, ale chyba te artykuły rozproszyły się w różnych jego klonach.
Myślę, że nie ma sensu wracać do danych z lat 2017-2021, lepiej wziąć pod lupę te z 2022-2025. Warto by też zrobić analizę tego, kto z tego systemu czerpie największe korzyści.
"Jedna trzecia naukowców zgłoszonych do ewaluacji (27 166 spośród 81 922), postanowiła skorzystać z usług budzącego kontrowersje wydawnictwa MDPI, przy czym 5225 z nich zgłosiło do oceny (umieściło w slotach) wyłącznie publikacje w czasopismach grupy MDPI"
https://miesiecznik.forumakademickie.pl/czasopisma/fa-9-2023/mdpi-najwiekszy-beneficjent-ewaluacji%e2%80%a9/
Ale jak Pan sprawdzi, kto jest w tych 27 166 i 5225, to Pan zrozumie, dlaczego Zespół ds. "nowego" modelu ewaluacji nic nowego nie wprowadził i w przewidywalnej perspektywie czasowej żadne zmiany nie nastąpią. Nikt (z czynników decyzyjnych) nawet takiej analizy nie przeprowadzi, bo po co, skoro jej wyniki i tak do niczego się nie przydadzą.
Ja też jestem w tych 5225, co więcej, bardzo podoba mi się ich model działania. Sprawność działania i darmowy pełny OA w zasięgu solidniejszych naukowców. Ale aktualny poziom jest wciąż zbyt niski, co właśnie jest wykazywane przez łatwość masowej publikacji. Uważam to za kluczowy indykator negatywny. Jeśli Polacy stanowią ponad, powiedzmy, 3% autorów, to przyznawanie 140 jest ryzykowne, a jeśli ponad 10%, to nawet 100 pkt bym nie dał. Oczywiście te procenty można i należy doszlifować empirycznie, ale stosował bym je nawet post factum, bo wysokie punkty mogą w dwa lata wykreować takiego "lidera" z 1000+ polskich publikacji :)
Decydenci? Zależy kto się trafi. Taki Pan Gowin zrobił w jeden rok reformę, o której zasięgu Pani Kudrycka nawet bała by się pomyśleć (całkowita likwidacja minimów kadrowych), i to rękami PiSu, którego profesorska część była gorąco przeciw. Może analiza wypływów finansowych w końcu skłoni jakiegoś "oszczędniejszego" decydenta do prawidłowych decyzji, np. opłata za publikację z polskich środków budżetowych powoduje spadek jej punktacji, a wysoka opłata spadek podwójny?
Co do punktów 1 i 2 - pełna zgoda.
Co do trzeciego, to doprawdy nie rozumiem po co oceniać artykuły w sposób z samego założenia, absolutnie niewłaściwy?
Jeśli koniecznie chcecie Państwo wspierać renomowane i polskie czasopisma, mnóżcie przynajmniej IF artykułu, przez IF czasopisma. Też będzie źle, ale przynajmniej trochę lepiej niż teraz.
IF artykułu razy IF czasopisma? Nie będzie lepiej, może być wręcz znacznie gorzej. Cytowania (zwłaszcza indywidualne) są już bardzo ułomną miarą jakości. One mierzą "popularność" (zresztą: o ile jakoś próbujemy mierzyć jakość czasopism, to słabo, albo wcale, nie mierzymy jakości, a nawet kierunku (pozytywne-negatywne) cytowań. Różne spółdzielnie są właśnie wehikułami do nakręcania cytowań. Mleko się już rozlało.
W ogóle robienie punktacji "za dokładnie" jest głównym błędem. "Trochę lepiej" to byłoby może, gdyby ocenić zero-jedynkowo ("jest na liście, czy nie jest"). Aczkolwiek wydzielenie "czasopism lepszej kategorii" ma pewien sens (może Q1 w Scopusie?, to i tak jest większość czasopism z tej listy, zatem nie ma sensu dzielić reszty na Q2-Q3-Q4). Obecne 6 progów punktowych, dość niesprawiedliwie ustalonych, to jest zdecydowanie za dużo.
Zacznijmy jednak od najprostszego: na razie NAWET listy Scopusowej w zasadzie nie ma (czyli nie istnieje reguła: wypadasz ze Scopusa, to wypadasz z listy). Zatem nawet zasada "dziedziczenia prestiżu" w tej najprostszej formie - nie jest stosowana, a szkoda.
Spektakularny przykład: ERSJ, wydawane w Grecji. Do roku 2018 było w Scopusie i na styk "załapało się" na listę punktowaną (akurat wtedy, gdy już było ze Scopusa usunięte za jakieś złe praktyki) - aż 100 pkt (w ekonomi i zarządzaniu). Minęło 5 czy 6 ministrów, dziesiątki ekspertów gmerających przy kilkukrotnie zmienianych listach czasopism, i jak miało 100 pkt - tak ma. Efekt: kilka tysięcy (sic!) artykułów polskich autorów, zapewne wszystkie zaliczone do ewaluacji, zresztą prawie nikt inny tam już nie publikuje (a gdy było w Scopusie, przez 11 lat było tylko 8 artykułów z polską afiliacją). Publikowanie tam jest coraz droższe (obecnie 1950 EUR). Prosta decyzja (lub, lepiej - prosta zasada), której nie było i nie ma, a ileż pieniędzy można by zaoszczędzić. Zapewne takich przykładów jest więcej, może nie aż tak spektakularnych i tak powszechnie znanych. Ale aby to zbadać, trzeba by mieć zestawienie "czasopism-liderów w dostarczaniu punktów" do naszej ewaluacji. Nie muszę jednak widzieć tej listy, aby stwierdzić, że prawie 100% tytułów na niej widniejących (może są jakieś wyjątki?) zasługuje na obniżenie punktacji do 70 pkt lub mniej. Sama obecność wśród tych liderów jest tego najlepszym dowodem :)
Widzi pan, te całe kwartyle to też są ustalane według cytowań. I mnie się tak wydaje, że jeśli oceniać pracę według cytowań, to niech to będą cytowania tej pracy a nie cytowania innych prac przypadkiem opublikowanych w tym samym piśmie. Proszę pokazać, gdzie robię błąd.
To proste. CiteScore liczy cytowania (w danym jednym roku) artykułów opublikowanych w czterech poprzedzających latach. Daje to niezły obraz sytuacji. IF liczy gorzej (bo tylko okno 2-letnie), ale 5-letni IF to już okno 5-letnie (zresztą one się aż tak bardzo nie różnią, uśrednienie po wielu artykułach robi swoje). Gdyby chcieć uwzględnić indywidualne cytowania, to byłaby silna preferencja dla prac opublikowanych w pierwszym roku ewaluacji i zdołowanie prac z roku ostatniego... Plus ta groźba pików cytowań "spółdzielczych". Gdybym był fanem cytowań, to może bym próbował coś tu wymyślać, ale fanem cytowań nie jestem... Np. w pracach własnych nie widzę zbytniej korelacji cytowań z jakością, już zwłaszcza cytowań "szybkich" (czyli tylko 4-5 tylko wstecz).
Groźba pików cytowań spółdzielczych występuje w dokładnie tym samym stopniu przy liczeniu cytowań indywidualnego artykułu jak przy obliczaniu wskaźników typu IF i CiteScore. Dlatego pozwolę sobie powtórzyć: MUSIMY oceniać pracę według cytowań, a wtedy lepiej by to były cytowania tej pracy a nie cytowania innych prac przypadkiem opublikowanych w tym samym piśmie (jak to jest w przypadku wskaźników). Prawda czy fałsz?
Jak odpowiedź ma być 0-1, to wybieram fałsz. Nic nie "MUSIMY", cytowania to wskaźnik coraz bardziej wadliwy. Osobiście WOLĘ oceniać czasopismo, bo jednak uważam z bardziej ważne, iż autor został wysoko oceniony przez renomowaną redakcję i kompetentnych recenzentów, niż uzyskał kilkanaście randomowych cytowań (co świadczy o pewnej popularności w pewnych, lepszych lub gorszych, kręgach). Mam nadzieję (coraz bardziej płonną), że statystycznie najwyżej cytowani autorzy wciąż grupują się wokół najlepszych czasopism, stąd IF czasopisma od biedy może być WSTĘPNYM indykatorem jakości. Ale WOLAŁBYM, aby istniała opcja obniżania punktów gdy IF okaże się zawyżony. Co świadczy o zawyżeniu? Brak selektywności, Polscy autorzy zwabieni wysokimi punktami łatwo publikują w takim piśmie (a zatem jego wysoki IF nie świadczy o jakości redakcji, ani o renomie, ale wynika z czegoś innego).
Innymi słowy: znacznie łatwiej zweryfikować zawyżony IF czasopisma, niż wgłębiać się w jakość cytowań pojedynczego autora (bo to zapewne da się zrobić, ale nie wiem jak na tak wielką skalę). Gdyby liczyć cytowania pozytywne i tylko od autorów wysokiej rangi, to taki wskaźnik byłby świetny. Ale jak skwantyfikować rangę autora? itd.
Powinienem wiedzieć, że ludzie w dyskusjach atakują tezy poboczne. Założyłem, że co do pewych rzeczy się we wcześniejszych etpach rozmowy zgodziliśmy. Dobrze, pełne zdanie powinno brzmieć: Jeżeli chcemy opierać się wyłącznie na obiektywnych kryteriach bez odrobiny uznaniowości, to MUSIMY oceniać pracę według cytowań. Niczego innego absolutnie obiektywnego po prostu nie ma.
No i dalej tak samo jak poprzednio: lepiej by oceniać pracę według cytowań tej pracy a nie cytowań innych prac przypadkiem opublikowanych w tym samym piśmie (jak to jest w przypadku wskaźników w rodzju IF).
Prawda czy fałsz?
Moja tez główna to: kluczem jest peer review (a nie "lajki"). Problem to ocena/diagnoza gdzie to peer review wykonywane jest dobrze. Czyli ocena czasopisma (jest także łatwiejsza niż ocena pojedynczych prac). Natomiast GDYBY owe "lajki" płynęły TYLKO od uznanych autorytetów ("post peer review"), to wtedy Pana koncepcja jest bardzo dobra. Tak jednak nie jest, zatem mamy niuanse i spór.
Czyli pełna uznaniowość: peer review, uznane autorytety e tutti quanti. Jest to oczywiście uprawniony pogląd i dość często dobrze uzasadniony. Problemem Polski była jednak totalna korupcja środowiska naukowego, "uznane autorytety" np. w dziedzinie ekonomii podstaw ekonomii nie znały, umieli tylko przepisywać z cudzych prac. Nazwisk nie wymieniam, bo nie o to chodzi. Chyba tylko w fizyce kolejność dziobania była związana z osiągnięciami naukowymi, nawet w matematyce było już gorzej. Dlatego wprowadzono punktozę, która mimo wszystko coś poprawiła, nie dość jednak.
Pełna zgoda, co do obiegu krajowego. Nie wiem nawet jak oceniać te czasopisma, w praktyce -istotnie- jest to chyba pełna uznaniowość.
Wie pan, opowieści o jakości czasopism brzmią dla mnie jak bajka o żelaznym wilku. Dobre albo złe są nie czasopisma a artykuły. W dawnych czasach czasopisma dzieliłem nie według jakości a według profilu. W Optimization szukałem artykułów o optymalizacji a w Journal of Mathematical Physics o fizyce matematycznej. Teraz wszystko jest w arXiv albo innych serwerach preprintów, czasopism praktycznie nie czytam. Biorę pod uwagę punktozę przy publikowaniu ale tylko dlatego, że nie chcę narobić kaszany dyrekcji instytutu.
Stawianie znaku równości między artykułem cytowanym 1000 razy i cytowanym 2 razy, a nietrudno takie pary znaleźć w całkiem dobrych czasopismach naukowych, zwyczajnie zniechęca do prowadzenia rzetelnych badań naukowych.
Taka ewaluacja jest w oczywisty sposób szkodliwa.
Mało która praca ma 1000 cytowań w roku publikacji, owe 2 cytowania to już dużo a ministerstwo ewaluuje naukę na bieżąco, dla niego ogólna teoria względności w roku 1916 to już nieważna przeszłość, skoro praca „Die Feldgleichungen der Gravitation” została opublikowana w roku 1915. Ewaluacja przerzucania węgla na bieżąco ma sens, czy ewaluacja nauki też? W tej sprawie są różne zdania.
IF dla czasopism liczy się dla dwóch lat.
No to w 1918. Coś się zmieniło?
Stąd prośby redakcji i recenzentów, żeby cytować prace nowsze, jak najnowsze, a nie oryginalne. Absurd i zachęta do psucia nauki.
Bardzo mądre słowa - proponuję, aby dr Kaczmarek (autorka) została ministrą nauki.
Popieram.
Należy jedynie zaliczać do dorobku naukowca publikacje w czasopismach niedrapieżnych. A jakie to są czasopisma drapieżne? Takie, które nie płacą autorom za publikację albo płacą mniej niż minimalna stawka za pracę w kraju z którego jest czasopismo. Czasopisma drapieżne to takie, które nie płacą recenzentom za recenzję albo płacą mniej niż minimalna stawka za pracę w kraju z którego jest czasopismo. Wprowadzenie tej prostej zasady - uzdrowiłoby naukę uwalniając ją od grafomanów z syndromem sztokholmskim. Bo ktoś, kto płaci aby mu opublikować tekst to grafoman, który nie ma nic wspólnego z etyką akademicką, a co najwyżej cierpi na poważne zaburzenie.
A jakie wydawnictwa naukowe płacą autorom i recenzentom? Chodzi oczywiście o czasopisma. Wydaje mi się, że jednak na świecie obecnie nie ma ani jednego takiego wydawnictwa.
Albo autor płaci za opublikowanie (OA) albo płaci za dostęp do artykułu swojego autorstwa (Closed Access). I to ostatnie jest uważane za bardziej prestiżowe. Elseviere, Springer, etc. utrzymują się z obu typów autorów.
Poproszę o listę czasopism niedrapieżnych :) Czy by nie jest pusta?
Natomiast w przypadku wydawnictw książkowych, zwłaszcza koncernów globalnych, to może być ciekawy indykator jakości. Bo taki koncern (nawet "za 300 pkt") publikuje różne różności, od prestiżowych serii naukowych (autor dostanie tu honorarium i tantiemy), po jakieś wydawnictwa konferencyjne, o ile organizatorzy sfinansują wydanie i wezmą na siebie proces recenzencyjny. Oczywiście, honorarium dostanie też zapewne autor ciekawej beletrystyki, poradnika czy dobrej książki kucharskiej, co tym bardziej poddaje w wątpliwość sensowność punktowania (100 czy 300 pkt) całego koncernu wydawniczego.
Jakikolwiek międzynarodowy system oceny będzie lepszy niż ręcznie sterowana lista. Wszystkie jednak metody oceny wspolne dla dyscyplin będą dla którejś z nich krzywdzące.
Dla mnie największym problemem podniesionym przez autorkę są nowe czasopisma na świecie często już uznane a w Polsce warte 20 pkt.
Proszę wskazać choć jeden argument za tym, że recenzentowi zagranicznemu będzie się chciało bardziej niż krajowemu. Najgorsze i najbardziej nieterminowe recenzje awansowe pisze zagranica - bo wiedzą, że nic im nie zrobisz.
IDUB śródokresowy recenzowała zagranica. Jest Pan z ich pracy zadowolony?
Może sądy powszechne też wyprowadzimy za granicę, a własną armię zlikwidujemy i oprzemy się na wojskach zaciężnych?
Nikt za nas nie zrobi tego, co musimy zrobić sami. Dlaczego zagranica miałaby budować potęgę akademicką / przemysłową / cywilizacyjną w Polsce?
To chyba nie do mnie odpowiedź. Ja, za autorką, piszę o systemachboceny miedzynarodowej takiej jak kwartyle czy impact factor albo uznanie międzynarodowych towarzystw naukowych w kontrze do listy ministerialnej. Nie pisałem o recenzentach z za granicy polskich projektów.
Jeśli chodzi o recenzje - i tak uważam że dobrze miec recenzenta z za granicy. Jest bardziej bezstronny. Mniejsza szansa na znajomości. Co do samej terminowości to problem jest indywidualny i równie trudny w kraju jak i za granicą.
Jeszcze raz brawa dla autorki tekstu, bo dyskusję wywołała burzliwą a to już sukces!
@Albert
Zgadzam się z Pana uwagami. Korzystanie z usług badaczy zagranicznych można stosować od czasu do czasu, ale w ogólności nie jest to skuteczny sposób na rozwiązywanie problemów. Oni po prostu nie mają żadnego interesu w tym, aby coś się u nas naprawdę poprawiło (no chyba, że za pomoc/ekspertyzę dostaną sowitą zapłatę). Gorzej, korzystanie z ich usług do recenzowania wniosków grantowych, to w zasadzie podsuwanie im gotowców, żeby sobie podobne rzeczy, po poprawkach/dopracowaniu, robili u siebie.
Myślę, że praprzyczyną wielu obecnych kłopotów była pewna błędna ocena, czy wręcz naiwność środowiska dotycząca dwóch spraw.
(1) Wydawało się, że znaczące podniesienie poziomu życia w Polsce jest niemożliwe bez wykorzystania własnych osiągnięć badawczych (rozumianych czysto naukowo, tj. nie jako podnoszenie kwalifikacji dydaktycznych). Okazało się to nieprawdą. Polska dokonała skoku cywilizacyjnego wykorzystując środowisko akademickie wyłącznie w celach dydaktycznych. Można w uproszczeniu powiedzieć, że wszelkie jednostki badawcze, czy badawczo-wdrożeniowe nie odegrały w tym żadnej roli (co ma praktyczne konsekwencje w sposobie patrzenia przez polityków na całe środowisko).
(2) Mogło wydawać się, że skoro UE wciągnęło Polskie w swoje szeregi i wydało kupę kasy na poprawę ogólnej infrastruktury w PL, to UE będzie także zainteresowana wykorzystaniem naszego sporego potencjału naukowego. Sytuacja z grantami ERC pokazuje wyraźnie, że są jednak granice szczodrości UE (czyli w praktyce, szczodrości Niemiec i Francji). Owszem mamy umieć korzystać z zaawansowanych technologii, ale w UE, nikt nie ma interesu w tym, abyśmy rozwijali własne zaawansowane technologie. I zaryzykuję tezę, że nie w tym szczególnej podłości z ich strony, tylko raczej jest to jednak ich zachowanie racjonalne.
Czyli w skrócie, nikt z zewnątrz, nie rozwiąże za nas naszych problemów.
Głupstwa.
@Alek Rachwald
Proszę nie próbować zrozumieć - za trudne.
@Albert
@ZM
Zupełnie nie zgadzam się z Państwa oceną sytuacji.
Można mówić o merytorycznych powodach, dla których zapraszanie osób oceniających z zagranicy ma sens, ale wystarczy skupić się na innym czynniku, który sprawia, że ekspercka ewaluacja przez osoby z zagranicznych ośrodków jest zdecydowanie lepsza, niż każde inne podejście.
Chodzi mianowicie o pozbycie się korupcjogennych mechanizmów, które z pewnością wzięłyby górę w sytuacji, kiedy ocena ekspercka odbywałaby się przez osoby z polskich ośrodków naukowych. Jest to nie do uniknięcia i jest to również niezwykle ważny, wręcz decydujący, element oceny.
W przypadku oceniających z zagranicy też mogłoby dochodzić potencjalnie do wykorzystywania "znajomości", ale byłoby to o rzędy wielkości rzadsze niż w przypadku polskich ewaluatorów. Wtedy też zastosowanie miałoby wykluczenie z powodu deklarowanego konfliktu interesów. Takie wykluczenie jest niemożliwe przy ewaluacji przez osoby z Polski, ponieważ lokalna sieć zależności, znajomości i układów jest zwyczajnie zbyt gęsta.
Moim zdaniem ewaluacja ekspercka ma sens tylko wtedy, jeśli byłaby przeprowadzana tak, jak w Portugalii, czyli tylko przez ewaluatorów z zagranicy. I byłaby zdecydowanie lepszym rozwiązaniem, niż stosowanie punktowanej listy czasopism.
@Marcin Przewłoka
Proszę się za bardzo nie martwić. Polska nauka ma na chwilę obecną charakter wtórny do nauki światowej. Więc skoro inni wprowadzają ocenę ekspercką, to także u nas zostanie ona prędzej czy później zastosowana. Nie dlatego, że jest czy będzie lepsza, ale aby "podążać za uznanymi trendami światowymi". A my tutaj tylko tak sobie analizujemy, jak to wszystko wygląda od podszewki. Pozdrawiam serdecznie ZM
@ZM
Jakoś przesadnie to się nie martwię. Chodzi mi tylko o to, że świetnie by było, gdyby nauka polska realnie zaistniała. Bo to jest ciekawa i przydatna część tego, co się dzieje na świecie, tak więc dobrze by było dla ludzi w Polsce i dla przyszłości kraju, gdyby spełniała znaczącą rolę.
Jeśli zaś chodzi o tą wtórność i wprowadzanie w Polsce rzeczy, które (trochę) działają gdzie indziej, to wcale nie jestem pewien, czy ma Pan racje. Widzę, że wprowadzane są te, które są w zgodzie z interesem pewnych grup decydenckich, ale jeśli im się coś nie podoba, to nie zostanie to wprowadzone nawet, jeśli to działa gdzie indziej. Tak więc ta implementacja jest bardzo wybiórcza i nie ma celu dobra nauki, tylko dobro pewnych układów i układzików.
Ocena ekspercka, która nie brałaby pod uwagę tych układów i układzików, mogłaby być groźna dla wielu. Mogłoby się nagle okazać, że tych ośrodków z oceną A+ to jest w całym kraju 5, a zdecydowana większość to C. Ojjj…… zabolałoby. Niektórych.
Troszkę się Pan rozmarzył. Ale jako głos w dyskusji, niech będzie.
@ZM
No więc jest przynajmniej nas dwoje marzycieli, autorka tekstu powyżej oraz ja.
Z pewnością nie "jakikolwiek".
Rzecze pesymista: gorzej być nie może.
Na to optymista: ależ może :-)
Z naukowego punktu widzenia Polska i Chiny to jednak zupełnie inna liga. Zupełnie.
Tym nie mniej, czasem warto rozejrzeć się i spojrzeć, jak inni radzą sobie z podobnymi problemami. Po dziesiątkach lat podążania za IF oraz prestiżem znanych czasopism, Chiny zapowiadają zmianę. Oto zapowiedź tych zmian:
China discontinues prominent journal ranking list
https://www.nature.com/articles/d41586-026-01216-1
Ciekawy jestem komentarza MNiSW na temat tych zmian, oczywiście w kontekście tego, co dzieje się w Polsce.
Panie Marcinie,
Bardzo dobrze pan napisał, iż Chiny to jednak zupełnie inna liga. Nie wchodząc w jakikolwiek model ewaluacji, to należy pamiętać, że nauka w Chinach jest po prostu szanowana i potrzebna, a w III RP jest piątym kołem u wozu. I to się nie zmieni w perspektywie najbliższych 10 lat. Polska to w ogóle jest grajdoł globu. Taki kraj nam zbudowali krajowi politykierzy ze słomą w butach po 1989 r.
Tylko chyba nie chodzi o likwidację i już nic innego nie będzie. "The CAS decision is an important step, but the real work has just begun."
@X
Jak rozumiem odchodzą od listy czasopism, ale szczegóły nowego systemu jeszcze nie są znane. Czyli w Chinach ewolucja ewaluacji ma miejsce. Nie boja się zmienić kierunku.
ewaluacja ewaluacji - to ma sens ;-)
O, dzięki za link. Jak widać w Chinach potrafią do sprawy podejść racjonalnie. A u nas "się nie da".
w mojej dziedzinie nie widziałem ani jednego artykułu z Open Research Europe, który byłby cytowany.
Cóż, połowę współcześnie na kolanie pisanych artykułów "naukowych" czytają tylko ich autorzy i recenzenci, chyba, że tych ostatnich zastępuje AI.
1/3 nie czytają ani "autorzy" ani "recenzenci". Powtórzę jeszcze raz:
"A phosphate safeguard answer was used to regulate the pH to 7.8, influencing the total response book to 30 mL. Subsequently, 1 mL of the mass killing of an ethnic group was opposed to 20 mL of the skin sample.”
Dla niewtajemniczonych - "safeguard answer" to "buffer solution", "response book" to "reaction volume". A o "ostatecznym rozwiązaniu kwestii żydowskiej" to chyba wszyscy pamiętamy. A po angielsku "final solution" znaczy i ostateczne rozwiązanie i roztwór końcowy... To się nazywa "umęczone frazy" (tortured phrases), które AI wstawia przy synonimicznej konwersji tekstu, żeby uniknąć wykrycia plagiatu.
https://www.sciencedirect.com/science/article/abs/pii/S0254058426003810
Zaglądam, a tam taka informacja: The publisher regrets that this article has been temporarily removed. A replacement will appear as soon as possible in which the reason for the removal of the article will be specified, or the article will be reinstated.
Ktoś próbuje połknąć żabę?
No trwa dochodzenie - minimum kilka miesięcy. Przecież nie można artykułu retraktować ot tak na podstawie komentarza na PubPeer
https://www.pubpeer.com/publications/B9A4ACD51DC24C453DF4F8229C71CE
Bo przecież może się okazać, że to jednak napisał człowiek, tylko, że idiota. I zrecenzował idiota, i przyjął idiota. A tak nawiasem, to niby niezłe czasopismo - IF = 4,7 i 70 pkt.
w latach 80-tych, jeszcze w 90-tych, w redakcjach dominowały Wielkie Nazwiska. Teraz to są osoby ze stopniem doktora, bez dorobku, do "mielenia" papieru. Recenzje są pisane po roku, byle jak. Wynajmowani redaktorzy techniczni (np. w Indiach) nie rozumieją zasad, standardów naukowych i zbywają robotę. To nie ma sensu. Jednak jakoś wszyscy krytykują punkty, ale nikt nic nie proponuje zamiast...
Owszem, proponuje.
https://forumakademickie.pl/deklaracja-sztokholmska-nagradzac-za-jakosc-zwalczac-oszustwa/
https://forumakademickie.pl/promowac-rzetelnosc-badan-eliminowac-zachowania-nieetyczne/
https://forbetterscience.com/2025/11/17/the-fribourg-declaration/
Tylko decydenci jakoś nie bardzo chcą słuchać.
Niczego nie trzeba proponować, wystarczą kwartyle ze scopusa. Mniej więcej oddają jakość (chociaż też zawyżają mdpi) a na pewno lepiej niż ręcznie sterowana lista.
Jeżeli np. 3/4 publikacji jednostki jest w Q1 i Q2 ministerstwo powinno dać spokój i żadnej ewaluacji nie robić. Jeżeli jednostka wypada gorzej można dyskutować co wtedy.
"Niczego nie trzeba proponować, wystarczą kwartyle ze scopusa. Mniej więcej oddają jakość" 🤣🤣🤣🤣
Czasopisma, które Pan wymienił, Biochemistry, JBC, FEBS Journal, są właśnie w Q1 więc nie rozumiem co to za podśmiechujki.
Jakaś klasyfikacja poza tym "ja wiem które są dobre" jednak powinna być i kwartyle mogą być dobrym kompromisem, no może po urealnieniu wartości mdpi.
O przepraszam, jeśli uraziłem. A czy Chemosphere i STOTEN dalej są w Q1? Nie wiem, bo nawet nie sprawdzam Scopusa pod tym względem. W WoS Chemosphere już nie ma, a STOTEN nie będzie od czerwcowego wydania JCR. Dlatego uważam, że wszelka bibliometria niewiele znaczy. Wie Pan, czasami publikuję w Tetrahedron Letters albo Bioorganic and Medicinal Chemistry Letters. Moim zdaniem niezłe czasopisma. Dyrekcja nie daje mi za to ani grosza, bo mają po 70 pkt. A koledzy za 140-stki z MDPI dostają taczki pieniędzy. Fajnie, nie?
Ja to wiem, pisałem o mdpi. Jakiś kompromis powinien być bo nikt nie przeczyta wszystkiego żeby ponownie zrecenzować. Wiadomo też że w tym kraju "ekspercko" zmieni się w "uznaniowo" więc tak, wolę kwartyle niż listę ministerialną, niż impact factor i niż ekspertów (szczególnie anonimowych).
@ X
Co do ekspertów, to jeszcze raz sugerowałbym przeczytanie tego krótkiego artykułu. Można, jak się chce. Można coś sensownego zrobić w tej sprawie.
https://forumakademickie.pl/ewaluacja-jak-to-robia-w-portugalii/
Zaś co do "urealniania MDPI", to obawiam się, że jest to trochę "wóz albo przewóz". Albo mówimy, że nie ma ręcznego sterowania, i wtedy w 100% zgadzamy się na bibliometrię, albo jednak uznajemy ręczne sterowanie. Ale w tym drugim przypadku musimy pamiętać, że zmiany mogą dotyczyć nie tylko MDPI, i mogą nie iść w stronę, w którą byśmy sobie życzyli.
Jednak artykuł powyżej mówi – i ja się z tym zgadzam – ze żadne listy istnieć nie muszą.
W Elsevierze nawet nie trzeba być doktorem żeby sporządzać recenzje. Pod tym kątem MDPI to wzór cnót
To jest akurat mniej więcej tak smutne jak fakt, że najbardziej prestiżowa nagroda naukowa nosi nazwisko człowieka, który nie ukończył żadnej uczelni i tym samym nie posiadał żadnego stopnia naukowego.
Punktoza to choroba o zasięgu światowym i warto o tym pamiętać. Lista czasopism ministerialna to jej polska odmiana. W ujęciu oryginalnym jest to ocena czasopism poprzez współczynniki IF, ewentualnie klasyfikacja według kwartyli itp. W tym kontekście może być jeszcze „ciekawiej”, bo wysokie notowania mają czasopisma od tzw. drapieżnych wydawców (z symbolicznymi recenzjami, ot po prostu rządzą prawa rynku).
Moim zdaniem niewykluczone, że w najbliższym czasie w najbliższym czasie pojawią się różne ruchy „łagodzące”, np. ewaluacja z gwarancją, że kategoria jednostki może się tylko poprawić (jak ktoś tutaj sugerował). Dlaczego? Zbliżają się wybory. Dla obecnej koalicji to być albo nie być (należy czytać: albo dalej pić szampana, albo dostawać paczki od rodziny adresowane do miejsc odosobnienia).
W ostatnim czasie znacząco poprawiono sytuację emerytów, którzy są liczną grupą i wcześniej częściej popierali prawicę. Środowisko akademickie jest małe, ale potrafi mocno namieszać, więc prawdopodobnie pojawi się też efekt pewnego „ugłaskiwania”. Moim zdaniem jest nawet szansa na podwyżki, nawet gdyby miały one bardzo obciążyć budżet.
Ale pamiętajmy, że to raczej perspektywa do wyborów. A myślenie strategiczne? Bez przesady - demokracja rządzi się swoimi prawami.
Czas poświęcony na przeczytanie i bicie piany lepiej zużyć na napisanie akapitu kolejnego artykułu do ewaluacji. Przynajmniej wtedy nas nie wywalą z pracy.
"Czas poświęcony na przeczytanie i bicie piany lepiej zużyć na napisanie akapitu kolejnego artykułu do ewaluacji."
Eee, w czasie, który poświęciłem na czytanie tego artykułu i komentarzy do niego AI napisał za mnie 5 pełnych artykułów. 😁😁😁
Nareszcie ! Samotny głos rozsądku !
Nie samotny, jeśli popytać, to się okazuje, że wszyscy tak uważają. Brak nam tylko czegoś, tych no...
Liderów? Woli walki? Ale nie, nie wszyscy tak uważają. Ci, co się dobrze urządzili w tym systemie, wcale nie chcą go zmieniać.
Miałem na myśli raczej gruczoły.
Że niby tarczycy? 😁
Niedobór jodu zabije cała Europę, nie tylko nas ;-)
@Hubert Wojtasek
Zapewne chodzi o cojones.
Ja jednak obawiam się, że ma Pan racje co do prawdziwego powodu niechęci do wprowadzenia znaczących zmian w kierunku solidnie przeprowadzonej ewaluacji.
Ten artykuł to bardzo ciekawy głos w dyskusji!
Chciałbym jednak zauważyć, że obecne władze ministerialne mają ręce związane zapisami ustawy Gowina, https://isap.sejm.gov.pl/isap.nsf/download.xsp/WDU20180001668/U/D20181668Lj.pdf , od Art. 265, w której wprost mówi się o "prestiżu wydawnictw", przypisywaniu punktów zarówno wydawnictwom, jak i czasopismom itp. Tego nie da się zmienić, dopóki żyrandola pilnuje Nawrocki. Można by próbować obejść problem rozporządzeniami de facto rozmontowującymi ustawę, ale mam niejasne przeczucie, że w efekcie dostalibyśmy legislacyjnego Frankensteina, lepiej już więc żyć w bagienku już rozpoznanym, w którym nawet nieźle się urządziliśmy.
Artykuł pani doktor jest więc miażdżącą krytyką reform Gowina. Jednak niczego to nie zmieni. Dalej tkwić będziemy bowiem w klinczu administracyjnym spowodowanym przez klincz polityczny, będący z kolei pochodną klinczu ustrojowego.
Będzie tak jak było nie z powodu możliwości weta prezydenckiego ewentualnej zmiany status quo, tylko dlatego, że nie jest nią zainteresowane MNiSW, uległe wpływowym akademickim grupom interesu, którym nie zależy na poważnych zmianach, bo się dobrze urządziły w tym patologicznym stanie rzeczy. Nie posądzam decydentów ani ich mocodawców o głupotę, sorry za dosadność. Przecież wiceminister, nb. profesor, w poprzedniej ekipie otwarcie przyznał, że mamy doczynienia z patologią, ale nie ma zgody środowiska akademickiego na rewolucyjne zmiany. I to się nie zmienia.
Prezydent Nawrocki w tej sprawie nic nie dostał od posłów RP, nie sądzę żeby betonował dziadostwo po gowinie
Ustawy Gowina nie da się wypudrować. Ją trzeba wyrzucić do kosza i napisać ustawą nową. Powiedzmy - 2 lata konsultacji. Ze świadomością, że Nawrocki na 99.999% wyrzuci ją do kosza w ramach walki o poszerzanie swoich kompetencji. Chciałoby się Panu bawić w taką grę?
"dziadostwo po Gowinie" zostało przegłosowane przez koalicję z PiS na czele. Czarnek w niej niczego nie zmienił. Nie ma politycznych powodów, by pisowski prezydent teraz miał wyrzucić do kosza de facto pisowską ustawę. Chyba, że sam by ja napisał.
@Albert
Powyższy tekst traktuje o sytuacji, która panuje obecnie w kwestii ewaluacji. Ta sytuacja jest wypadkową wielu przepisów i zmian wprowadzonych w ostatnich latach, nie tylko przez Gowina. Tak więc artykuł nie krytykuje tylko reform Gowina, tylko cały stan obecny.
I jeśli ten stan obecny jest patologiczny, to rząd powinien próbować go zmienić takimi metodami, jakie są dostępne. Nie można usprawiedliwiać nie-nie-robienia sytuacją polityczną, skoro jakieś narzędzia w kierunku tej zmiany przecież istnieją.
Zaś co do "lepiej już więc żyć w bagienku już rozpoznanym, w którym nawet nieźle się urządziliśmy" to prawdę mówiąc nie wiem, czy można życzyć nauce polskiej czegoś gorszego, niż to, co jest zawarte w sugestii.
Dokładnie. Jeśli musi być lista, to można na niej umieść wszystkie czasopisma i dać każdemu tyle samo punktów. Kto chce, ten sobie poradzi.
Już dawno temu wpadłem na mniej więcej ten sam pomysł... :-) Myślę, że po tylu iteracjach ewaluacji "za punkty" już wiemy, że że sam pomysł administracyjnego wiązania "ważności" artykułu np. z impact factorem czasopisma jest przeciwskuteczny i generuje co najmniej tryle problemów, ile ich rozwiązuje (faktycznie lub powierzchownie) - o czym traktuje m.in. komentowany tu artykuł.
Podobnie jest z kryterium II - pomysł, by nagradzać punktami ewaluacyjnymi zdobywców grantów finansowanych - bezpośrednio lub pośrednio - ze źródeł publicznych, jest iście diabelski. I służy interesom wąskich grup uczelni, a nawet - wąskich grup interesów na tych uczelniach. Ale o kryterium II nikt nie mówi.
A przecież - na zdrowy rozum - powinno być tak, że od tych, którzy dostali więcej, powinno wymagać się więcej. Czyli albo granty NCN (i im podobne) w kryterium II powinny mieć wagę ujemną (TAK!), albo grantobiorcy do 3N powinni wchodzić z wagą 1,5 albo i 2. Podobnie jakoś przełknęliśmy to, że od jednostek akademickich (dydaktyka!) i stricte badawczych wymaga się dokładnie tego samego - dawno nie widziałem dyskusji tego elementu ewaluacji.
Jeszcze piękniejszy pomysł polegałby na związaniu liczby slotów do wypełnienia z kwotą środków publicznych otrzymanych na badania. Wiem, nierealne, trudne w implementacji. Ale takie wycieczki intelektualne pokazują, jaki jest rzeczywisty społeczny efekt ewaluacji. Czyim interesom służy. Trudno tu doszukać się interesu państwa czy podatnika. Pokazują też rzecz oczywistą - że obecna ewaluacja, jej "filozofia" nie jest ani jedyna możliwą, ani jedyną mającą jakiś związek z interesem publicznym. Na przykład ktoś mógłby szczególnie w niej wyróżnić wspólne publikacje z przemysłem (tak jak teraz takim dopalaczem są krajowe, nigdzie niewdrażane patenty). To z jednej strony wywróciłoby dotychczasową hierarchię akademicką, a więc byłby krzyk odrywanych od stołków! - z drugiej zaś - wygenerowało nowe pokłady akademickiej patologii, w której ERSJ zastąpiłby np. pan Krzysiu z pobliskiego warzywniaka.
Jak się nie obrócisz, zawsze dramat.
Najgorsze jest to, że my, nieco starsi, widzimy, że toniemy w opartach narastającego absurdu. Jednak młodsi tego nie dostrzegają, ten absurd jest już dla nich jedyną rzeczywistością, jaką znają.
A to koalicja pod wodzą Donalda Tuska nie ma większości w sejmie, by uchwalać ustawy?
A zasłanianie się prezydentem, że na pewno, bez żadnej wątpliwości zawetuje, jest prostacką wymówką, by nic nie robić. Nawet jeśli założymy, że prezydent jest bezwarunkowym wrogiem koalicji i nie obchodzi go polska racja stanu, nie musi mu się to opłacać, jeśli ustawa będzie rozsądna. A poza tym tym nawet z totalnym wrogiem można negocjować, negocjowano i z Dżingis Chanem, i z Hitlerem i ze Stalinem za zimnej wojny. Coś za ustawę zawsze można mu oferować. Ja w każdym razie nie życzę sobie w ojczyźnie totalnej wojny domowej.
papież Leon I negocjował z Atyllą... w Polsce wszyscy się pozabijają i utoną razem, we wspólnym uścisku (ale za gardło)...
Czasem uważam, że wojna na ostre byłaby lepsza. Zostałaby tylko jedna strona i skończyłaby się ta dusząca Polskę nienawiść.
był taki kawał dawno temu: partyzanci gonili niemców, niemcy partyzantów, aż przyszedł leśniczy i wszystkich z lasu wygonił... u nas jest dwóch leśniczych: ze wschodu i z zachodu...
Jest pogląd, że ten leśniczy z Zachodu ma spory wpływ na jedną stronę sporu i wcale nie chce pokoju w Generalgouvernement.
Najgorsze jest to, że punkty są podstawą oceny wniosków granatowych. Warto też dodać o fikcji młodego napompowanego i sowicie nagradzanego naukowca, mistrza jednego tematu, nauczonego, że do emerytury będzie dostawał granty.
nieprawda, sylwetka kierownika to podstawa oceny. Więc Einstein by nic nie dostał. Jak ktoś ma granty to ma "sylwetkę" i dostanie następne. Nie pomysł, "breakthrough" itp tylko granty robią granty... tylko double blind i anonimizacja tekstu (jak np. w COST) .
No, miał facet szczęście, że żył jeszcze w miarę normalnych czasach, jeśli chodzi o ocenę osiągnięć naukowych. Oczywiście, pomijam tutaj jego niewątpliwy geniusz.
Punkty nie są brane pod uwagę w ocenie wniosków grantowych, przynajmniej w NCN i ERC.
Taa, projekty Zhixionga Li, Muhammada Bilala, Mohsena Khodadadi Yazdi, Roberto Castro-Munoza, Balala Yousafa itd. na pewno były genialne. Ich dorobek się nie liczył - nic a nic. Wiadomo - DORA.
Co gorsza ci młodzi napompowani są najczęściej członkami dużego zespołu, albo spółdzielni. I kończą doktorat z 20 publikacjami. I wszystko świetnie wygląda na papierze, Hirsche rosną, ale wiedzy brak...
Dorzucę jeszcze jeden aspekt problemu. Z jednej strony MNiSW przesądziło, że o rezygnacji z listy czasopism (ergo punktozy) "nie ma mowy", a z drugiej strony jest projektodawcą ustawy o szczególnych rozwiązaniach związanych z wynikami ewaluacji jakości działalności naukowej za lata 2022–2025, która to regulacja ma złagodzić spodziewane skutki skompromitowanego modelu ewaluacji, opartego na tejże liście. Co ciekawe, bezpośrednimi beneficjentami tej ustawy będą, jak się zdaje, władze ewaluowanych jednostek, odpowiadające za wyniki ewaluacji, ale też mające niemały wkład w powstanie i utrzymywanie komentowanych tu patologii, z powodów oportunistycznych. Natomiast nikt specjalnie nie pochyla się nad losem pracowników, którzy poddawani są ocenie okresowej opartej na tych samych, patologicznych zasadach, co woła o pomstę. W jakim kraju my żyjemy?
O tym, że kolejna ewaluacja musi odbyć się na podstawie list czasopism i wydawców, przesądza ustawa, której obecna koalicja fizycznie nie jest w stanie zmienić.
Nie wydaje mi się, by władzom jednostek naukowych zależało na utrzymywaniu "tej patologii".
Jeżeli ministerstwo dotrzyma obietnicy, że żadna jednostka nie zostanie oceniona gorzej niż 4 lata temu, to pracownikom włos z głowy nie spadnie.
"Cóż szkodzi obiecać!"
W Polsce.
Artykuł jest znakomity, a jego autorka jawi się jako mądra i pogodna kobieta. Brawo.
Łomatko, to przecież by trzeba zmienić ustawę! To dużo pracy dla ministerstwa, a i tak prezydent pewnie zawetuje,, więc lepiej nic nie robić - oto tok myślenia naszych decydentów.
Ponieważ tezy tego tekstu są słuszne, to nie mają szansy na istotne wsparcie. Obecnie, większość nauczyła się jakoś w istniejącej patologii funkcjonować, więc preferuje utrzymanie obecnego stanu. Dla urzędników tabelki super. Więc będziemy deklamować, że ten system jest fatalny, ale będzie on trwał.
Panie i Panowie, My o was dbamy byście na nas głosowali i nas popierali. To się nam udaje bo was podpuszczamy, że mundre wy. Jak widać i słychać za miskę ryżu większości pracują, a ci co są u koryta to do syta. I tak ma być. Przecież my musimy całe hordy naszych popleczników gdzieś poobsadzać na stołkach dyrektorskich, kierowniczych, w zespołach doradczych i gdzie się da, by was mogli przywoływać do posłuszeństwa, nakazywać wypełniania wszelkich dupereli byśmy mogli was rozliczać z tych tru tu tu tu. Musimy też gości wiekopomne słówa, że za dużo zarabiacie i że pieniędzy ni ma i premii nie będzie, nawet za A+, jak jeden pryncypał palnął. Nam to premia trzy lub czterokrotna naszych pensji ma być, bo was rozliczamy w pocie czoła, tak ciężko, że aż nie mamy czasu kawy spokojnie wypić. Chyba jasno wyłożono dlaczego tak ma być. Wszelkie niedogodności wam, a nam same profity. To wszystko po to, by tym co rządzą żyło im się lepiej, pamiętacie, no nie?. Możecie chodzić nadal do mediów, wszelkie głupoty pleść, otumaniać itd. byle tylko nam się żyło lepiej i spokojnie.
Czyli będzie tak jak jest tylko powstanie nowa patologiczna lista. Ma ona obowiązywać wstecz - następna patologia (czemu nie 10 lat wstecz). Wtajemniczone grono już teraz wie, gdzie publikować warto, a gdzie już nie. Przypisanie czasopism do dyscyplin to jeszcze jedna patologia. Właśnie szukałem "dobrego" czasopisma w mojej dyscyplinie dla artykułu, na ad którym się napracowałem. I co? Tak wiele jest czasopism, które by pasowały, ale wymyślona sztuczna i niezwykle dysproporcjonalna punktacja zniechęca mnie do publikacji za mniej niż 100. Rektor daje nagrody za minimum 140. Gdy czytam te niektóre wysokopunktowane artykuły, to z podziwu wyjść nie mogę, że to tyle jest warte.
"Wtajemniczone grono już teraz wie, gdzie publikować warto, a gdzie już nie."
Ja też wiem. Wiem dokładnie, które czasopisma w mojej tematyce są dobre - Biochemistry, JBC, FEBS Journal (bo w Nature to publikować nie będę - za wysokie progi). I niepotrzebna mi do tego ministerialna lista czasopism, która więcej punktów przydziela Molecules i International Jounal of Molecular Science. Jeśli będę publikował w tych pierwszych, to koledzy z zagranicy będą mi gratulować, jeśli w tych drugich - to nikt mi ręki nie poda. I mnie takie kryterium wystarcza.
"Rektor daje nagrody za minimum 140."
Ooo! To u nas podobnie. Dlatego mamy połowę artykułów w czasopismach MDPI - Materials, Energies, International Journal of Molecular Sciences, Molecules, no i oczywiście jeszcze Scientific Reports. No sama śmietanka. A do ewaluacji mojej dyscypliny to poszło chyba ze 2/3 takich. Jest świetnie. Polska nauka potęgą jest. Przecież mamy tyle artykułów w czasopismach za 140 pkt.
Czyli propozycja jest taka aby to zagraniczny EUROPEJSKI podmiot decydował gdzie mamy publikować. Możliwe że wiele by to nie zmieniło bo nasze ministerstwo i ich grupa "ekspertów" też promują zagraniczne pisma, nieraz drapieżne jak slynne MDPI. Wiele dobrych pism jak np. computer journal (to tu zaproponowano algorytm quick sort) albo algorithmica nie mają nawet 100 pkt. Tu siedzi gruba korupcja i układy, tak jak na uczelniach gdzie znajdują się rodzinne folwarki za publiczne pieniądze. Kto ma kasę ten publikuje kto nie ma kasy nie publikuje, rodzinie damy kase obcym nie, układ się domyka.
"decydował"? Dlaczego?
Super artykuł ale obawiam
Się że nic się nie zmieni. Ten kto się dochrapał pozycji nie puści jej tak łatwo. A przypominam że trochę inaczej wyglądało publikowanie 20-30 lat temu.
Ciekawy artykuł, ale głównie w warstwie analitycznej. W tym kontekście z większością tez można się zgodzić. Niestety, nie przełoży się to na praktykę z dwóch powodów.
Po pierwsze, ludzie w ogólności cenią hierarchię i prestiż (do czego za chwilę wrócę). Po drugie, w skali świata polska nauka należy raczej do drugiej, a może nawet trzeciej ligi (o czym świadczy np. angażowanie od czasu do czasu zagranicznych ekspertów). Z tego powodu żaden polski rząd (czy to z lewej, czy z prawej strony) nie będzie promował rewolucji w tym obszarze. Wszyscy wiedzą, że tzw. „punktoza” (IF, H-index itd.) ma poważne ograniczenia, ale na razie to ona rządzi. Jeśli coś zmieni się globalnie w sposobie oceny dorobku naukowego, polskie rządy zapewne zrobią to samo. Nie będą jednak wychodzić przed szereg.
Wracając do kwestii prestiżu: niestety, wciąż ogromne znaczenie ma „pieczątka” uznanego eksperta lub instytucji. Autorka tekstu jest z Uniwersytetu Warszawskiego, co daje jej wiarygodność przynajmniej na poziomie krajowym. Gdyby jednak identyczny tekst napisała osoba z małego ośrodka, jego odbiór byłby zapewne dużo bardziej sceptyczny. Wiele osób zareagowałoby: „open access bez kontroli?” i zasugerowałoby publikację w uznanym czasopiśmie zamiast szukania dróg na skróty. Niestety, odbiór głoszonych treści - przynajmniej w krótkim okresie - w dużej mierze zależy od tego, kto je wypowiada lub firmuje. To mechanizm, który głęboko w nas wszystkich siedzi.
Jest coś w tym, co pan mówi. Widzę to raczej kontrast - zdarzają się w nauce, i nie tylko, postacie, które znają swoją wartość, i jest to cecha głęboka, nie przychodzi im wręcz do głowy, że mogą być gorsi od uznanych autorytetów, np. z Zachodu, w ogóle się nie porównują, tylko robią swoje. Taka dobrze rozumiana wiara w siebie. Słychać to w głosie nawet. I to daje rezultaty. Do głowy przychodzi mi tu zawsze nazwisko Stanisława Lema, może niezupełnie naukowca (choć był w końcu filozofem), ale to, jak on kilkadziesiąt lat temu przewidział kształt dzisiejszego internetu i inteligencji obliczeniowej, nie przestaje mnie zadziwiać. Myślę, że to takich ludzi zaliczał się też Banach. Każdy z nas pewnie osoby o podobnej sylwetce zna. Z mojego osobistego oglądu - nie wiedzieć czemu - często pochodzą z Kresów :)
Ale to u nas rzeczywiście rzadkość.
Dobre tezy, prawie oczywiste propozycje... i nic z tego nie będzie (i to w długiej perspektywie czasowej). Zauważmy że decydenci (ci z uczelni), to często osoby, które same nie publikują, mają jeden zasadniczy priorytet: otrzymać status quo, ponieważ dobrze potrafią pływać w mętnej wodzie, zaś jej oczyszczenie obnażyło ich niedostatki (również naukowe), a tego oczywiście się boją. Moja teza: "pewne problemy muszą umrzeć w sposób naturalny".
To jedno z zagrożeń systemu eksperckiego: ryzyko, że ocenę będą dokonywać osoby, które uzyskały profesury 20 lat temu na podstawie bardzo słabych badań, a dziś opierają swoją pozycję głównie na renomie i dopisywaniu się do wszystkich prac swojej katedry.
@A L
Słusznie, i właśnie dlatego pani autorka pisze o wybieraniu "międzynarodowych ekspertów tak, by minimalizować ryzyko stronniczej oceny".
I podaje jako przykład ten artykuł:
https://forumakademickie.pl/ewaluacja-jak-to-robia-w-portugalii/
Czyli Scopus czy WoS zły, ale zagraniczny ekspert dobry. Ciekawe rozdwojenie jaźni. Naprawdę, trudno znaleźć głupsze i bardziej marnotrawne zadanie niż ponowne czytanie każdego artykułu, którzy recenzenci wydawniczy przeczytali już wcześniej - i to zazwyczaj nie raz. Kto zapłaci tym zagranicznym ekspertom za ponowne czytanie tych publikacji? Z jakich środków? No własnie.
@rozbawiony
Coś mi się wydaje, że pomyliły się Panu te dwa zupełnie różne "czytania artykułów". Recenzenci (jeśli oni w ogóle istnieją, bo na przykład artykuły zdeponowane w niektórych repozytoriach recenzowane nie są) czytają artykuły z zupełnie innego powodu i z innym zamierzeniem, niż eksperci z gremiów oceniających dane publikacje na potrzeby ewaluacji.
Eksperci to ludzie, Scopus czy WoS to tylko bazy danych, to oczywiste, różnicy tłumaczył nie będę.
Natomiast jeśli chodzi o pieniądze, to oczywiście ewaluacja kosztuje, jaka by ona nie była. Ja uważam, że lepiej zrobić droższą, ale solidną ewaluację, która rzeczywiście o czymś powie, niż ewaluację udawaną i bezsensowną, która właściwie nikogo o niczym nie informuje. Polska nie jest krajem dużo biedniejszym od Portugalii. Skoro oni mogą to zrobić, my też możemy, tylko trzeba do tematu podejść poważnie.
Nic mi się nie pomyliło. Artykuły zdeponowane w różnych repozytoriach z punktu widzenia ewaluacji nikogo nie obchodzą. Czytanie ponownie tego, co jest indeksowane w Scopusie koszt skokowo podwyższy, to jest pewne. Powód owszem, będzie inny. Zamierzenie już nie - ocenić jakość badań. Że ten magiczny proces podwyższy jakość - to albo myślenie życzeniowe, albo totalne wyparcie faktów. Bo wystarczy popatrzeć na komponent ekspercki w budowie listy B za czasów Kudryckiej, by zobaczyć, że skutki tego czytania wyprodukowały odwrócony rozkład normalny zamiast normalnego. Czytaj: znajomym podwyższymy, konkurencję przytniemy. Powtarzanie kilka razy analogicznego procesu z nadzieją na inne wyniki ma swoją nazwę. A kto będzie czytał polskojęzyczne rozprawki z filozofii chociażby? Zagraniczni eksperci? Będziemy to tłumaczyć? Poważnie? I zaraz będzie połowa dyscyplin w "sytuacji wyjątkowej". Podejściem poważnym byłoby jasne postawienie sprawy - żadnych ręcznych ingerencji w parametry ewaluacji i "nominowania" świerszczyków o poziomie nie leżącym nawet obok nauki na listy z 200 punktami, by pozorujący naukę mieli gdzie pozorować...
@rozbawiony
- „Artykuły zdeponowane w różnych repozytoriach z punktu widzenia ewaluacji nikogo nie obchodzą.”
Czas, aby to zmienić. Artykuły na przykład z arXiv albo bioRxiv mogą mieć i często mają duży wpływ na dana dziedzinę wiedzy. Tam nie ma impact factor i dlatego właśnie tylko eksperci będą potrafić oszacować jak dobre są te publikacje (być może wspomagając się liczbą cytowań).
- „Czytanie ponownie tego, co jest indeksowane w Scopusie koszt skokowo podwyższy”
W Scopusie? Co Scopus ma do ewaluacji?
- „Powód owszem, będzie inny. Zamierzenie już nie - ocenić jakość badan”
Proszę Pana, czy nigdy nie recenzował Pan manuskryptów w kierunku ich publikacji? Recenzja na tym poziomie to coś KOMPLETNIE innego niż szacowanie, jak dana publikacja wpływa na rozwój nauki, na postęp w danej dziedzinie wiedzy, czy być może czy ma wpływ na inne aspekty, takie jak na przykład polityka. Ocena pracy przed jej przyjęciem do publikacji i ocena wpływu na potrzeby ewaluacji to są rzeczy tak różne, jak krzesło zwykle i krzesło elektryczne.
- „Że ten magiczny proces podwyższy jakość - to albo myślenie życzeniowe, albo totalne wyparcie faktów”
Który proces ma Pan na myśli? Bo to nie jest jasne. Cala ewaluacja nauki? Czy ocena artykułów naukowych w czasie ewaluacji?
- „Bo wystarczy popatrzeć na komponent ekspercki w budowie listy B za czasów Kudryckiej”
Nie, nie trzeba na to patrzeć, ponieważ mówimy teraz o przyszłości. To, co się jakoś odbyło kiedyś w innym celu nie ma wpływu na to, co może się odbyć w innym celu w przyszłości.
- „Czytaj: znajomym podwyższymy, konkurencję przytniemy. Powtarzanie kilka razy analogicznego procesu z nadzieją na inne wyniki ma swoją nazwę”
Ale jakim „znajomym”? Po raz kolejny powtarzam, że w Polsce ewaluacja ekspercka robiona przez naukowców polskich nie ma najmniejszego sensu. Cały czas mowie tylko i wyłącznie o ewaluacji eksperckiej zrobionej w 100% przez naukowców z zagranicy.
- „A kto będzie czytał polskojęzyczne rozprawki z filozofii chociażby? Zagraniczni eksperci?”
A no właśnie. I tutaj dochodzimy to koncepcji, o której tutaj na Forum Akademickim mowie również już chyba aż za często. Otóż publikowanie naukowe (podkreślam: tylko NAUKOWE) powinno się odbywać w całości po angielsku NIEZALEŻNIE od dyscypliny naukowej. Tak, historia, filozofia, nauka o literaturze, cokolwiek, wszystko powinno być tylko po angielsku. To znaczy oczywiście naukowcy mogą publikować w dowolnym języku, ale do ewaluacji powinny być brane pod uwagę tylko publikacje po angielsku. Bo rzeczywiście, jeśli tego nie ma, to po pierwsze naukowcy polscy sami zamykają się w szopie z napisem „Zaścianek”, a po drugie trzeba dla nich tworzyć jakieś specjalne mechanizmy ewaluacji, co nie powinno mieć miejsca.
- „Podejściem poważnym byłoby jasne postawienie sprawy - żadnych ręcznych ingerencji w parametry ewaluacji i "nominowania" świerszczyków o poziomie nie leżącym nawet obok nauki na listy z 200 punktami, by pozorujący naukę mieli gdzie pozorować”
Jeśli ewaluacja nie miałaby się odbywać ekspercko przez naukowców z zagranicy, to wtedy rzeczywiście lepiej, aby odbywała się na podstawie Impact Factors z Clarivate, w oparciu o kwartyle, do których należą dane tytuły. Punktacja ministerialna jest zupełnie niepotrzebna. Ale ta wersja ewaluacji ("punktoza") jest znacząco gorsza niż ta międzynarodowa-ekspercka. Zresztą właśnie o tym mówi artykuł powyżej.
Czyli wychodzi z tego naczelny postulat: zwiększmy kosztochłonność systemu bez absolutnie żadnego dowodu, przesłanki, wręcz nawet realnej nadziei na poprawę systemu. Preprinty mają się liczyć? Super, na arXiv pójdzie milion ciężarówek chłamu z PL i niech to teraz ktoś ogarnie, w końcu de facto płacimy za to my z naszych pensji...
Co ma Scopus do ewaluacji? A listy czasopism punktowanym mają co jako punkt wyjścia, liczbę meteorytów spadających na powierzchnię Marsa? W nauce (nie mylić z pseudonauką) ręczne wrzutki to zdecydowana mniejszość, wskaźniki decydują o kryterium 1.
Recenzowałem setki razy. I może przez to, że recenzowałem w dobrych czasopismach a nie świerszczykach, pierwsze pytanie jest o implikacje dla nauki, a nie, czy formatowanie jest ładne. Jak ktoś SEM-em udowadnia rzeczy oczywiste, to tego się do końca nawet nie czyta.
Ocena "ekspercka" była robiona w tym kraju nie raz i jej efekty były dotychczas mierne. Jeszcze raz: powtarzanie kilka razy analogicznego procesu z nadzieją na inne wyniki ma swoją nazwę. Zresztą ocenę ekspercką już mamy. W awansach naukowych. Po próbce z wszystkich postępowań, w których bezpośrednio lub pośrednio brałem udział, w praktyce policzenie cytowań po Scopusie każdemu delikwentowi dałoby zdecydowanie lepszy efekt niż podchody, w których recenzent o dorobku co najwyżej regionalnym pisze bezczelnie kandydatce, że ma niską rozpoznawalność naukową (a ta ma kilkanaście x tyle cytowań i regularnie publikuje w najwyższym decylu, czym się recenzent nie zhańbił ani razu). Jak recenzent lubi daną instytucję, to Energies jest wybitnym czasopismem i i rozdział w monografii prof. Mariana jest świetny. Warto przemielić kilkaset milionów na replikację tego systemu na poziomie całych uczelni?
Pompowanie pieniędzy za granicę w wierze w mityczną jakość zagranicznych ekspertów też ma swoją nazwę. A to wie każdy, kto miał do czynienia w praktyce np. z recenzjami habilitacji robionymi przez zagranicznych ekspertów. Przy okazji, naprawdę w XXI wieku ktoś wierzy, że koterie i znajomości zatrzymują się na granicach RP?
@rozbawiony
"Ocena "ekspercka" była robiona w tym kraju nie raz i jej efekty były dotychczas mierne".
Nie, nie było oceny eksperckiej robionej przez naukowców z zagranicy. Po raz dwutysięczny powtarzam, że tylko o takiej ewaluacji mówię. Ocena przez ekspertów wewnętrznych nie ma najmniejszego sensu.
"naprawdę w XXI wieku ktoś wierzy, że koterie i znajomości zatrzymują się na granicach RP?"
Tak, zatrzymują się. I dlatego właśnie zdecydowana większość naukowców w Polsce trzęsie portkami przed ewaluacją robioną przez ludzi spoza układu.
Polecam ten artykuł, może przemówi lepiej niż moje komentarze (chociaż jednak wątpię…):
https://miesiecznik.forumakademickie.pl/czasopisma/fa-11-2025/czy-jestesmy-gotowi-na-ocene-ekspercka%E2%80%A9/
"Ocena ekspercka prowadzona przez międzynarodowe gremia może brutalnie skonfrontować nas z rzeczywistą jakością naszych badań. Może okazać się zimnym prysznicem zarówno dla pojedynczych naukowców, jak i całych instytucji. I tu dochodzimy do kluczowego pytania: czy jesteśmy gotowi zaakceptować jej wyniki?"
Uwagi i pomysły OK. Niestety, nic z tego nie będzie. Urzędnik dzielący kasę chce mieć podkładkę w postaci tabelki. W przeciwnym razie wezmą go za dupe a na jego posadę czeka następny i też bez tabelki nie podejmie żadnej decyzji.
Jeśli profesor chce być podnóżkiem urzędnika, to z absolutną pewnością nim będzie. Jak to mówili starożytni? Chcącemu nie dzieje się krzywda?
Najgorsze jest to, że ci urzędnicy często mają tytuł profesora.
Warto być dobrej myśli i negocjować, część urzędników jest po dobrej stronie mocy :-)
W roku 1988 wielu ludzi uważało, że niczego nie da się zmienić, a trochę się dało i pomału daje się więcej.
Kiedy oficjalnie negocjujący muszą być po stronie dobra, uniwersalnym argumentem przeciw dobru staje się to, że "się nie da".
Polska betonem stoi. Od punktacji po butelkomaty. Zamiast inspirować się najlepszymi praktykami z państw, do poziomu życia, ekonomii i szczęścia aspirujemy, polskie władze jakby na przekór importują rozwiązania albo z jakichś antyludzkich reżimów, albo wymyślają koło na nowo. Rozumiem jeszcze, że za PiS-u dało się to uzasadnić obawą, że Polska stanie się kulturowo zgniłym Zachodem, wobec którego partia ta i jej elektorat odczuwają resentyment, ale teraz mamy proeuropejski rząd, który jednak nadal po części trzyma się tej ścieżki. Trzeba ich merytorycznie punktować, bo przynajmniej część z nich jest otwarta na merytoryczne - a nie tylko emocjonalne - argumenty.
Zdecydowanie i z pełnym przekonaniem popieram tezy arrykulu
Bardzo dobra argumentacja. Jeśli chodzi o przystąpienie do Open Research Europe, to w zasadzie nie ma się nad czym dłużej zastanawiać. Może rolą KRASP byłoby przekonanie rządu RP do podjęcia właściwych działań? Byłby to krok we właściwym kierunku. Płacenie za powierzanie wyników badań komercyjnym podmiotom jest okradaniem podatnika, który za te badania zapłacił. "Tak się utarło", ale to bardzo źle wygląda.
Co do ewaluacji, punktowej czy też eksperckiej, warto się zastanowić jakie są jej skutki obecnie, czemu służy i czemu służyć powinna.
Czy chcemy uczelni autonomicznych, czy sterowanych centralnie?
W RZECZY SAMEJ. Ale w ministerstwie wiadomo jakim cisza i ciemność. Cicho siedzieć nic nie robić. I tak już 30 miesięcy zleciało.
Przecież trzeba jakoś uzasadnić funkcjonowanie KEN.. gremium osób z dobrą pensja i nieograniczona władza...
"Artykuły naukowe są oceniane (recenzowane) w czasopismach naukowych, zostały zatem poddane ocenie eksperckiej."
Taa, widzę takie zdania w bardzo wielu recenzjach w postępowaniach awansowych, bo recenzentom nie chce się ich przeczytać. Czy ktoś słyszał o "fake review"? Obecnie ok. 1/3 powodów retrakcji, bo redaktorzy wielu czasopism, także tych "renomowanych", to w wielu przypadkach też oszuści i powołują na recenzentów kolegów autorów.
Odnoszę nieodparte wrażenie, że bez recenzji, naukowcy opisywaliby wyniki swoich badań w sposób bardziej odpowiedzialny. Ileż to razy słyszałem, że trzeba umieścić w pracy kilka oczywistych knotów, ponieważ recenzent też człowiek i coś tam znaleźć musi, a im łatwiej, tym lepiej dla nas, albo "ci w tej redakcji są wystarczająco głupi, żeby np. nie poprosić o surowe dane", itp. itd.
Recenzja pudruje wpadki oczywiste. Recenzja ma zamykać dyskusję nad rzetelnością badań.
Dokąd zmierzamy?
A no właśnie. Jeszcze trochę i może punktowana lista czasopism wypadnie, a wpadnie ocena ekspercka. Trzeba o tym dużo mówić, może ta myśl zapuści w końcu korzonki w umysłach decydentów.
Jakoś na razie nikt z komentujących jeszcze nie oburzył się na "opracowanie mechanizmu wyboru międzynarodowych ekspertów", a to właśnie moim zdaniem jest kluczowe w tej proponowanej ocenie. Aby była robiona przez osoby z zagranicy i żeby te osoby były odpowiednio wyselekcjonowane.
Liczbę artykułów poddanych ocenie można ograniczyć, na przykład poprzez ograniczenie liczby artykułów prezentowanych przez jednego pojedynczego PI. Natomiast same artykuły do oceny mogłyby pochodzić z różnych źródeł. Z repozytorium, o którym mowa powyżej też, ale mogłyby to również być artykuły opublikowane w "normalnych" czasopismach. Nie trzeba tego ograniczać. Ważne, aby były one reprezentatywne dla danej jednostki naukowej oraz rzetelnie ewaluowane przez zewnętrznych ekspertów z danej dziedziny.
Die Liste aber braucht Sie.
Żeby się przypadkiem komuś nie pomyliło ORE (Open Research Europe) z Ośrodkiem Rozwoju Edukacji...
Świetny artykuł
Bardzo dobre posumowanie. Słowa uznania dla Autorki. Cieszy mnie, że są młodzi ludzie myślący w ten sposób. Obawiam się tylko, że będzie to kolejny głos wołającego na puszczy. Słyszeliśmy już przecież opinię ministerstwa, że inaczej się nie da.
Nie jest łatwo przekonać ministerstwo do rzeczy oczywistych.
We władzach uczelni nie ma ludzi odważnych tylko wazeliniarze, którzy nie dbają o naukę tylko o zrobienie dobrze ministrowi i ślepo stosujący wytyczne jak głupie by nie były np. bezmyślne przekładanie ewaluacji na ocenę pracownika.
Dlatego są we władzach... na jakim świecie pan żyje...?
Dlatego, że rektorzy powinni walczyć o świat nauki i tłumaczyć ministerstwu że tak nie jest dobrze, lista nie jest dobra ani potrzebna. Ale widać czują się przedstawicielami ministerstwa, którzy robią tak żeby ministrowi się przypodobać i punkty z listy bezpośrednio przekładają na ocenę pracownika. Może za dużo zarabiają i dlatego realizują zalecenia z ministerstwa a nie dbają o dobro nauki. Wielu ma też nikły realny dorobek naukowy.
Łatwo być mądrzejszym od ministerstwa ale do realizacji czegoś innego potrzeba odwagi a nie uśmiechania się i przymilania bo minister odwiedza uczelnię.
Jak tu się nie przymilać, kiedy przyjeżdża sam Rewizor? ;-)
Może on szepnąć Carowi, że tu w małej wiosce....
Podpisuję się obiema rękami pod tytułem tego artykułu.
Oraz pod wytłuszczonym fragmentem ostatniego zdania.