Zasady ewaluacji działalności naukowej powodują pewną adaptację strategii publikacyjnej naukowców, wpływając również na wydawców. Systemy oceny nie tylko zatem mierzą „zachowania” naukowe, ale i je współtworzą. Może to sugerować istnienie strukturalnego konfliktu interesów – przekonują dr hab. Ireneusz Sadowski z Instytutu Studiów Politycznych PAN oraz dr hab. Łukasz Zamęcki z Uniwersytetu Warszawskiego.
W artykule „Endogeny in measuring research excellence. In-house publishing and conflict of interests in Polish science evaluation” przedstawiliśmy wyniki naszych badań nad wpływem treści wykazów Ministerstwa Nauki i Szkolnictwa Wyższego na praktyki publikacyjne w wybranych dyscyplinach nauk społecznych i humanistycznych. Udokumentowaliśmy w nim, że wykazy te silnie oddziałują na wzory publikacji, stanowiąc w istocie system zachęt do wybierania jednych ścieżek publikacyjnych kosztem innych. Jednym słowem, ministerstwo ma w swoich rękach narzędzie skutecznego wskazywania naukowcom, jak mają dyseminować swoje wyniki. Problem polega jednak na tym, że owo narzędzie generuje jednocześnie dość klarowne konflikty interesów.
W badaniu oparliśmy się na danych z ewaluacji przeprowadzonej w 2022 roku oraz na samodzielnym kodowaniu zawartości wybranych czasopism. Ze względu na pracochłonny charakter drugiego elementu badania, wybraliśmy do próby kilkadziesiąt kluczowych tytułów z czterech dyscyplin naukowych (historia, nauki o polityce i administracji, nauki prawne, nauki socjologiczne), kodując manualnie prawie 20 tysięcy opublikowanych w nich artykułów. Wybrane dyscypliny stanowiły dla siebie – z powodów o których dalej – ważny punkt odniesienia.
Wedle wykazów MNiSW z 2021 roku w Polsce wydawanych było zaledwie 8% czasopism z zakresu nauk społecznych i humanistycznych. Tymczasem do dorobku ewaluacyjnego wybranych dyscyplin trafiło od 74 do 92% artykułów z rodzimych periodyków. Skupienie na obiegu krajowym miało więc wymiar ogromnej nadreprezentacji – wręcz stłoczenia. Co znamienne, odsetek ten był tym wyższy, im większa była w danej dyscyplinie liczba czasopism, którym ministerstwo przyznało co najmniej 100 punktów. Krótko mówiąc – już wstępne wyniki mocno sugerowały, że resort posiada rodzaj „pokrętełka”, którym może zwiększać lub zmniejszać zakres, w jakim jednostki oceniane są na podstawie dorobku krajowego.
Ale może to tylko korelacja, a nie kauzacja? Aby to rozstrzygnąć, prześledziliśmy wzory publikowania w 67 czasopismach, które miały największą wagę dla łącznego wyniku ewaluacji (najczęściej pojawiły się w kartach oceny jednostek). Analizowaliśmy wszystkie opublikowane tam oryginalne prace badawcze w sekwencji ich ukazywania się, a także publikowanie endogeniczne (inaczej – wsobne, tj. w czasopiśmie wydawanym we własnej jednostce lub prowadzonym przez redaktora z własnej jednostki).
Po pierwsze, ogólna liczba publikacji rosła wraz ze zbliżaniem się do zakończenia okresu objętego oceną MNiSW – numery stawały się coraz bardziej „pojemne” (zwłaszcza w prawie i historii). Wyjątek stanowiła socjologia, dla której wykaz realnie ujmował tylko jedną krajową „setkę” (lista relatywnie mocniej „wypychała” więc autorów do zagranicznych tytułów – co tłumaczy najniższy odsetek publikacji krajowych: 74%). W roku po zamknięciu okresu rozliczeniowego (tj. w 2022) pojemność numerów wyraźnie spadła.
Po drugie, w 61 na 67 zbadane czasopisma publikacje wsobne stanowiły od 10% do ponad 70% wszystkich artykułów. W każdym z tych przypadków oznacza to nadreprezentację tekstów własnych autorów nad tymi z innych jednostek – albo wyraźną, albo wręcz gargantuiczną. W efekcie ministerstwo przyznając punkty czasopismom krajowym daje niejako rękojmię wyższej kategorii ich akademickim wydawcom.
Po trzecie, najsilniejszym predyktorem publikacji wsobnej był zakres kontroli nad czasopismem. Stosunek szans był średnio aż trzykrotnie wyższy (sic!) tam, gdzie kontrola była najpełniejsza (jednostka finansowała wydawanie, a redaktor naczelny był jej pracownikiem). Największe różnice pomiędzy czasopismami o kontroli skupionej i rozproszonej zanotowaliśmy w naukach prawnych. Wypada też nadmienić rzecz może oczywistą – nie wszystkie jednostki naukowe mogły cieszyć się kontrolą nad własnymi, wysoko punktowanymi tytułami.
Po czwarte, dodatkowych argumentów na temat przyczynowości dostarcza fakt, że moment podwyższenia punktów przez MNiSW miał ewidentny wpływ na zmianę wzoru publikacyjnego – badacze i czasopisma wyraźnie dyskontowali niedawne wzrosty wartości przypisanych przez ministerstwo. Podsumowując, mocnych poszlak na instrumentalne oddziaływanie zmian wykazów jest zbyt wiele, aby uznać je za przypadkowe.
Planując nowe wykazy wydawnictw i czasopism, ministerstwo musi zdawać sobie sprawę, że mimo formalnej swobody wyboru sposobu dyseminacji rezultatów badań, w istocie to nie pojedynczy badacze, redakcje czy jednostki decydują o ich łącznym charakterze. To resort nauki ustanawia system silnych, formalnych zachęt i wykluczeń – i powinien to zrobić precyzyjnie i odpowiedzialnie. Systemy ewaluacji nie tylko mierzą „zachowania” naukowe, ale je również współtworzą. Nie ma wszak, samo przez się, niczego złego w publikowaniu wyników w lokalnym uniwersyteckim biuletynie (to wręcz chwalebne!). Odrębną kwestią jest to, czy na tej podstawie MNiSW nada jednostce większe uprawnienia i finansowanie. Gdy jednostkę naukową ustawia się za pomocą oficjalnych wykazów w roli sędziego we własnej sprawie, ewaluacja staje się po części listkiem figowym dla stronniczej decyzji administracyjnej.
Ireneusz Sadowski, Łukasz Zamęcki
Kluczową kwestią w robieniu reform jest chyba tylko kompetencja i organizacyjna sprawność polityków w konkretnej sprawie. Bo nawet ten sam polityk może podjąć działania diametralnie różne. Idealnie to widać porównując trzy sprawy: Algorytm subwencji, Ustawa 2..0, Ewaluacja. W pierwszej kwestii: jakiś zespół (nawet nie wiem kto, mogę sobie tylko przypuszczać) pracuje w absolutnej izolacji od otoczenia, pod nadzorem bardzo sprawnego wiceministra (prof. Czerwińska). Pojawia się projekt, całkiem dobry choć daleki od ideału, nikogo zbytnio nie słuchano (chociaż jak czytam swój krótki komentarz "Nowy algorytm. Zanosi się na wielkie zmiany", to może ktoś to przeczytał, będę musiał kiedyś sprawdzić chronologię zdarzeń, czy już wtedy czy trochę później), odbębniono konieczne konsultacje i publikacja Rozporządzenia. Mało kto był w stanie nawet się zorientować, a już na pewno nie zrobił tego żaden rektor tych uczelni, którym algorytm zagrażał (niektórzy nie zrobili tego po dziś dzień, co nawet mnie trochę dziwi). .
W drugiej kwestii, niestety centralnej dla ministra, wielki show, rządowy konkurs grantowy na projekt ustawy, finansowano prace trzech zespołów, których projekty szybko wyrzucono do kosza (i dobrze, bo były bardzo już zupełnie "odjechane", może gdyby wzięto zespół czwarty, to można by się było na czymś oprzeć), potem cykl wielkich i szumnych konferencji NKN, nie wiem, czy mających jakikolwiek wpływ na powstający dość eklektyczny i niespójny produkt. Potem skuteczne przepchanie, nawet nie słuchając rozsądnych głosów we własnym środowisku.
Trzecia sprawa, ewaluacja, została uczyniona przez Ustawę fundamentem systemu (w miejsce stopni, tytułów i minimów kadrowych), a była jego najsłabszym ogniwem, i wciąż jest, bowiem ewaluację pozostawiono bez większych zmian (dorzucono jakieś nowe elementy, np. sloty czy progi, ale w dość przypadkowy sposób, zwykle wręcz błędny, nawet szkoda wnikać w chronologię tych zmian). Może już zabrakło czasu i energii, aby podjąć to poważne wyzwanie (może trudno się dziwić, teraz rząd wygląda na bardziej zmęczony, a nie ma nawet po czym "odpoczywać"). Dobrze chociaż, ze w polskim systemie szkolnictwa wyższego, algorytm dotacji czy subwencji jest od ponad 30 lat elementem ważniejszy niż Ustawa (a w Ustawie, na szczęście, zapisano, że algorytm musi być, choć niewiele brakowało, żeby tych paru linijek zabrakło). W zasadzie zawsze był dobry (teraz już wiem, że "lepsze jest czasem wrogiem dobrego"), tyle, że spóźniono się z jego zmianą o jakieś 10 lat. Albo raczej: przez te 10 lat usiłowano go zmienić (nowelizacje prawie co rok), ale nie udało się.
Na końcu artykułu (Podnoszenie poziomu badań czy wyścig o punkty?) opisałem propozycję narzędzia pomiarowego (mechanizm sprzężenia zwrotnego) do korygowania punktacji czasopism. Na liście "scopusowej" powinno to działać nieźle, ale nie miałem prostego pomysłu na listę polskojęzyczną.
Przedstawione tu wyniki badań to bardzo dobra wiadomość w tym kontekście (na zasadzie, że rażące patologie najłatwiej poprawić, i to na wiele sposobów). Wystarczy ten sam mechanizm: obniżać (wstecznie) punktację polskim czasopismom jeśli empirycznie, post factum, zaobserwujemy nadmierny wzrost publikacji wsobnych. Jest to niezły wskaźnik niskiej jakości procesu recenzyjnego. Oczywiście, jak się potworzą "spółdzielnie" kilku uczelni, to i to można ogarnąć analizą wsteczną, ale na początek wystarczy sprawdzić jak działa najprostszy wariant. I tak będzie o niebo lepiej niż jest obecnie.
Prawdę mówiąc, jak ktoś pozyska dane i je przeanalizuje, to miniona ewaluacja jest rewelacyjnym materiałem empirycznym do ustalenia sensownej listy polskiej już dziś :)
Jest tylko problem z pozyskaniem danych. W takim MDPI to można ocenić dowolne czasopismo pod tym kątem w minutę (mają świetną wyszukiwarkę), co daje bardzo interesujące wnioski wstępne. Inne koncerny pewnie też jakoś da się ogarnąć. Ale czy ktoś jest w stanie przeczesać polski internet pod tym kątem? Bo ja nie. Nawet wyrywkowo mi się nie udało. Nie trafiłem na żadne polskie wydawnictwo (z tych, które mnie zaciekawiły), aby było choć trochę transparentne (może autorom tej publikacji się to udało?).
Ale gdyby Minister powiedział "bez takiej statystyki (dotyczącej afiliacji), na przestrzeni kilku czy kilkunastu lat, nie dam żadnych punktów, to myślę, że polscy wydawcy zrobią wszystko, aby Minister miał to na biurku, choćby w tydzień. Najwyżej będą liczyć ręcznie, sztuka po sztuce. Byle tylko w Excel wrzucili , aby Ministerstwu nie utrudniać życia.
Tytuł jest zbyt łaskawy dla obecnych reguł ewaluacji. Żaden przedstawiciel nauk eksperymentalnych nie nazwał by "narzędziem" tego, co nawet raz nie było przetestowane, co nawet nie ma grama teoretycznych podstaw. Usiłowałem tę myśl przekazać dwa lata temu, chyba bez większego odzewu ("Podnoszenie poziomu badań czy wyścig o punkty?" FA, grudzień 2023). Teraz mamy wręcz zaskakujący marazm obecnych władz (myślałem, że choć chęć zdobycia "politycznych punktów" kosztem minionej władzy, pobudzi ich do działania). A przecież to już trzeci rok ich rządów, ministrowi Gowinowi wystarczył dokładnie JEDEN rok (aż musiałem sprawdzić daty) , aby ogłosić nowy algorytm, całkiem niezły i natychmiast realizujący postawiony cel (zastopowanie "pogoni za studentem"), którego siłę oddziaływania na system można porównać z tsunami, a po kolejnych dwóch latach przepchnął już mniej udany produkt, Ustawę, której nawet jego większość sejmowa była mocno przeciwna. Szkoda, że się nie wsłuchał w ich głosy.
Jednak, nie ma tego złego.... Dzięki temu marazmowi po raz pierwszy w historii będzie można porównać wyniki dwóch kolejnych ewaluacji, robionych prawie tym samym narzędziem (chodzi o to, że przynajmniej surowe dane są w miarę identyczne; jeśli je udostępnią, to można spróbować postawić jakieś hipotezy, co do tego narzędzia, będzie też jakąś podstawa do sugerowania zmian).
Świetny tekst i bardzo potrzebna analiza.
Takie rzeczy powinni czytać w ministerstwie a nie 'wsłuchiwać się w głos środowiska' i oceniać wartość czasopism 'demokratycznie'.
"Wedle wykazów MNiSW z 2021 roku w Polsce wydawanych było zaledwie 8% czasopism z zakresu nauk społecznych i humanistycznych. Tymczasem do dorobku ewaluacyjnego wybranych dyscyplin trafiło od 74 do 92% artykułów z rodzimych periodyków. "
Muszę przyznać, że dla mnie osobiście ta informacja jest dosyć szokująca.
Dlaczego szokująca?
@MB
Może najlepiej tłumaczy to moje zdziwienie następne zdanie z artykułu:
"Skupienie na obiegu krajowym miało więc wymiar ogromnej nadreprezentacji – wręcz stłoczenia."
Ciekawi mnie również, jaki odsetek pism z tej grupy "obiegu krajowego" jest wydawany po angielsku.
Ja wiem co szokuje, dziwi mnie tylko, że szokuje. A to dlatego, że humaniści wciąż uważają, że publikacja to monografia. Ba, znam takich, którzy twierdzą, że rozdział w monografii zbiorowej to artykuł.
A co do angielskiego, to obstawiam, że mówimy o wartościach espilonowych.
Publikowanie w czasopiśmie wydawanym przez własny wydział, w którym koledzy zasiadają w redakcji i recenzują, nie powinno się liczyć w ewaluacji.
Już powstają agenci AI, którzy będą generować artykuły naukowe na poziomie 1Q z scopusa. Biznes wydawniczy może się obawiać o swoją przyszłość i EBITDA.
Oj, Panie Humanisto: właśnie dostarczyłeś kolejnego (ostatecznego ?) dowodu na to, że:
1. Humaniści mają zerowe pojęcie o publikowaniu.
2. Humanistyka to nie nauka.
Może z nauk humanistycznych czy społecznych można z ogólnie dostępnych danych "napisać" z AI artykół bo w "science" trzeba przeprowadzić najpierw badania naukowe (najczęściej obliczeniowe lub eksperymentalne) a dopiero potem "generować" artykuł. Jeżeli badań się nie przeprowadzi to trzeba je zmyślić a to już nie jest artykuł naukowy.
"Jeżeli badań się nie przeprowadzi to trzeba je zmyślić a to już nie jest artykuł naukowy."
A Pan/i to z "science"? No to proszę spojrzeć np. na to:
https://www.sciencedirect.com/science/article/pii/S1385894724073777?via%3Dihub
https://pubpeer.com/publications/98CF3CE3B76339857710A3315617B8
Widma narysowane w Corelu albo w Paincie, obrazy z mikroskopu elektronowego ukradzione albo skopiowane ze swoich innych publikacji (do których zapewne też zostały ukradzione). Można? Można. Jest artykuł? Jest artykuł. Tylko, że ten raczej nie został zgłoszony do ewaluacji, bo uległ retrakcji na 6 tygodni przez zakończeniem raportów jednostek. Niewtajemniczonym wyjaśnię, że Chemical Engineering Journal ma 200 pkt. na naszej liście, a więc nie tylko Pedagogika Katolicka. Zagraniczne czasopisma z IF>10 to też mogą być szmatławce.
Ten jeden artykuł zdążył być wycofany przed ewaluacją, ale zapewne dziesiątki-setki nie, co powoduje, że ewaluacja oparta o bzdurne punkty będzie jeszcze bardziej bez sensu.
Ale proszę zauważyć, że ona byłaby tak samo bzdurna, gdyby użyć IF. Wszystkie artykuły w STOTEN (650 w latach 2022-2025) będą liczone za 200 pkt. Na niektórych uczelniach przyznawano za to nagrody po 10000 (słownie dziesięć tysięcy) zł. Podobnie Chemical Engineering Journal, Journal of Hazardous Materials, etc., choć w tych przypadkach musimy się jeszcze trochę postarać, żeby wyleciały z Journal Master List.
Co by nie mówić o naukowcach to trudno im zarzucić, iż nie dostrzegają relacji poniesionych nakładów do rezultatów mierzonych w punktach z listy ministerialnej, jest oczywiście części, dla których etyka ma również znaczenie ale to część na wymarciu. Zatem koń jaki jest każdy widzi!
Abstrahując od wydawnictw krajowych, czy ktoś zwrócił uwagę, że przychody i zysk Elseviera są na poziomie nieomal takim jak Orlenu w najlepszym roku, przy czym zysk ten stanowi 50% przychodu. To są naprawdę kolosalne pieniądze uzyskiwane kosztem darmowych lub wręcz płacących autorów, darmowych recenzentów i w większości darmowych redaktorów, a także instytucjonalnych subskrybentów. To, w mojej opinii, tłumaczy wściekłą nagonkę m.in. na MDPI i równie fanatyczną mitologizację rzekomej jakości czasopism "starych wydawców". To jest walka o utrzymanie pozycji oligopolu żerującego na aktywności badawczej. Wielu zmanipulowanych decydentów dalej ma fałszywą świadomość sytuacyjną, a pozostali decydenci pełnią ochoczo rolę samozwańczych gatekeeperów. Gdzie ich korzyści? W poczuciu bezkarności! Torres z UMLubu jako wiceszef PKA, wiceszef RDN zaś przewodniczy komisji szemranej habilitacji w IBE.
To niestety smutna prawda. Oligopol wielkich wydawców, w których rękach znajduje się przeważająca większość punktowanych czasopism, wciąż ma się dobrze. Do ogromnych pieniędzy za subskrypcję doszło przecież nowe źródełko w postaci APC za open access, co kompletnie wynaturzyło ideę otwartej nauki. Zaczęła się ona kojarzyć badaczom głównie z dużymi pieniędzmi, które należało zapłacić za publikację. Elsevier - największe z tych wydawnictw, ma profit margin prawie 40% - nawet Alphabet (Google) tyle nie ma! Dodatkowo jeszcze te same firmy ustalają współczynniki wpływu czasopism, których są właścicielami i my - akademicy - traktujemy te współczynniki jako referencyjne. Niestety, jest to system patologiczny i należałoby go zaorać. Ale kto się odważy?
Artykuł opublikowany w październiku 2024, tekst w FA w lutym 2026. Szanuję pracę, ale można było się pokusić, zrobić cz.2 z danymi za lata 2022-26
2022-25*
Jaki tu jest PODSTAWOWY PROBLEM. Oczywiście gdzie wyniki badań są publikowane. A podstawowy problem leży gdzie indziej. ---- CO JEST PUBLIKOWANE, JAKA JEST JAKOŚĆ BADAŃ NAUKOWYCH I ICH PUBLIKACJI. A to jest raczej mało istotne dla korporacji wydawniczych- dla nich ważna jest opłata publikacyjna 4000 $. I więcej. Zysk musi być. Zbudujmy własnego Springera czy Elseviera . Wydajemy miliard złotych na obce wydawnictwa.
Bzdury opowiadacie, Panie Humanisto, o tych kosztach publikowania. Mi w tym roku (kalendarzowym) zaakceptowały się już dwie publikacje, których łączny koszt to 0 (PLN/USD/Euro/whatever).
Co do postulatu budowy, to ta humanistyczna czcza gadanina fantastycznie została opisana w Rejsie (że zacytuję): "(...) Zgadzam się z przedmówcą, przejdźmy od słów do czynów. Chciałem powiedzieć kilka słów".
Jeżeli publikujesz za darmo to znaczy, że zrzekaaz się praw do swojej pracy wykonanej za publiczne pieniądze. Twój artykuł będzie dostępny odpłatnie. No chyba, że nie wiesz, że Ministerstwo wykupiło pulę artykułów Open i faktycznie nie płacisz, bo już zapłacono. Nie ma nic za darmo.
Proponuję nie mieszać porządków:
1. Opłata za opublikowanie ponoszona przez autora.
2. Opłata za dostęp do tekstu ponoszona przez czytelnika.
Ireneusz mówi o tym pierwszym, a Ty a drugim.
Co do praw, to zrzeczenie się ich części majątkowej jest obowiązkowe bez względu na tryb publikowania (z OA lub bez). Prawa osobiste pozostają z autorem.
W końcu głos oparty na analizie. Ważny jest transfer wiedzy na temat standardów badawczych i praktyk publikacyjnych od starszych pokoleń naukowców do młodszych. Pytanie retoryczne: czy np. politolodzy z karierą w wydziałowych czasopismach (83%) nauczą młodych adeptów nauki, jak się robi badania na poziomie dobrych czasopism międzynarodowych? Silny czy słaby HS - to zależy…od Ministerstwa.
A ciekawe czy analizie poddano Zeszyty Naukowe z 2023 jednej naszej IDUBowej perełki (kiedy to chwilowo miały 100 punktów), kiedy to ich RedNacz był łaskaw w każdym wydaniu wrzucać po 3 swoje artykuły, a w każdym ponad setkę autocytowań?
Dla przykładu wydanie 179 (https://managementpapers.polsl.pl/?page_id=3650):
https://managementpapers.polsl.pl/wp-content/uploads/2023/11/179-Wolniak-1.pdf
https://managementpapers.polsl.pl/wp-content/uploads/2023/11/179-Wolniak-2.pdf
https://managementpapers.polsl.pl/wp-content/uploads/2023/11/179-Wolniak-3.pdf
Rozkoszne. A warto jeszcze zajrzeć tutaj, ciekawe czasopismo: Przyroda Śląska Opolskiego.
https://bazawiedzy.upwr.edu.pl/info/journalseries/UPWr6b9eba546806429aa11d1743a9fae126?ps=20&title=Czasopisma%2Bi%2Bserie%2B%25E2%2580%2593%2B%2B%25E2%2580%2593%2B
Uniwersytet%2BPrzyrodniczy%2Bwe%2BWroc%25C5%2582awiu+title&lang=pl&pn=1
Wydawane jest przez (zależnie gdzie się zajrzy) uniwersytet w Bloemfontein (południowa Afryka), lub przez uniwersytet w Windhoek (w Namibii), język polski, 90% zapełnia jeden samodzielny pracownik naukowy z Polski, będący redaktorem naczelnym. Co ciekawe, nie znalazłem strony internetowej tego czasopisma, natomiast strony tytułowe i spisy treści można je znaleźć na ResearchGate:
https://www.researchgate.net/publication/398664978_PRZYRODA_SLASKA_OPOLSKIEGO_NUMER_30_ROK_2024
Takiego czegoś, muszę przyznać, jeszcze nie widziałem w życiu.
"Po drugie, w 61 na 67 zbadane czasopisma publikacje wsobne stanowiły od 10% do ponad 70% wszystkich artykułów."
Ale dlaczego tak ogólnie? Które konkretnie jednostki miały najwyższy współczynnik publikacji wsobnych? Które dyscypliny?
Dalej twierdzimy, że trzeba zwiększać punktację polskich czasopism?
Naukowiec bada źródła. Proszę zobaczyć tabele będące załącznikami do publikacji - link do pracy jest w tekście tego artykułu.
Oczywiście. Tabele załączone widziałem, natomiast link do badań przeoczyłem, jednak czytanie na telefonie nie należy do najlepszych rozwiązań.
Po zerknięciu w tabelkę w publikacji źródłowej jestem jeszcze bardziej zdruzgotany tym, w jaki sposób publikuje się w tych dyscyplinach.