Ocenianie jakości treści naukowych wyłącznie po tym, gdzie się ukazały, jest niezgodne z międzynarodowymi rekomendacjami dotyczącymi metod ewaluacji nauki. Dlaczego nie przystępujemy do europejskiej platformy publikacyjnej Open Research Europe, tylko cementujemy „punktozę”? Dlaczego akceptujemy system, w którym instytucji naukowych nie stać na dostęp do części wyników ich własnych badań?
Zdaniem Ministerstwa Nauki i Szkolnictwa Wyższego, lista czasopism punktowanych jest niezbędna. Jak przekonywano w czasie spotkania prezentującego efekty prac Zespołu ds. nowego modelu ewaluacji:
Polskie instytucje naukowe wypracowują w okresie 5 lat (…) około 700 tys. publikacji. Artykuły naukowe są oceniane (recenzowane) w czasopismach naukowych, zostały zatem poddane ocenie eksperckiej. Komisja Ewaluacji Nauki wraz z zespołem eksperckim nie jest w stanie ocenić wszystkich artykułów z uwagi na ich liczbę. Potrzebna jest zatem lista czasopism punktowanych oraz przyjęcie zasady tzw. dziedziczenia prestiżu, która polega na tym, że artykuł jest tak dobry jak czasopismo, w którym się ukazał.
Powyższa wypowiedź wydaje się opierać na trzech założeniach. Po pierwsze, że wszystkie teksty, które ukazały się w recenzowanych czasopismach naukowych podlegały już ocenie eksperckiej, której można zaufać. Po drugie, że skoro publikacji naukowych jest tak dużo, to niemożliwe jest ocenianie ich treści. Po trzecie, że można ocenić jakość artykułu, wedle tego, gdzie został opublikowany. Postaram się pokazać, dlaczego każde z tych założeń jest problematyczne.
Przeciwko zasadzie dziedziczenia prestiżu
Zacznijmy od końca, a więc od tzw. zasady dziedziczenia prestiżu. Ocenianie jakości treści naukowych wyłącznie po tym, gdzie się ukazały, jest niezgodne z międzynarodowymi rekomendacjami dotyczącymi metod ewaluacji nauki. Do takich rekomendacji zaliczyć można The San Francisco Declaration on Research Assessment (DORA) czy postulaty Koalicji na Rzecz Poprawy Oceny Badań (Coalition for Advancing Research Assessment, CoARA). Punkt trzeci opracowanego w ramach tej CoARA Porozumienia w sprawie reformowania oceny badań (Agreement on Reforming Research Assessment) nawołuje do zaprzestania oceny wyników na podstawie wskaźników związanych z miejscem publikacji. Porozumienie to zostało podpisane przez wiele zagranicznych oraz polskich instytucji naukowych. Jest ono także popierane przez Komisję Europejską i Europejską Radę ds. Badań Naukowych (European Research Council, ERC).
Ważnym przejawem międzynarodowych starań na rzecz odchodzenia od zasady „dziedziczenia prestiżu” jest platforma Open Research Europe. ORE to platforma umożliwiająca publikowanie recenzowanych artykułów naukowych beneficjentom grantów europejskich w otwartym dostępie – bez opłat dla autorów czy czytelników. Platforma ta celowo nie występuje o wyliczenie jej współczynnika wpływu (Impact Factor). Dlaczego? Jak czytamy na stronie ORE: „Komisja Europejska jest częścią rosnącej liczby organizacji, którym zależy na wspieraniu (…) przekonania, że to wewnętrzna wartość tego, co publikowane, udostępniane i ponownie wykorzystywane, jest ważna, w przeciwieństwie do miejsca, czasopisma lub platformy, gdzie artykuł został opublikowany.”
W marcu tego roku ogłoszono rozszerzenie ORE. Na tej, zarządzanej przez CERN, platformie będą mogli publikować za darmo już nie tylko beneficjenci grantów ERC czy Horyzont, ale także badacze z 11 krajów (Austrii, Francji, Niemiec, Włoch, Holandii, Norwegii, Portugalii, Słowenii, Hiszpanii, Szwecji i Szwajcarii). Polska jak na razie nie przystąpiła do tego projektu. Zamiast tego – tworząc kolejną listę czasopism punktowanych w oparciu o wskaźniki wpływu periodyków naukowych – cementujemy tzw. punktozę. Tworzymy system, który stawia w centrum uwagi pytanie o to „ile punktów daje artykuł” i gdzie się ukazał, zamiast pytania o to, o czym on jest, co wnosi, dlaczego warto go przeczytać.
Odejście od zasady dziedziczenia prestiżu i listy czasopism punktowanych było także postulatem Zespołu doradczego MNiSW ds. nieuczciwych praktyk publikacyjnych. W raporcie końcowym prac tego zespołu czytamy: „Ocena wyrażona w obecnych punktach jest niewłaściwa, bowiem przedmiotem prestiżu i wartości naukowej jest to, co jest napisane, a nie gdzie” (str. 11). I dalej: „Przeprowadzenie ewaluacji według obowiązujących kryteriów, szczególnie punktowanej listy czasopism i wydawnictw, w żadnej mierze nie oddaje obrazu nauki, tylko pokazuje strategie dostosowania się jednostek do obowiązujących przepisów (str. 14)”.
Masz pieniądze, masz dostęp do wiedzy
Skąd więc w ogóle pomysł na zasadę dziedziczenia prestiżu? Miejsce publikacji może być w wielu przypadkach trafnym wskaźnikiem zastępczym (proxy) jakości artykułu. Po pierwsze, do najbardziej rozpoznawalnych czasopism składanych jest wiele artykułów, jeśli więc dany tekst zostanie w jednym z nich opublikowany, to często oznacza, że przeszedł przez gęste sito selekcji. Po drugie, w zespołach redakcyjnych najbardziej znanych czasopism często zasiadają uznani eksperci, a proces recenzji prowadzony jest rzetelnie. Po trzecie, publikacja w prestiżowych czasopismach, w przeciwieństwie do publikacji w lokalnym mało znanym periodyku, ułatwia włączenie się do międzynarodowego dialogu naukowego, ponieważ artykuł w topowym czasopiśmie staje się bardziej widoczny dla ekspertów z danej dziedziny.
Jednak zbytnie koncentrowanie się na rankingach czasopism naukowych przyczyniło się do wielu istotnych problemów współczesnej nauki. Przede wszystkim chodzi o otwarty dostęp do wyników publicznie finansowanych badań. Nakładane przez wydawców paywalle stwarzają niepotrzebne i nierówne bariery dla badaczy i studentów. Publiczne wydatki na program Wirtualna Biblioteka Nauki, zapewniający m.in. dostęp do części światowej literatury naukowej poprzez uniwersyteckie subskrypcje biblioteczne, sięgają ponad 230 milionów złotych rocznie. Oligopolistyczna pozycja największych wydawców czasopism naukowych pozwala im dyktować wysokie ceny. Wydatki te jednak i tak nie starczają na to, aby zapewnić polskim instytucjom badawczym dostęp do wszystkich czołowych tytułów czasopism naukowych. Jest to szczególnie kuriozalne, gdy dotyczy braku dostępu do publikacji wyników badań prowadzonych w polskich instytucjach.
Choć nie każdy artykuł wzbudzi równe zainteresowanie szerokiej publiczności, nie ma powodu, aby odmawiać podatnikom dostępu do wyników badań finansowanych z publicznych pieniędzy. W zależności od dziedziny, wiele publikacji naukowych zawiera cenne informacje dla osób, które często nie mają dostępu do akademickich subskrypcji bibliotecznych – nauczycieli, pacjentów, dziennikarzy czy przedsiębiorców. W ramach tzw. zielonej drogi otwartego dostępu (green open access), niektóre publikacje można znaleźć za darmo w uczelnianych repozytoriach – nadal jednak nie wszystkie. Sam proces wyszukiwania na własną rękę może być czasochłonny, ale pomagają w nim rozwijane przez organizacje non profit automatyczne rozwiązania takie jak np. Unpaywall i inne narzędzia otwartego dostępu.
Problemem jest także wydawanie publicznych środków na wysokie marże wydawców czasopism naukowych. Najwięksi wydawcy to komercyjne firmy, które nie wnoszą do nauki wiele, a ich zyski opierają się na darmowej pracy akademików (autorzy artykułów naukowych nie dostają wynagrodzenia za publikację, a recenzje przygotowywane są nieodpłatnie). Ważnym źródłem przychodu tych firm są opłaty za publikowanie w otwartym dostępie. W modelu zwanym złotą drogą (gold open access) to autor musi zwykle zapłacić za to, aby jego tekst był dostępny bez barier na stronie czasopisma. Opłaty za opublikowanie jednego artykułu w otwartym dostępie to nierzadko koszt około 3 tysięcy euro. Wszystko to razem tworzy niesprawiedliwy system, w którym dostęp do wiedzy naukowej lub możliwość otwartego dzielenia się efektami własnej pracy, zależy od zamożności badacza lub jego instytucji.
Co więcej, zasada dziedziczenia prestiżu opiera się na założeniu, że rankingi czasopism oparte na wskaźnikach cytowalności trafnie oddają wartość samych czasopism. Rankingi stwarzają samospełniające się przepowiednie: tytuły, które znajdują się w nich najwyżej dostają wiele tekstów, z których mogą wybierać. Kiedy redakcje naukowe tych czasopism odchodzą od komercyjnych wydawców (np. w proteście przeciwko zbyt wysokim opłatom za open access, jak miało to miejsce w przypadku czasopisma NeuroImage) i zakładają nowe czasopisma prowadzone przez tych samych ekspertów, nowe tytuły muszą liczyć się z dużo mniejszą rozpoznawalnością, a często przez jakiś czas są wręcz nieobecne w rankingach. Wielu badaczy nie wie o ich istnieniu, a ci którzy wiedzą, mogą obawiać się publikacji w nich ryzykując utratę punktów.
Jeszcze poważniejszym problemem dla zasady dziedziczenia prestiżu jest fakt, że wskaźnikami cytowalności da się manipulować, co odsyła nas do pierwszego założenia z cytowanej na początku tego artykułu wypowiedzi.
Ocena ekspercka nie zawsze godna zaufania
Jak pokazali Tomasz Żuradzki i Leszek Wroński, w 2023 roku w dziesiątce najlepszych czasopism z filozofii wedle topowych światowych rankingów, w tym w bazie Scopus, znalazło się kilka tytułów czasopism-wydmuszek (fake journals), publikujących w dużej mierze automatycznie wygenerowane artykuły, które cytując siebie nawzajem trafiły na szczyty rankingów. Czasopisma drapieżne pojawiają się w każdej dyscyplinie nauki i część z nich jest indeksowana w takich bazach, jak Scopus.
Na dotychczasowej polskiej liście czasopism punktowanych także nie brakuje tytułów o bardzo wątpliwej reputacji. Jak czytamy w raporcie końcowym Zespołu doradczego MNiSW ds. nieuczciwych praktyk publikacyjnych: „duża liczba punktów (100, 140) przypisana jest często czasopismom mało prestiżowym, stosującym wątpliwe etycznie standardy publikacyjne, a nawet »drapieżnym« (…). W powiązaniu z presją publikacyjną, sprawia to, że badacze decydują się na publikowanie w słabych, ale wysoko punktowanych publikatorach, a instytucje naukowe wspierają taką praktykę” (str. 18). Podobne konkluzje pojawiają się w zagranicznych publikacjach naukowych omawiających skutki powiązania systemu ewaluacji nauki z bazą Scopus – może to tworzyć system, w którym czasem publikowanie w czasopiśmie drapieżnym się opłaca.
W dobie rozkwitu czasopism drapieżnych oraz papierni (paper mills) nie można zakładać, że redakcje wszystkich periodyków, które są indeksowane w bazach czasopism naukowych, faktycznie dbają o jakość publikowanych w nich artykułów. Część z nich to w istocie strony internetowe, które publikują wszystko zarabiając na opłatach za otwarty dostęp.
Niektóre z zapowiedzianych zasad tworzenia nowej listy czasopism punktowanych mają odpowiadać na opisane wyżej problemy. Chociaż „około 90% całej listy czasopism będzie kształtowane w oparciu o ocenę bibliometryczną”, ma być wprowadzona możliwość usunięcia z listy czasopism punktowanych „periodyków niespełniających standardów etycznych lub naukowych”. Nie wiadomo jednak, wedle jakich kryteriów będzie to możliwe.
Narzędzie faworyzowania „swoich” czasopism?
Najmocniejszy argument na rzecz listy punktowanych czasopism naukowych dotyczy kwestii organizacyjnych. Ewaluacja jakości publikacji wedle wskaźników bibliometrycznych czasopism jest prawdopodobnie tańsza i szybsza niż ocena ekspercka treści tych artykułów.
Dlaczego jednak zakładać, że eksperci musieliby przeczytać wszystkie 700 tys. publikacji, aby ocenić poziom instytucji, w których pracują ich autorzy? Ośrodki naukowe mogłyby wskazywać do oceny mniejszą liczbę osiągnięć, albo ocenie eksperckiej mogłaby podlegać losowana pula tekstów z bazy wszystkich osiągnięć.
Chociaż ocena ekspercka osiągnięć naukowych może być droższa niż ocena wedle listy czasopism punktowanych, to samo stworzenie listy czasopism także kosztuje czas i pieniądze. Jak tłumaczyli członkowie Komisji Ewaluacji Nauki: „z baz wskazanych w rozporządzeniu pobranych zostanie ponad 100 tys. czasopism, trzeba będzie podjąć decyzje odnośnie do ok. 5 tys. tytułów z mniejszych baz (dołączenie do wykazu, akceptacja propozycji ekspertów), należy określić dyscypliny, w ramach których funkcjonują periodyki, wreszcie około 3 tys. czasopism musi przejść odrębną ocenę ekspercką. W sumie klasyfikacja obejmie około 35 tys. pozycji.” Ile artykułów z nieznanego wcześniej czasopisma trzeba przeczytać, aby ocenić „poziom merytoryczny artykułów naukowych publikowanych w czasopiśmie naukowym”? Z iloma osobami warto byłoby skonsultować „rozpoznawalność czasopisma naukowego”?
W aktualnym systemie obawy o to, że ocena ekspercka będzie zbyt subiektywna, przypadkowa lub stronnicza nie znikają – dotyczą one jednak nie oceny poszczególnych osiągnięć, a procesu tworzenia wykazu czasopism. O tym, że ministerialna lista może stać się narzędziem faworyzowania „swoich” czasopism mogliśmy się już przekonać w przeszłości.
Oczywiście ocena ekspercka samych osiągnięć także narażona jest na to ryzyko. Dlatego powinna mieć jasno określone, transparentne i dopasowane do danej dyscypliny kryteria. Kluczowe jest także opracowanie mechanizmu wyboru międzynarodowych ekspertów tak, by minimalizować ryzyko stronniczej oceny. Wskaźniki bibliometryczne mogłyby być brane pod uwagę jako element takiej oceny. Jednak do oceny wpływu danego artykułu, lepszym narzędziem będzie liczba cytowań tego właśnie artykułu, a nie czasopisma, w którym się ukazał. W wielu krajach nie ma czegoś takiego jak jedna, krajowa lista czasopism punktowanych. Istnieją alternatywy.
Za późno na zmiany?
Konsultacje społeczne zmian w kolejnej ewaluacji już się skończyły. Obecnie funkcjonujemy w systemie, którego szczegółowe reguły wciąż nie są znane – nowa lista czasopism punktowanych ma być ogłoszona po wakacjach, ale będzie obowiązywać wstecz.
Może do czasu kolejnych konsultacji społecznych w sprawie zmian w systemie ewaluacji w środowisku naukowym uda się dojść do konsensusu chociaż w tej jednej sprawie, że: ocena jakości wyników badań nie powinna zależeć wyłącznie od tego, GDZIE te wyniki zostały opublikowane?
dr Emilia Kaczmarek, Zakład Etyki
Wydział Filozofii Uniwersytetu Warszawskiego
(śródtytuły od redakcji)
Podpisuję się obiema rękami pod tytułem tego artykułu.
Oraz pod wytłuszczonym fragmentem ostatniego zdania.