Sprawy nauki

17 Czerwca

Źródło: www.pixabay.com

Na ile zespołowo, na ile międzydyscyplinarnie

Punktoza długofalowo skutkuje zamianą etosu naukowego i dążenia do doskonałości na kulturę koniunkturalizmu i utowarowienie nauki. Do tego obowiązek opublikowania zaledwie kilku prac przez kilka lat jest demotywujący, zniechęca badaczy do dodatkowego wysiłku, zachęca do lenistwa, pozoranctwa i kombinowania – pisze w swojej analizie dotyczącej wzorców publikacyjnych w czasopismach prof. Przemysław Śleszyński z Instytutu Geografii i Przestrzennego Zagospodarowania PAN w Warszawie.

Jednym z początkowych założeń tworzenia listy czasopism dla potrzeb oceny parametrycznej 2017–2021 było przypisanie poszczególnych tytułów do dyscyplin. Lista z 21 grudnia 2021 r. składała się z 32 679 tytułów w 44 dyscyplinach. Z tego 30 tytułów było obecnych we wszystkich dyscyplinach (ale wynikało to z dopisania głównie lokalnych tytułów w końcowej fazie okresu ewaluacyjnego), 12 – w 20–24 dyscyplinach (w tym m.in. „Nature”, „Science” i „PLoS ONE”), 1007 – w 10–19 dyscyplinach, 9274 – w 5–9 dyscyplinach, 11 072 – w 3–4 dyscyplinach, 5782 – w 2 dyscyplinach i 5053 – w 1 dyscyplinie.

Już samo to zestawienie wykazuje wysoką międzydyscyplinarność, ponieważ tylko niespełna co 6 tytuł został ograniczony do jednej dyscypliny. Średnia dyscyplin przypadających na jeden tytuł wyniosła 3,9, a mediana 3. Wskutek m.in. szerokiego nacisku środowiska, wycofano się jednak z pomysłu dość sztywnego przywiązania czasopism do dyscyplin (w początkowych zamierzeniach gwarantowane było 20% publikacji poza własną dyscypliną).

Wykaz a wzorce publikacyjne

Zebrany materiał ewaluacyjny pozwala w przybliżeniu ocenić, w jakim stopniu badacze z różnych dyscyplin publikowali w czasopismach przyporządkowanych do własnej, a ile do innej („cudzej”) dyscypliny. Oczywiście pamiętać trzeba, że podział na dziedziny, a zwłaszcza na dyscypliny, stosowany w Polsce od 2018 r. (ze zmianami w 2022 r.) nie jest idealny i bywa nieraz krytykowany. Trzeba też podkreślić, że baza udziałów slotowych z ewaluacji 2017–2021 nie musi być reprezentatywna dla całości rynku publikacyjnego naukowców w Polsce z powodów, o których mowa dalej.

Powody wspomnianej wyżej specyfiki czasopism mogą być co najmniej cztery. Są to, po pierwsze, transdyscyplinarność problemowo-przedmiotowa wielu kierunków badawczych w stosunku do polskich rozwiązań klasyfikacyjnych (umowny nieraz podział na 44 dyscypliny), po drugie, interdyscyplinarność metodologiczno-instytucjonalna badań (wymagająca udziału badaczy z bardzo odmiennych nie tylko dyscyplin, ale i dziedzin), a po trzecie, obiektywne braki, wynikające z przeoczenia zespołów pracującymi nad przyporządkowaniem tytułów do dyscyplin. Ostatnim czwartym powodem może być celowe wyszukiwanie tytułów o wysokiej punktacji, w których potencjalnie łatwiejsze może być pozytywne przejście przez całą procedurę redakcyjno-recenzyjną, niż publikowanie w wiodących w swojej dyscyplinie/kierunku badawczym. W sumie bez bardziej pogłębionych badań trudno jest jednoznacznie ustalić, co było główną przyczyną publikowania poza własną dyscypliną, niemniej pewne prawidłowości i tendencje w czasie mogą wskazywać na większe bądź mniejsze prawdopodobieństwo określonych czynników.

Na tym tle celem niniejszego opracowania jest wykazanie, na ile i w jakich aspektach ustalone (na początku prac nad listą) wykazy czasopism były zbieżne z wzorcami publikacyjnymi w danej dziedzinie i dyscyplinie. Ocena tego i wnioski mogą być przydatne w nowej ewaluacji. Ostatnio I. Sadowski i Ł. Zamęcki w internetowym serwisie „Forum Akademickiego” prezentowali swoje badania, w których wskazywali na zmiany (adaptację) strategii publikacyjnej naukowców do wymogów oceny na podstawie listy czasopism. Również prezentowane tu wyliczenia pokazują istotne zmiany wzorców publikacyjnych w czasie stosunkowo krótkim, jak na naturalną ewolucję badań naukowych.

W opracowaniu wykorzystano bazę udziałów w tzw. slotach publikacyjnych, udostępnioną przez (ówczesne) Ministerstwo Edukacji i Nauki. Z bazy tej wyodrębniono 268,2 tys. udziałów w slotach publikacyjnych, dotyczących artykułów w czasopismach. Przyporządkowano je do tytułów z ministerialnej listy czasopism. Ponieważ w latach 2017–2018 obowiązywała inna punktacja, przypisano tam wartości obowiązujące w kolejnych latach (udało się to zrobić dla 97% udziałów). Natomiast z powodu różnic w zapisach tytułów czasopism nie udało się prawidłowo podłączyć 6,9% rekordów (udziałów w slotach), jednak ich zdecydowana większość dotyczyła czasopism spoza wykazu, tj. o wartości 5 pkt. Najwięcej tych nieskojarzonych rekordów było w naukach humanistycznych i społecznych (13–16%), co wydaje się logiczne z uwagi na ich bardziej lokalny charakter publikacyjny.

Siła adaptacji polskiej nauki?

Zestawienie dla dziedzin zawiera Tabela 1. Najwyższy odsetek prac opublikowanych w czasopismach poza dyscypliną odnotowano w naukach społecznych (21,1%), następnie w naukach inżynieryjno-technicznych (13,3%) i naukach humanistycznych (12,3%). Z kolei najniższe wartości charakteryzowały nauki medyczne/o zdrowiu (5,1%), weterynaryjne (5,5%) oraz rolnicze (6,8%). Średnia dla wszystkich dziedzin wyniosła 11,8%.

W poszczególnych dyscyplinach występowały duże zróżnicowania (Tabela 2). Rekordowo wysokie odsetki slotów spoza własnej dyscypliny odnotowano w psychologii (49,7%), naukach o bezpieczeństwie (43,3%) oraz w naukach o komunikacji społecznej i mediach (41,4%)

Jeśli chodzi o podział na grupy podmiotów, to wyniki uniwersytetów, politechnik, instytutów PAN i państwowych instytutów badawczych były do siebie dość zbliżone i wahały się w granicach 9,5–12,0% wartości slotów poza dyscypliną. Wyraźnie na tym tle odstawały jednak inne jednostki, wśród których znalazły się zwłaszcza uczelnie zawodowe i niepubliczne oraz akademie wychowania fizycznego (22,2%).

We wszystkich dziedzinach udział zgłoszonych za lata 2017–2021 osiągnięć publikacyjnych w postaci artykułów wieloautorskich rósł (ryc. 1). Najbardziej miało to miejsce w naukach humanistycznych (wzrost prawie trzykrotny, z 5,2 do 14,2%) i społecznych (z 22,1 do 45,5%). Tak szybki przyrost, z wielu względów pożądany przy znaczącej części typów badań (np. eksperymentalnych, terenowych), trudno jednak wytłumaczyć jedynie naturalnym procesem wzrostu znaczenia badań zespołowych, zwłaszcza w naukach, w których miało to w Polsce miejsce już wcześniej (nauki medyczne i ścisłe). Podobnie trudno wytłumaczyć ponad dwukrotny wzrost publikacji wieloautorskich w dyscyplinach od dawna ugruntowanych jako „samodzielne”.

W powyższym kontekście warto przytoczyć badania ogólnoświatowe za lata ok. 1960–2000 (Wuchty i in., 2007). Wzrost udziału publikacji zespołowych w naukach społecznych z poziomu ok. 20% do ok. 50% zajął 40 lat (1960–2000), w naukach ścisłych i inżynieryjno-technicznych wzrósł w tym czasie z 50 do 80%, a w naukach humanistycznych praktycznie nie zmienił się (5–7%). Powstaje więc pytanie, czy to polska nauka ma taką siłę adaptacji, czy też stoją za tym inne, bardziej przyziemne czynniki. Prawda zapewne leży gdzieś pośrodku i wiele zależy od konkretnej dyscypliny i ośrodka naukowego.

Osłabiona motywacja

Stwierdzoną prawidłowością był znaczący przyrost udziałów slotowych w końcowej fazie ewaluacji (tabela 3). Suma wartości punktowej z artykułów opublikowanych w 2021 r. jest prawie cztery razy wyższa niż w 2017 r. W naukach inżynieryjno-technicznych oraz medycznych i o zdrowiu jest to dużo ponad 4. Znacząco wzrosła także liczba samych slotów. Z roku 2017 pochodzi 19,7 tys. slotów czasopiśmiennych, podczas gdy z 2018 – 23,6 tys., z 2019 r. – 28,9 tys., z 2020 r. – 39,1 tys. oraz z 2021 r. – 48,1 tys. Między pierwszym a ostatnim rokiem jest to więc różnica prawie dwuipółkrotna. Jednak najprawdopodobniej nie oznacza to szczególnie przyśpieszonego wzrostu polskiej nauki, wynikającej z jakichś fundamentalnych zmian powodowanych np. strategią naukową kraju (zamiast której było pogłębianie kryzysu), ale określone strategie publikacyjne naukowców.

Po pierwsze można się domyślać, że zasady oceny polegające na wskazywaniu sumarycznie jedynie czterech „najlepszych” publikacji (slotów), mogło osłabiać motywację do częstszego publikowania w mniej punktowanych miejscach – co oczywiście nie oznacza, że te miejsca są bezwartościowe. Byłby to jeden z najgorszych skutków reformy z 2018 roku, gdyż sprowadzałby pracę naukową do swego rodzaju wypełniania biurokratycznego obowiązku. Miałoby to dewastujące znaczenie tam, gdzie liczy się zwłaszcza indywidualny dorobek, a więc w humanistyce i częściowo w naukach społecznych. W tych naukach publikowanie przeciętnie jednej pozycji rocznie (artykułu lub rozdziału) to wynik bardzo słaby. Opublikowanie nawet czterech prac w ostatnim roku oceny jest wynikiem dość przeciętnym. Mówiąc bardziej obrazowym językiem, nie można wykluczyć, że osoby mniej pracowite i „maruderzy” przenosili wysiłki publikacyjne dopiero na ostatni rok. Zwłaszcza, że nie do końca jasna była sytuacja punktacyjna czasopism i niektórym osobom nie musiało się „opłacać” publikować.

Innym i już bardziej pozytywnym wytłumaczeniem może być konstrukcja oceny parametrycznej, koncentrująca się na najwyżej punktowanych publikacjach danego autora, a nie na wszystkich. Publikowanie w wyżej notowanych czasopismach w ostatnim okresie oceny może wynikać z rachunku prawdopodobieństwa. Przy wysokim odsetku odrzuceń w dobrze notowanych periodykach, systematycznie składane publikacje owocują ukazaniem się po jakimś czasie. Jeśli odrzucanych jest np. 80% prac, to prawdopodobieństwo przyjęcia za pierwszym razem jest mniejsze niż za trzecim. Jeszcze innym powodem może być dość często bardzo długi czas od złożenia publikacji do samej publikacji, charakterystyczny dla najbardziej popularnych czasopism w największych wydawnictwach zachodnich.

Pozytywy i negatywy

W sumie dane ewaluacyjne odsłaniają negatywne założenia i skutki reformy, ale są też pewne elementy pozytywne. Wśród tych drugich można wnioskować, że slotyzacja pobudziła do starań publikacyjnych w „lepszych” czasopismach oraz do większego umiędzynarodowienia badań. To umiędzynarodowienie jest generalnie pozytywne, także jeśli w pewnej części przypadków dotyczy publikacji ukazujących się poza wiodącymi anglosaskimi wydawnictwami (o ile oczywiście nie są to wydawnictwa uznawane za typowo „drapieżne”). Zwiększył się poziom pracy zespołowej, będący standardem we współczesnych badaniach w większości dyscyplin. Znacząco wzrosła przeciętna wartość slotu (średnia nieważona w latach 2017–2021 z 73 do 102, w tym np. w naukach społecznych prawie dwukrotnie, z 49 do 96). Nie da się tego wyjaśnić wyłącznie zmianami w punktacji czy jej zawyżeniem w wydawnictwach drapieżnych i na ich pograniczu (dodatkowe obliczenia pokazują, że przyrost sumy wartości punktów bez wydawnictw MDPI oraz typowych „drapieżców” między 2017 a 2021 rokiem wyniósł ok. 240%). Na tym lista pozytywów wydaje się jednak wyczerpywać.

Jeśli chodzi o negatywy, to, po pierwsze, wykazany silny wzrost liczby osiągnięć publikacyjnych między początkiem a końcem okresu ewaluacji świadczyć może bardziej o dostosowaniu się środowiska naukowego do jej tempa niż poprawie wyników. Zdecydowanie źle to wpływa na strategie badań naukowych, którym potrzebna jest stabilność, a nie poszukiwanie jak najwyższego slota w ostatniej chwili. Po drugie, jakaś część przypadków intensywnego wzrostu wieloautorskich udziałów slotowych wydaje się być patologią w rozumieniu „spółek” publikacyjnych. Świadczyć może o tym niezwykle szybki (zaledwie 5 lat) przyrost prac zespołowych do poziomów, do których w krajach zachodnich dochodziło się przez kilka dekad.

Aby wyjaśnić i lepiej udowodnić te pozytywne lub negatywne trendy, potrzebne są bardziej pogłębione badania, np. na bazie „Ludzie nauki” czy RAD-on.

„Parcie” na publikacje wysokopunktowane

Na zakończenie formułować można wnioski do kolejnej ewaluacji. Po pierwsze, zasadniczej naprawy wymaga podejście slotowe, które ma wiele luk związanych ze sposobem przypisywania do konkretnych osób, podmiotów i dyscyplin. Trzeba tu wyważyć naturalną interdyscyplinarność oraz zespołowość badań medycznych, ścisłych i technicznych z bardziej indywidualnym i samodzielnym podejściem w naukach społecznych i humanistycznych. W publikacjach wieloautorskich nie można przyznawać odrębnych pełnych slotów dla każdego autora, gdyż grozi to patologiami w postaci sztucznego dopisywania się między różnymi podmiotami. Trzeba jednak zabezpieczyć w jakiś sposób wspomnianą zespołowość badań. Mogłaby ona polegać na zabezpieczeniu dla każdego autora jakiegoś minimalnego udziału, np. 25–33% całkowitego udziału slotowego, niezależnie od liczby autorów. Pełna wartość slota zdecydowanie powinna być przypisywana pierwszemu autorowi, zwłaszcza w pracach o dużej liczbie autorów i w dyscyplinach, gdzie zespołowość wielu kierunków badań jest konieczna (np. w fizyce czy astronomii), a bycie pierwszym autorem zwłaszcza w międzynarodowym czy globalnym zespole jest szczególnie prestiżowe.

Analiza prawdoppodobnie wykazała „parcie” na publikacje wysokopunktowane, nie zawsze uzasadnione podnoszeniem jakości badań. Dzieje się tak chyba częściej w naukach społecznych, humanistycznych i technicznych niż w ścisłych i przyrodniczych. Należy więc przemyśleć zasadność oceny publikacyjnej wyłącznie na podstawie małej liczby najwyżej punktowanych publikacji, gdyż ta punktacja oparta na kryteriach uchodzących w wielu środowiskach za obiektywne (jak zwłaszcza różnego rodzaju współczynniki wpływu IF), nie zawsze odzwierciedla jakość publikowanych prac. Typowym przykładem jest oczywiście sztucznie podniesiona wartość niektórych tytułów o regionalnym czy lokalnym znaczeniu, ale także historia takich czasopism, jak osławiony „Science of the Total Environment” (200 pkt, aktualny Citescore = 16,4, ale wycofany IF i wykazanych w Polsce 1,3 tys. udziałów slotowych).

Opisane uwarunkowania, oprócz powszechnie i słusznie krytykowanej „punktozy”, prowadzą także do szukania optymalizacyjnych sposobów wypełniania slotów, czyli swego rodzaju „sztuczek księgowych”, np. manipulacji liczbą N oraz przydziałem do dyscyplin. Punktoza długofalowo skutkuje zamianą etosu naukowego i dążenia do doskonałości na kulturę koniunkturalizmu i utowarowienie nauki. Do tego obowiązek opublikowania zaledwie kilku prac przez kilka lat jest demotywujący i obniża ogólny poziom publikowania wyników. Zniechęca badaczy do dodatkowego wysiłku, zachęca do lenistwa, pozoranctwa i kombinowania, ignoruje pozostałe poza oceną wyniki najlepszych zespołów, publikujących więcej i wyżej, choć niekoniecznie za 200 pkt, ale za 100 i 140 pkt – gdzie lokuje się nieraz duża liczba wiodących tytułów w danej dyscyplinie. Stawia na z góry przegranej pozycji czasopisma o niezłym poziomie, gdyż dają niewielki lub obniżający wkład w slot.

Ponadto idąc tropem „punktozy”, większość krajowych tytułów należałoby zlikwidować, a przecież mają one, nie tylko w humanistyce, olbrzymią rolę kulturotwórczą. Inną ich wiodącą nieraz rolą jest transfer nauki do praktyki samorządowej, edukacyjnej i innej, zwłaszcza gdy mają pełny Open Access i są dostępne dla każdego bez żadnych przeszkód. W sumie być może zasadnym byłoby rozwiązanie, w którym ocena jednostki w jakiejś części – może w jednej trzeciej, a może w jednej czwartej – zależy od sumy punktowej wszystkich publikacji w danym okresie dzielonych przez liczbę N, tj.w przybliżeniu pracowników).

Tych i innych problemów związanych ze slotyzacją i punktacją jest na pewno więcej, były one, są i będą zresztą przedmiotem wielu dyskusji. Kontrowersje narastają, bowiem najbardziej chyba charakterystycznym we współczesnej nauce trendem stała się jej komercjalizacja. A etosu i rzetelności z pogonią za efektywnością i produktywnością pogodzić się nie da. W efekcie w nauce na całym świecie narasta kryzys etyczny, a w Polsce dodatkowo nakłada się na to kryzys finansowania. W każdym razie przedstawione wyniki dostarczają kolejnych dowodów, że dotychczasowa ewaluacja mogła być w wielu aspektach nie tylko ułomna, ale też szkodliwa i należy szukać innych rozwiązań oceny dorobku naukowego i publikacyjnego.

Przemysław Śleszyński
(śródtytuły od redakcji)