Aktualności
Sprawy nauki
12 Lutego
Źródło: archiwum prywatne
Opublikowano: 2024-02-12

Instrukcja pudrowania trupa

Przy wielu swoich wadach, ocena działalności naukowej na podstawie dobrze ułożonej listy punktowanych czasopism ma również pewne zalety w odniesieniu do uniwersyteckiej fizyki, chemii i biologii (ale nie do nauk humanistycznych i społecznych), muszą jednak być spełnione pewne warunki – pisze prof. Marek Kosmulski z Politechniki Lubelskiej.

W umowie koalicyjnej, podpisanej 10 listopada 2023 przez liderów Koalicji Obywatelskiej, Trzeciej Drogi i Nowej Lewicy, jest zdanie o zmianie systemu punktacji za publikacje naukowe. Zmienić, ale jak? Z jednej strony ogólna zasada „dziedziczenia prestiżu” jest sama w sobie wadliwa, ale też rezygnacja z listy punktowanych czasopism potrzebowałaby gruntownej zmiany całego systemu ewaluacji nauki, co wymaga czasu i nie gwarantuje sukcesu. Z drugiej strony, zamiast rewolucyjnych zmian można (przynajmniej przejściowo) wprowadzić niewielkie poprawki w systemie punktacji publikacji naukowych, nie zmieniając ogólnych zasad, chociaż wielu uzna to za „pudrowanie trupa”.

Przy wielu swoich wadach, ocena działalności naukowej na podstawie dobrze ułożonej listy punktowanych czasopism ma również pewne zalety w odniesieniu do uniwersyteckiej fizyki, chemii i biologii (ale nie do nauk humanistycznych i społecznych), muszą jednak być spełnione pewne warunki.

Punktacja czasopism musi być adekwatna. Abstrahując od kuriozalnych przykładów szeroko opisywanych w prasie, np. 200 punktów (wersja listy z 9 listopada ub.r.) dla czasopisma „Cement, Wapno, Beton” (Cite Score 1,3, impact factor 0,7), mogę podać wiele innych przykładów, gdzie przypisanie czasopisma do dyscypliny oraz liczba punktów są zupełnie nieadekwatne. Moje doświadczenia i opinia naukowców z branży wskazują, że „JCIS” („Journal of Colloid and Interface Science”) jest znacznie lepszym czasopismem niż „Molecules” (akurat w obu czasopismach byłem w komitecie redakcyjnym), co potwierdzają Cite Score i IF, odpowiednio 15,5 i 9,9 dla „JCIS” oraz 6,7 i 4,6 dla „Molecules”. Trudno więc zrozumieć, dlaczego na ministerialnej liście punktowanych czasopism „JCIS” ma tylko 100 punktów, zaś „Molecules” aż 140. Nie wiem, czym się kierowała osoba przydzielająca punkty wbrew wskaźnikom bibliometrycznym i opinii środowiska, ale jeżeli tacy „eksperci” mają decydować o punktacji, to może lepiej, by decydowała o niej bibliometria w czystej postaci, bez „czynnika ludzkiego”.

Skala 200-140-100-70-40-20 wprowadza dużą przypadkowość. Zakładając, że 140 punktów odpowiada Q1, czyli górnej ćwiartce rankingu czasopism w dyscyplinie, 100 punktów – Q2 itd., czasopisma o prawie równym IF (Cite Score) mogą uzyskać znacząco różne liczby punktów ministerialnych (w wielu realnych sytuacjach uzyskanie 100 zamiast 140 punktów robi wielką różnicę). Na przykład najsłabsze czasopismo z Q1 i najlepsze czasopismo z Q2 (najsłabsze z Q2 i najlepsze z Q3 itd.) mogą się różnić pod względem IF (Cite Score) o 0,01 lub nawet o 0,001, co odpowiada jednemu lub paru cytowaniom. Lepsza od sześciostopniowej jest skala stustopniowa, w której przysługuje 1 punkt za każdy procent w skali centylowej, można nawet dopuścić wartości ułamkowe. Skala z większą liczbą stopni eliminuje wyżej opisaną przypadkowość i pozwala bardziej adekwatnie różnicować czasopisma. O ile w danej dyscyplinie w grupach Q2 i Q3 wartości IF (Cite Score) są zbliżone, to w grupach Q1 i Q4 różnice o kilkaset procent nie są rzadkością.

Należy ucywilizować przypisywanie czasopism i artykułów do dyscyplin. Obecnie panuje chaos: z jednej strony czasopisma z ministerialnej listy są przypisane do dyscyplin wbrew deklaracjom redakcji czasopism i wbrew klasyfikacjom w bazach Scopus i Web of Science (WoS), a z drugiej strony autorzy artykułów w czasopismach spoza „swojej” dyscypliny nie mają pewności, czy otrzymają za nie punkty. Nie ma tu prostych i dobrych rozwiązań, więc może lepiej zaliczać wszystkim wszystko. Jeżeli inżynier elektryk lub fizyk opublikuje samodzielny artykuł w „Lancecie”, to dlaczego nie mielibyśmy mu przyznać maksymalnej liczby punktów?

Liczba punktów za artykuł powinna być podzielona przez liczbę współautorów bez względu na ich afiliację i przypisanie do dyscypliny. Obecnie jedna praca wieloautorska może wygenerować parę tysięcy punktów, jeżeli autorzy mają różne afiliacje, a nawet przy tej samej afiliacji, jeżeli reprezentują różne dyscypliny, i system wręcz zachęca do fikcyjnego współautorstwa.

Ogólna koncepcja slotów jest słuszna, ale w aktualnej wersji zbyt radykalna. Przypuszczalnie chodziło o to, by uniemożliwić uzyskanie dobrego wyniku przez hurtową produkcję prac 20- lub 40-punktowych, ale przy okazji wylano dziecko w kąpielą. Jeżeli ktoś potrafi seryjnie produkować prace 200- czy nawet 140-punktowe i nie ma ochoty na dopisywanie do nich fikcyjnych współautorów, to taka produkcja powinna mieć pozytywny wpływ na ocenę jednostki, nawet jeżeli zdolny i pracowity naukowiec wypełni nimi 10 slotów rocznie.

Za listy do redakcji, krótkie komunikaty itp. w najlepszych czasopismach powinny być przyznawane punkty (np. połowa punktów przyznawanych za regularny artykuł, obecnie zero punktów). Te krótkie publikacje kreują więcej cytowań i przynoszą większy prestiż niż regularne artykuły w marnych czasopismach. Na przykład jeden tylko list do redakcji „New England Journal of Medicine” opublikowany w 2020 roku i liczący 2 strony ma trzykrotnie więcej cytowań niż wszystkie artykuły opublikowane w całej historii 200-punktowego czasopisma „Cement, Wapno, Beton”.

Dzielenie wyniku przez liczbę N i „klątwa N0” (dotkliwe karanie jednostek za każdego pracownika, który w ocenianym okresie nie wyprodukował punktów za publikacje) powodują komplikacje, niejasności i zachęcają do manipulacji. Jako przykład można podać jednostki balansujące na granicy minimum kadrowego. Całkowity dorobek jednostki (bez dzielenia przez liczbę pracowników i dodatkowych kar za „nieproduktywnych” pracowników) jest bardziej adekwatny w kontekście praw do doktoryzowania i habilitowania.

Powyższa lista propozycji nie oznacza, że stałem się entuzjastą listy punktowanych czasopism. Jedynie wskazuję, że wiele zależy od szczegółów. Ponadto ocena za publikacje jest tylko jedną z ocen cząstkowych, zaś pozostałe oceny cząstkowe i sposób wyliczania z nich oceny końcowej też pozostawiają wiele do życzenia.

Marek Kosmulski

Dyskusja (8 komentarzy)
  • ~Maciek 14.02.2024 12:27

    "Liczba punktów za artykuł powinna być podzielona przez liczbę współautorów"

    Tak, ale wtedy skala musi być znacznie bardziej szeroka. Bo dzielenie punktów niestety też prowadzi do punktozy: Zamiast jednej dobrej publikacji za 200 pkt w Nature przy udziale 8 autorów można przecież wypuścić 2 "słabsze" publikacje po 200 pkt, w każdej 4 autorów.

    A może wprowadźmy nie dzielenie ale mnożenie? Mnożenie przez procentowy wkład danego autora w powstanie publikacji? Wówczas życzę powodzenia, aby w niektórych przypadkach dogadać się co do udziału.

  • ~Sławomir 14.02.2024 08:30

    Dobra analiza, z która w pełni się zgadzam.
    Ale to niestety jak wołanie na pustyni czy grochem o ścianę itp. nasze powiedzenia., gdyż jak nie będzie czynnika ludzkiego to jak tzw. układy i układziki będą funkcjonować?

  • ~Dariusz Kubinowski 13.02.2024 09:05

    uważam, że w końcu należy całkowicie zlikwidować tę centralnie sterowaną listę czasopism; w większości krajów świata takie listy nie istnieją, bo byłaby to ingerencja w autonomię uczonych i wolność nauki; w nauce liczy się osiągnięcie a nie miejsce publikacji jego opisu

    • ~RC 13.02.2024 13:58

      Całkowicie się zgadzam, zresztą pisałem o tym przy okazji innego tekstu na FA - jest to anachronizm nieznany w innych krajach i niepotrzebny w nauce polskiej... całkowita racja, że w nauce liczy się osiągnięcie, a nie miejsce jego publikacji... szczególnie teraz w dobie publikacji internetowych i ich wszechobecnej dostępności dla wszystkich

  • ~J.Ch 13.02.2024 09:01

    Bardzo ciekawa analiza/wypowiedz. I uwaga o humanistyce. Zrozumienie humanistyki nie jest łatwe dla dyscyplin „empirycznych”, „policzalnych”. Tu często redakcja odrzucając naukowy esej, sporo wnoszący zwraca autorowi uwagę - brakuje metodologii, stanu badań itp. Pomijam już manipulacje np. tzw. politykę historyczna itp. Pamietajmy, w humanistyce często jeden esej powodował znamienne naukowe następstwa /np. dysputy niemieckie, francuskie, swietne eseje angielskich badaczy/.. warto zatem podyskutować, rozumiejąc idee, ale i specyfikę. Upominam się tez o tzw. umiędzynarodowienie - jak umiędzynarodowienie badania nad językiem polskim, gwara, śląskim itd. To nie atom, jak u fizyków /sorry bo tu jestem profanem/. Fizyk na dwu stronach może wiele „przewrócić”, humanista potrzebuje obszernej monografii. Ot życie.

  • ~Diario 12.02.2024 14:04

    A co z Czasopismo arXiv preprint arXiv?
    Ogromną ich ilość to papiery z setkami cytowań

    • ~Karwoj 12.02.2024 22:07

      arXiv to nie czasopismo, tylko preprint server. Przecież tam nie ma peer review. O czym mowa w ogóle.

  • ~KOwal 12.02.2024 14:03

    Nic dodać, nic ująć. Pozostaje mieć nadzieję, że decydenci pójdą po rozum do głowy, a nie będą znów pilnować swoich interesów i interesików.