Życie akademickie

Niedawno widziałem, jak pewien badacz w dokumentach awansowych 
jako charakterystykę swej działalności podawał sumę wartości impact 
factor czasopism, w których publikował swe prace.

Andrzej Kajetan Wróblewski
 

Posługiwanie się wartością impact factor czasopisma zamiast wpływem danego artykułu sprowadza się do oceny prestiżu czasopism. Chociaż praktyczne, jest to niebezpieczne. Impact factor nie powinien być używany jako substytut, poza 
sytuacjami wyjątkowymi.
Eugene Garfield (1996)

Tę niedawną opinię człowieka, który przecież wymyślił impact factor, zacytowałem jako wprowadzenie do kolejnego mojego głosu w dyskusji, jaka od pewnego czasu toczy się na łamach „Forum Akademickiego”, nad przydatnością tego wskaźnika do oceny jakości pracy badawczej. Krytyczne uwagi, jakie wypowiedziałem w artykule Ostrożnie z tym współczynnikiem („FA” nr 7-8/1998), nie przekonały zwolenników posługiwania się tym parametrem. O ile wiem, w niektórych dziedzinach, głównie biomedycznych, jest to główny wskaźnik oceny. A w niektórych instytutach próbuje się nawet szeregować badaczy według wartości impact factor czasopism, w których są publikowane ich prace (przy czym nie jest brana pod uwagę liczba cytowań tych prac, czyli ich odzew w środowisku naukowym). Niedawno widziałem, jak pewien badacz w swych dokumentach awansowych jako charakterystykę swej działalności podawał sumę wartości impact factor czasopism, w których publikował swe prace.

Zapewne żaden z naszych uczonych posługujących się tym wskaźnikiem (dla skrótu będę go oznaczał literami IF) nie prowadził nad nim studiów. Ja natomiast przeprowadziłem niedawno szczegółową analizę, korzystając z danych w bazie NCR 1999. Niektóre wyniki tych badań przedstawiłem w listopadzie ub.r. na konferencji naukometrycznej w Cieszynie, a obecnie chcę z nimi zapoznać szerokie grono czytelników „FA”.

SKOŚNY ROZKŁAD

Przypomnę, że wartość IF czasopisma za rok T jest zdefiniowana jako iloraz IF = Nc/Np, gdzie Nc jest liczbą cytowań (w roku T) prac opublikowanych w tym czasopiśmie w latach (T – 1) oraz (T – 2), natomiast Np oznacza liczbę prac opublikowanych w tym czasopiśmie w latach (T – 1) i (T – 2).

Na przykład, IF danego czasopisma za rok 2001 obliczamy sumując wszystkie znalezione w roku 2001 w czasopismach całego świata cytowania artykułów ogłoszonych w badanym czasopiśmie w latach 2000 i 1999, i dzieląc tę sumę przez liczbę artykułów, które nasze czasopismo zamieściło w tych dwóch latach.

Już dawno temu zwrócono uwagę na to, że ta definicja jest ułomna, ponieważ, po pierwsze, Nc zawiera cytowania artykułów oraz listów do redakcji, podczas gdy Np zawiera tylko artykuły. Z tego powodu czasopisma posiadające dział listów do redakcji mają IF bardzo zawyżony w porównaniu z innymi. Po drugie, wartości IF czasopism wykazują ogromne różnice między dziedzinami, a nawet specjalnościami w danej dziedzinie, choćby ze względu na bardzo różną średnią liczbę cytowań jednej pracy oraz różny „obrót” (turnover) informacji w różnych dziedzinach.

Wydaje mi się, że wiara w stosowalność IF jako wskaźnika jakości dokonań badaczy bierze się z nieuzasadnionego przekonania, iż rozkład liczby cytowań w danym czasopiśmie jest bardzo wąski i jednoznacznie związany z wartością IF. Gdyby tak istotnie było, to parametr IF byłby idealnym narzędziem bibliometrycznym, ponieważ znając wartość IF czasopisma można byłoby automatycznie wiedzieć, jaki oddźwięk w środowisku naukowym wywołał artykuł zamieszczony w tym czasopiśmie.

W rzeczywistości jednak rozkład liczby cytowań jest inny: niezależnie od wartości IF rozkład liczby cytowań artykułów w każdym czasopiśmie jest bardzo „skośny”, to znaczy ma maksimum przy wartości zero, a następnie bardzo szybko spada. Z moich badań wynika, że ten spadek można doskonale opisać funkcją wykładniczą. Jak wiadomo, jeżeli zastosujemy skalę logarytmiczną, to funkcja wykładnicza przedstawia się jak linia prosta (wykres 1). Okazuje się ponadto, że wśród prac publikowanych w każdym czasopiśmie, a więc znów niezależnie od wartości IF, znajdujemy jeszcze pewien „ogon” – liczbę publikacji cytowanych znacznie częściej niż to wynika z wykładniczego rozkładu.

Wymienione cechy charakterystyczne rozkładu liczby cytowań można, jak sądzę, interpretować następująco. Nieliczne prace stanowiące „ogon” rozkładu to te, które w znacznym stopniu przyczyniają się do rozwoju nauki, natomiast wykładniczo spadające „tło” tworzą prace, które do postępu dają wkład stosunkowo niewielki. Oczywiście, stwierdzenie to ma tylko znaczenie statystyczne, ale chyba każdy się zgodzi, że praca cytowana 50 czy 200 razy wywarła większy wpływ niż praca cytowana zaledwie parę razy lub nie cytowana w ogóle. Upieram się, że tak jest, nawet jeśli pamiętać, że czasem prace błędne też bywają cytowane wiele razy, właśnie dlatego, że korygowanie ich wyników mobilizuje wielu badaczy (tak było niedawno w znanym przypadku rzekomej „zimnej fuzji”). Trzeba też pamiętać o tym, że ze względu na znaczne różnice cytowań w różnych dziedzinach (patrz: Bibliometryczne nieporozumienia, „FA” nr 9/2001), pojęcia „mało” czy „dużo” cytowań muszą być w różnych dziedzinach różne.

DWIE LOTERIE

Moje badania, które dotyczyły tylko fizyki, przeprowadziłem korzystając z bazy NCR Poland, obejmującej lata 1981-99. Zbadałem cytowania prac polskich autorów w 20 czasopismach fizycznych o różnych wartościach IF (1994). Analizowałem tylko rozkład liczby cytowań prac opublikowanych w latach 1981-96, a więc mających co najmniej 3 lata (1997-99) na zebranie cytowań. Na wykresie 2 przedstawiam przykładowy wynik, dla „Physics Letters B”, które w fizyce należy do najbardziej prestiżowych czasopism.
Już dawniej był znany fakt, że nawet w czasopismach o stosunkowo dużym IF znaczący procent publikowanych artykułów nie zostaje nigdy zacytowany. Nowość wynikająca z mojej analizy, to stwierdzenie, że rozkład liczby cytowań daje się doskonale opisać – z wyjątkiem „ogona” – przez funkcję wykładniczą.

Wartości IF czasopism z nauk biomedycznych są znacznie wyższe niż w fizyce, ale „skośność” rozkładu cytowań jest bardzo podobna. Niedawno francuski badacz M.T. Mannoury stwierdził, że na przykład w bardzo znanym czasopiśmie „Cell”, którego IF w roku 1994 wyniósł aż 39,2, bez cytowania pozostaje 9 proc. artykułów, a aż 16 proc. prac publikowanych w „Proc. Natl. Acad. Sci. USA” (IF = 10,2) też ma zero cytowań.

Oczywiście, istnieje pewna korelacja między wartością IF a średnią liczbą cytowań prac publikowanych w danym czasopiśmie. W czasopismach z większą wartością IF jest mniej prac w ogóle nie cytowanych lub cytowanych niewiele razy, natomiast więcej jest prac z „ogona”. Ale jest to tylko korelacja statystyczna, a nie ścisła zależność. Na przykład, współczynnik korelacji między wartością IF i maksymalną liczbą cytowań jednej pracy w danym czasopiśmie wynosi zaledwie 0,57.

W świetle moich wyników i tego, co inni zbadali już wcześniej w naukach biomedycznych (np. Per Seglen w 1997 r.), wydaje się zdecydowanie nierozsądne, żeby nie powiedzieć: pozbawione sensu, ocenianie badaczy tylko na podstawie wartości IF czasopism, w których publikują swe prace. Wiem, że dochodzi do sytuacji, moim zdaniem, patologicznych, kiedy sam fakt przyjęcia do druku pracy w czasopiśmie o dużym IF jest nagradzany przez dyrekcję instytutu premią większą niż za przyjęcie artykułu do czasopisma o mniejszym IF. Taka ocena a priori, bez czekania na wynik oceny przez środowisko naukowe, nasuwa mi na myśl następującą analogię. Wyobraźmy sobie dwie loterie pieniężne, jedną, w której wygrywa 40 proc. osów, a najwyższą nagrodą jest pół miliona, oraz drugą, gdzie losów wygranych jest 60 proc., a milionowych nagród cztery. Sam fakt nabycia biletu tej drugiej loterii nie gwarantuje przecież tego, że nabywca będzie miał na pewno większą wygraną niż posiadacz losu tej pierwszej. Tymczasem, według zwolenników posługiwania się wartością IF, zdobywca głównej nagrody w pierwszej loterii byłby ceniony mniej od człowieka, który nabył los na drugą loterię, ale nic nie wygrał. Zapewniam, że nie jest to żart, ponieważ wielokrotnie próbowano mnie przekonywać, że liczy się tylko IF czasopisma, a nie liczba cytowań.

Oczywiście, ze względu na wspomniane znaczne różnice cytowań w różnych dziedzinach, wartości IF czasopism w tych dziedzinach są także bardzo różne. To jest fakt w zasadzie na tyle dobrze znany, że nie podejmuję się prób klasyfikowania badaczy z różnych dziedzin na podstawie wartości IF. Ale trzeba pamiętać, że nawet w obrębie tej samej dziedziny poszczególne dyscypliny różnią się znacząco pod względem średniej liczby cytowań jednej publikacji oraz obrotu (turnover) informacji. Ma to wpływ na IF czasopism charakterystycznych dla tych dyscyplin. Tak więc niewielki sens ma porównywanie, na podstawie wartości IF, laryngologów z onkologami albo chemików analityków z inżynierami chemikami.

WYJŚĆ Z TŁA

Jakie wnioski można wyciągnąć z przedstawionej tu analizy?

Po pierwsze, wobec znaczącego procentu, jaki we wszystkich czasopismach stanowi „tło” prac mało lub wcale nie cytowanych, a więc zapewne niewiele wnoszących do nauki, sam fakt opublikowania pracy w czasopiśmie o dużej wartości IF nie powinien stanowić podstawy do wyróżniania jej autora. Po drugie, w zasadzie o jakości dorobku badacza powinno się sądzić tylko na podstawie tych jego prac, których liczba cytowań znacząco przekracza wykładnicze „tło”. Granica ta musi być zależna od dziedziny.

A więc, na przykład, w jednej z klasyfikacji stosowanych w fizyce (baza uniwersytetu Stanford, USA) przyjmuje się, że prace cytowane poniżej 10 razy są „mało znane” (czytaj: niewiele wnoszące do nauki), natomiast za „sławne” uznaje się prace o liczbie cytowań przekraczającej 100. Przypomnę, że średnia liczba cytowań jednej pracy w fizyce wynosi 9,5 („FA” nr 9/2001).
Odpowiednie granice liczby cytowań można by ustalić w poszczególnych dziedzinach. W biologii molekularnej, gdzie jedna praca uzyskuje przeciętnie ponad 31 cytowań, praca cytowana tylko 20 razy zapewne może być zaliczona do „tła”, ale taka sama liczba cytowań pracy z matematyki byłaby już znaczna, bo średnia w tej dziedzinie to tylko 5 cytowań na pracę. Inną metodą mogłoby być zliczanie tylko prac, których liczba cytowań jest jakąś uzgodnioną wielokrotnością średniej w danej dziedzinie.

Przestańmy zatem pytać tylko o wartości IF czasopism, w których ktoś publikuje swe prace. Przestańmy pytać o całkowitą liczbę cytowań prac danego badacza. Zamiast tego należy podawać wyłącznie liczbę jego prac „wybitnych”, które były cytowane więcej razy niż wynosi umowna granica w danej dziedzinie czy specjalności.

Na zakończenie jeszcze jedna uwaga. Podstawowa zasada bibliometrii mówi, że im większa jest próbka, tym bardziej wiarygodne są wyniki z jej analizy. O ile więc stosunkowo bezpieczne jest wyciąganie wniosków na temat rankingu poszczególnych państw (baza NSI) czy instytucji (baza NCR), o tyle próby porównywania poszczególnych badaczy na podstawie jakichkolwiek wskaźników bibliometrycznych muszą być dokonywane rzetelnie i wyjątkowo ostrożnie, łatwo bowiem można wyrządzić komuś niezasłużoną krzywdę.

Sam twórca wskaźnika IF Eugene Garfield jest przerażony tym, że jego pomysł, wskutek nieodpowiedzialnych działań niektórych ludzi, zaczął żyć własnym, niekontrolowanym życiem. Właśnie dlatego napisał on w „British Medical Journal” (1996) opinię, którą zacytowałem na początku tego artykułu. Myślę, że warto posłuchać rady Garfielda i zaprzestać wreszcie oceniania badaczy na podstawie przypinanych im etykietek z wartościami IF.

Prof. dr hab. Andrzej Kajetan Wróblewski jest pracownikiem Instytutu Fizyki Doświadczalnej im. Stefana Pieńkowskiego na Wydziale Fizyki Uniwersytetu Warszawskiego.

Komentarze