Strona główna „Forum Akademickiego”

Archiwum z roku 1998

Spis treści numeru 7-8/1998

Ostrożnie z tym współczynnikiem
Poprzedni Następny

Patologiczne wydają się sytuacje, w których próbuje się klasyfikować
badaczy biorąc za podstawę średni impact factor czasopism,
bez zwracania uwagi na to, czy ich prace są w ogóle cytowane.

Andrzej Kajetan Wróblewski

Fot. Stefan CiechanArtykuł profesora Bogusława Żernickiego Współczynnik oddziaływania w nr. 6 "Forum Akademickiego" skłonił mnie do napisania kilku uwag na temat poruszonego przez niego tematu. Wydaje mi się, że mogą być u nas osoby nie rozumiejące w pełni znaczenia parametru zwanego impact factor czasopisma naukowego. A brak wiedzy i zrozumienia musi nieuchronnie prowadzić do nieporozumień.

GROŹNE NIEPOROZUMIENIA

Jak wiadomo, dobre publikacje w czasopismach naukowych są następnie cytowane przez innych autorów. Duża liczba cytowań jakiegoś artykułu świadczy o jego znacznym wpływie na bieg bieżących badań w danej dyscyplinie. Często bywa więc rozważana średnia liczba cytowań, której używa się w rozmaitych klasyfikacjach naukometrycznych.

Instytut Informacji Naukowej w Filadelfii wprowadził również impact factor czasopism w celu ułatwienia pracy bibliotekarzom. W niektórych dziedzinach parametr ten bywa jednak wykorzystywany w zupełnie innym celu, a mianowicie do oceny wartości badań prowadzonych w poszczególnych instytucjach czy nawet przez indywidualnych badaczy. Taka praktyka może przynosić groźne w skutkach nieporozumienia.

IF ZMIENIA SIĘ

Otóż tak zwany impact factor czasopisma (IF) nie jest równy średniej liczbie cytowań artykułów publikowanych w tym czasopiśmie. Definicja jest bardziej skomplikowana: wartość IF danego czasopisma w danym roku X jest równa stosunkowi C/P, gdzie C jest liczbą wszystkich cytowań w roku X (we wszystkich czasopismach całego świata) artykułów ogłoszonych w tym czasopiśmie w dwóch latach poprzedzających (czyli X -1 oraz X - 2), natomiast P - liczbą wszystkich tych artykułów (a więc opublikowanych w danym czasopiśmie w latach X-1 i X - 2).

Z tej definicji wynika jasno, że wartość IF jest każdorazowo określona tylko dla danego roku i na ogół zmienia się w czasie. Wartość IF zależy też bardzo od "szybkości" cytowań, ponieważ uwzględniane są wyłącznie cytowania nie późniejsze niż sprzed dwóch lat. Tymczasem w różnych dziedzinach nauki panują bardzo różne obyczaje i już choćby z tego powodu wartości IF różnią się bardzo między dziedzinami. Na przykład w biologii molekularnej i biochemii "Annual Review of Biochemistry" miało w 1995 roku IF = 44,4, a łącznie 34 czasopisma w tej dziedzinie miały IF większe od 5. Natomiast najlepsze czasopismo w dziedzinie ekonomii miało IF niewiele większe od 1. Różnice występują nawet w dyscyplinach tej samej większej dziedziny. Na przykład (cytuję nadal dane z roku 1995) największy IF dla czasopisma onkologicznego wyniósł 15,5, podczas gdy największy IF dla czasopisma chirurgicznego wyniósł tylko 4,4, a w pediatrii tylko niecałe 2,9.

LISTY DO REDAKCJI

Nie wszyscy wiedzą także, że definicja IF zawiera dość poważną niekonsekwencję. Otóż do liczby artykułów P zalicza się jedynie normalne artykuły i recenzje, podczas gdy liczba C uwzględnia wszystkie cytowania, nie tylko odnoszące się do tych normalnych artykułów i recenzji, lecz także do listów, komentarzy redakcyjnych (tzw. editorials). Te ostatnie są na ogół często i szybko cytowane. Z tego wynika, że czasopisma mające dział korespondencji są wyraźnie uprzywilejowane jeśli chodzi o wartość IF w stosunku do takich, które listów do redakcji nie mają. Różnica może być znaczna. Istotnie, czasopisma takie jak "Nature" lub "Science", mają wysoki impact factor, częściowo ze względu właśnie na dział listów.

Niedawno holenderscy naukometrzy H.F. Moed i Th.N. Van Leeuwen przeprowadzili analizę ("Nature", vol. 382/96, str. 186) polegającą na obliczeniu wartości IF przy jednakowych kryteriach w obliczaniu P i C. Okazało się, że dla wielu czasopism poprawnie obliczona wartość IF jest znacznie mniejsza (np. dla czasopisma medycznego "Lancet" aż o 43 proc.) od obliczonej przy utrzymaniu niekonsekwentnej definicji. Autorzy konkludują, że dopóki ta błędna definicja nie zostanie poprawiona, prostym zabiegiem szybkiego i znacznego podwyższenia impact factor czasopisma jest wprowadzenie w nim działu listów do redakcji.

TURNOVER I OPÓŹNIENIA

Innym czynnikiem wpływającym istotnie na wartość IF jest tzw. turnover, miara tempa, w jakim nowo publikowane wyniki wpływają na badania. Tu znów mamy znaczne różnice między dziedzinami. Na przykład, według obliczeń N.B. Metcalfe'a ("Nature", vol. 376/95, str. 720) w biochemii i biologii molekularnej ponad 28 proc. cytowań odnosi się do prac z dwóch lat poprzedzających, podczas gdy w ekologii jest to tylko 9,5 proc. Nie przeprowadzałem podobnych obliczeń, ale na podstawie innej analizy filadelfijskiej bazy danych wiem, że w humanistyce, naukach społecznych, a także w matematyce i naukach inżynieryjnych turnover jest także bardzo niski.

Kolejnym czynnikiem wpływającym na wartość IF jest terminowość ukazywania się danego czasopisma. Jeśli, na przykład, ukazuje się ono z opóźnieniem czterech miesięcy, to może to automatycznie obniżyć IF o jedną szóstą, ponieważ o tyle skrócony zostaje okres dwóch lat, z którego zbierane są cytowania C.

ZWYCZAJE SIĘ RÓŻNIĄ

Ostatnim wreszcie czynnikiem wpływającym na wartość IF są zwyczaje panujące w danej dziedzinie. Twórca wskaźnika IF, Eugene Garfield, zauważył niedawno ("The Scientist", vol. 11, nr 3/97), że w biochemii i biologii molekularnej każdy publikowany obecnie artykuł zawiera średnio 45 odnośników do innych prac, przy czym średni wiek cytowanych artykułów wynosi siedem lat. Tymczasem w pracach matematycznych jest średnio tylko 15 cytowań innych prac, a ich średni wiek waha się między 20 a 30 latami! W niektórych naukach społecznych i humanistycznych ten średni wiek może być nawet jeszcze większy.

Podkreślmy natomiast, że ze względu na matematyczną postać definicji IF sama liczebność środowiska w danej dziedzinie tylko w sposób wtórny wpływa na IF. Gdyby we wszystkich dziedzinach były jednakowe zwyczaje cytowania innych badaczy (taka sama średnia liczba cytowań zamieszczanych w artykule) i taki sam turnover, to wartości impact factor byłyby takie same dla dyscypliny uprawianej przez 1000 badaczy i wielkiej dziedziny, w której pracują ich setki tysięcy.

LUDZIE TO NIE CZASOPISMA

Z tych wszystkich powodów należy z niezwykłą ostrożnością stosować wartości IF do oceny wyników działalności naukowej poszczególnych osób czy nawet instytucji. Przestrzegają przed tym wszyscy. Wartości impact factor nie powinny służyć do porównywania osiągnięć badaczy w tej samej dziedzinie, nie mówiąc już o dziedzinach różnych. Najlepiej byłoby, gdyby parametr wprowadzony do klasyfikacji czasopism pozostał ograniczony właśnie do tego pola, a do oceny ludzi i instytucji stosowano inne wskaźniki.

Fizycy wiedzą o istnieniu IF, ale go prawie nigdy nie stosują do oceny osób. W naszej dziedzinie zwraca się uwagę na liczbę cytowań danego artykułu, a nie na czasopismo, w którym został on opublikowany. Wychodzimy z założenia, że jeśli ktoś opublikuje pracę w czasopiśmie z wysokim IF, ale praca ta nie zostanie w ogóle zacytowana, to nie należy nadawać temu badaczowi większej wagi niż komuś, kto ma dużą liczbę cytowań pracy ogłoszonej w czasopiśmie z niższą wartością IF. Dlatego patologiczne wydają się sytuacje (niestety zdarzające się w niektórych dziedzinach), kiedy próbuje się klasyfikować badaczy biorąc za podstawę średni impact factor czasopism, w których publikują, bez zwracania uwagi na to, czy ich prace są w ogóle cytowane.

ISTOTNA JEST LICZBA CYTOWAŃ

Z podanej wyżej definicji impact factor wynika zresztą, że wielkość ta nie jest stała w czasie. Zmiany mogą być znaczne. Oto, na przykład, w astronomii pismem z największą wartością IF jest obecnie "Annual Review of Astronomy and Astrophysics". Wartość jego IF w 1994 roku wyniosła 9,87, podczas gdy w 1995 roku wzrosła do 12,45, a więc o 26 procent! Inne dobre czasopismo astronomiczne, "Publications of the Astronomical Society of Japan", zmniejszyło impact factor z 2,05 w 1994 roku do 1,40 w 1995 roku, a więc o jedną trzecią.

Widać, że stosowanie wartości IF do ważenia osiągnięć poszczególnych badaczy może prowadzić do absurdu, skoro te wagi podlegają znacznym fluktuacjom, niezależnym od wartości samych prac. Dlatego, powtarzam, istotna jest liczba cytowań danej pracy, a nie sama charakterystyka czasopisma, w którym została ona opublikowana. Oczywiście, tę średnią liczbę cytowań można stosować tylko z wielką ostrożnością, o czym parokrotnie już pisałem (patrz: Co należy wiedzieć o cytowaniach prac naukowych, "Sprawy Nauki", nr 2/96, str. 3-8). Ogólna zasada naukometryczna jest następująca: im większa próba, tym bardziej wiarygodny wynik. Zatem średnia liczba cytowań może dobrze charakteryzować poziom nauki w danym kraju (w danej dziedzinie), gorzej - w danej instytucji, a już zupełnie mało jest warta do porównywania osiągnięć indywidualnych badaczy.

Prof. dr hab. Andrzej Kajetan Wróblewski pracuje na Wydziale Fizyki Uniwersytetu Warszawskiego.

Uwagi.