Strona główna „Forum Akademickiego”

Archiwum z roku 1999

Spis treści numeru 5/1999

Podaj swój wskaznik!
Poprzedni Następny

Czy współczynnik opracowany przez amerykański
Instytut Informacji Naukowej jest parametrem na tyle obiektywnym
i uniwersalnym, by można go stosować bezkrytycznie w polskiej nauce?

Anna Machalska-Garbacz


Rys. Małgorzata Gnyś-Wysocka

Od czasu wprowadzenia przez KBN nowych kryteriów oceny dorobku naukowego znacznie wzrosło zainteresowanie autorów tzw. współczynnikiem wpływu publikacji (ang. impact factor - IF). Przedmiotem poszukiwań stały się definicje terminu, a zwłaszcza listy rejestrujące wartości liczbowe tego współczynnika.
Współczynnik wpływu odnoszący się do konkretnego czasopisma pozwala na określenie wartości merytorycznej publikowanych w nim artykułów. Wartość ta mierzona jest liczbą cytowań tych artykułów w innych publikacjach. Impact factor jest wykorzystywany coraz częściej do oceny działalności naukowej pracowników naukowych i instytucji badawczych. Ocena ta, jak wiadomo, ma bezpośredni skutek w postaci przyznawanych dotacji, stąd tak szerokie zainteresowanie tym współczynnikiem.

JAK TO SIĘ LICZY?

Dla lepszego zrozumienia, jaką wartość wyraża impact factor, proponuję zapoznanie się ze sposobem obliczania tego współczynnika. IF wybranego tytułu czasopisma na rok 1994 określa się następująco: liczbę cytowań, jakie ukazały się w różnych czasopismach w roku 1994, a dotyczyły artykułów opublikowanych w tym czasopiśmie w latach 1992 i 1993, dzieli się przez liczbę wszystkich artykułów opublikowanych w tym czasopiśmie w latach 1992 i 1993. Tak więc, jeżeli dane czasopismo opublikowało odpowiednio w 1992 roku 150 artykułów, a w roku 1993 - 160 i artykuły te były cytowane w 1994 roku 151 razy, to IF dla danego czasopisma w roku 1994 będzie wynosił 151/310 czyli 0,487. Przykład ten wzięłam z opracowania autorów brazylijskich, zatytułowanego The impact factor as a criterion for the quality of scientific production is a relative, non abolute, measure, opublikowanego w "Brazilian Journal of Medical and Biological Research" (nr 29/96, s. 555-561), dostępnego jakiś czas temu w Internecie.

Prof. Roman Kołacz, w wywiadzie na temat udziału polskich uczonych w programach europejskich, stwierdza: Pracownicy, którzy bez przeszkód chcą awansować, muszą publikować w uznanych czasopismach o zasięgu międzynarodowym. W naszej mentalności wciąż pokutuje stereotyp liczby prac, jako podstawy oceny dorobku naukowego. Uwzględnienie w punktacji impact factor danego czasopisma sprawi, iż okaże się, że lepiej jest publikować jedną pracę na dwa lata w dobrym czasopiśmie, niż kilka prac rocznie w czasopismach o niskim impact factor. (Udział w programach europejskich to konieczność, "Głos Uczelni", pismo UMK w Toruniu nr 54/99).

Czy rzeczywiście impact factor można uznać za podstawę oceny dorobku naukowego? Czy współczynnik opracowany przez amerykański Instytut Informacji Naukowej (ISI) jest parametrem na tyle obiektywnym i uniwersalnym, by można go stosować bezkrytycznie w polskiej nauce? Przytoczone poniżej opinie wnoszą wiele uwag krytycznych pod adresem omawianego współczynnika. Większość z nich pochodzi z Internetu.

TRZEJ AUTORZY BRAZYLIJSCY

Liczba odpowiedzi na hasło impact factor, sięgająca setek tysięcy stron, świadczy, że zainteresowanie tematem jest powszechne, również za granicą. Zdecydowana większość znalezionych stron zawierała mniej lub bardziej kompletne listy rankingowe tytułów czasopism, ale były również publikacje dotyczące przydatności IF do oceny dorobku naukowego.

Interesującą i dokładną analizę omawianego problemu przeprowadzili trzej autorzy brazylijscy we wspomnianej już publikacji. Krytykując stosowanie IF jako bezwzględnego kryterium oceny wartości naukowej zwracają uwagę, że na wartość IF mają wpływ różne, nie związane z treścią artykułów czynniki, jak choćby liczba uwzględnianych przez ISI tytułów z wybranej dziedziny wiedzy. Im więcej tytułów, tym większy krąg czytelników, czyli potencjalnych "cytujących".

Autorzy twierdzą dalej, że liczba wykorzystywanych i cytowanych publikacji zmienia się w sposób istotny w zależności od dziedziny wiedzy. W dziedzinie biochemii cytowanych pozycji bibliograficznych jest na ogół trzy razy więcej niż w pracach matematycznych. Podobne różnice występują, jeżeli bierze się pod uwagę rodzaj publikacji. Na przykład w dziedzinie techniki książki czy materiały konferencyjne są cytowane równie często, jak artykuły z czasopism, a nie mają swojego impact factor.

Nie bez znaczenia dla rzetelnej oceny wartości naukowej czasopisma jest jego zasięg terytorialny, wyznaczany głównie przez język publikacji. Jeżeli nie jest to jeden z języków uznanych za międzynarodowe, to nawet materiały o najwyższej wartości naukowej nie zostaną "zauważone" przez impact factor.

Problem ten dotyczy zwłaszcza takich dziedzin, jak geologia, zdrowie publiczne, ochrona środowiska. Są też dziedziny wiedzy, jak technika kosmiczna czy badania wszechświata, w których większość publikacji prezentuje bardzo wysoki poziom naukowy, ale z racji małego kręgu odbiorców mają bardzo niski impact factor. Z kolei publikacje dotyczące metod klasycznych, obowiązujących od szeregu lat, gromadzą dużą liczbę cytowań, mimo że nie wnoszą do nauki nic nowego.

Na podstawie szczegółowych wyliczeń autorzy wykazują, jak różnie w rankingach wartości układa się kolejność tych samych tytułów, w zależności od zastosowanego współczynnika (oprócz IF, ISI stosuje do oceny czasopism szereg innych współczynników). Uważają, że zastosowanie współczynnika wpływu powinno się ograniczyć do celów porównawczych.

Autorzy przestrzegają przed bezmyślnym stosowaniem IF jako kryterium przyznawania preferencji finansowych. Praktyka taka prowadzi, według nich, do sztucznego podnoszenia wartości liczbowej cytowań poprzez samocytacje, a zwłaszcza cytacje "grzecznościowe". Osobnym problemem są cytacje negatywne, krytykujące autora i paradoksalnie zwiększające jego szanse na dotacje.

Autorzy proponują sposoby bardziej racjonalnego wykorzystania IF i przedstawiają szereg interesujących uwag i sugestii, jak na przykład wprowadzenie do obliczeń kombinacji dwóch współczynników (IF i half-live).

KIEPSKI BAROMETR

Gerard Leroy ("Impact Factor" www.lille.inserm.fr/u422/IF.html) w lekkim i dowcipnym, jak przystało na Francuza, tonie krytykuje powszechny entuzjazm dla IF, nazywając go ironicznie "podstawowym odkryciem badawczym" naszych czasów i uniwersalnym barometrem do oceny badacza, przyznawania kredytów i kontraktów. Posługując się konkretnymi tytułami udowadnia, że największym IF cieszą się czasopisma o charakterze bardzo ogólnym, mające w związku z tym szeroki krąg odbiorców. Konsekwencją ogólności tematyki jest brak rzetelności i wnikliwości cechującej autorów specjalizujących się w ściśle określonej dziedzinie wiedzy.

Podobnie rzecz się ma z tytułami zajmującymi się dziedzinami w danej chwili modnymi i szeroko eksploatowanymi. Obecnie taką dziedziną jest biologia molekularna. Według autora, stosowanie kryterium IF powoduje upolitycznienie badań naukowych, w sensie dostosowania ich tematyki do aktualnych potrzeb gospodarki lub polityki państwa.

Krytykując powszechną akceptację IF jako wyłącznego kryterium oceny osiągnięć naukowych autor przestrzega przed sytuacją, w której naukowiec, zamiast szukać nowych rozwiązań, całą energię będzie przeznaczał na staranie o umieszczenie swej publikacji w czasopiśmie o wysokim IF.

KAPŁANI VOODOO

Jeszcze dalej w dosadnym słownictwie posuwa się autor publikacji Voodoo Bibliometrics? Journal Impact Factor Scores may be misleading (www.med. virginia.edu/hs-library/newslett... pril/tools), przyrównując bibliometrię do bałwochwalczych praktyk religii afrykańskich. Cytowane są w niej krytyczne opinie dwóch autorów amerykańskich opublikowane w "Journal of The American Society for Information Science" (Moed HF, Leeuwen ThN.: Improving the accuracy of Institute for Scientific Information's Journal Impact Factors, JASIS 1995, nr 6, s. 461-7). Autorzy przestrzegają przed formowaniem oceny czasopisma wyłącznie na podstawie IF. Ich zastrzeżenia dotyczą samego sposobu obliczania IF.

Ponieważ IF jest stosunkiem artykułów cytowanych do ogólnej liczby artykułów w danym czasopiśmie, istotna jest całkowita liczba tak pierwszych, jak drugich. Tymczasem do liczby artykułów cytowanych wlicza się cytacje wszystkich publikacji zamieszczonych w danym tytule czasopisma (w tym listów do wydawcy, komentarzy, not wydawniczych), natomiast do ogólnej liczby artykułów - tylko artykuły podstawowe i prace przeglądowe. Ponieważ, według autorów, w niektórych dziedzinach wiedzy, np. w medycynie, bardzo często cytuje się publikacje nieuwzględniane w ogólnej liczbie artykułów, wartość IF jest mylna.

W celu podniesienia dokładności oceny autorzy proponują, aby współczynnik IF przyznawać dla poszczególnych rodzajów publikacji i dla określonych wąskich dziedzin wiedzy (subfields).

JEDEN Z WIELU

Na koniec dwie opinie pochodzące bezpośrednio z Institute for Scientific Information w Filadelfii. Twórca i autorytet tej instytucji, dr Eugene Garfield, w eseju Using the Impact Factor. Prestige and Impact (www.isinet.com/essays/essay8.html) przyznaje, że wcale nierzadko opinia uczonych na temat danego czasopisma różni się wyraźnie od oceny wynikającej z tabeli impact factor. Różnice te występują zwłaszcza w górnych i dolnych rejestrach skali wartości tego współczynnika. Autor przypomina, że IF jest tylko jednym z wielu opracowanych przez ISI narzędzi oceny wartości naukowej publikacji. Oceniając dane czasopismo należy każdorazowo dobierać inny współczynnik, w zależności od ściśle określonych wymagań użytkownika i celów, jakim ma służyć ocena.

Podobnie instrukcja obsługi elektronicznej wersji JCR ("Journal of Citation Reports") - www.ou.dk/oub/ material/jcitrep.html - zaleca zdrowy rozsądek przy korzystaniu z IF (using wisely). Autorzy przestrzegają, by w ocenie czasopisma nie zdawać się wyłącznie na liczbę cytacji. Liczba cytowań zależy bowiem od wielu czynników, takich jak: język publikacji, zmiany wydawnicze (format, objętość czasopisma), terminarz wydawniczy (publikacje z pierwszych numerów mają większe szanse cytowania w tym samym roku). Na wartość IF mają wpływ także: rodzaj publikacji, czas jaki minął od opublikowania (najczęściej cytowane są artykuły w pierwszym roku po opublikowaniu), zmiana tytułu (przez pierwszy rok po zmianie nie oblicza się IF), zaprzestanie lub czasowe zawieszenie wydawania czasopisma (czasopismo jest wtedy wyłącznie cytowane).

Czy wobec tylu zastrzeżeń impact factor ma być nadal podstawowym parametrem oceny? A może zostaną podjęte polskie badania naukometryczne, pozwalające na utworzenie krajowego systemu oceny? Pierwsze próby już podjęto. W Uniwersytecie Mikołaja Kopernika w Toruniu opracowano indeks cytowań socjologii polskiej (Nowak P., Impact factor polskich czasopism naukowych z dziedziny nauk humanistycznych. Problemy i metody nauki o informacji. Szkice i studia, 1998, s.128).

Prof. Wiesław Jędrzejczak (Nauka i pieniądze, www.nil.org.pl/gazeta/ gl97/05-97-18.htm) uważa, że niezależnie od wymienionych wad, impact factor jako parametr liczbowy zachowuje cechy obiektywizmu: Wskaźnik cytowania i punkty impaktowe nie są być może pozbawione wad. Mają jednak zaletę bycia kryteriami obiektywnymi, na które zainteresowani mogą wpływać jedynie robiąc lepsze badania i lepiej je publikując. A o to przecież chodzi! Dla osób, które nie chcą tego robić, są to kryteria niewygodne, eliminujące zakulisowe rozgrywki i dlatego takie osoby są zaciętymi przeciwnikami tych kryteriów. Można zawołać: przeciwniku wskaźnika cytowania, podaj swój wskaźnik!

Mgr Anna Machalska-Garbacz pracuje w Bibliotece Głównej AGH w Krakowie.

Uwagi.