Polemiki

Indeksy ISI oferują narzędzia o charakterze statystycznym, 
czyli że nie wykluczają pomyłek w indywidualnych przypadkach, 
ale systematycznie i ostrożnie stosowane takie błędy de facto wykluczają.

Grzegorz Racki

Dr Władysław Kraus (WK) raz jeszcze i bardzo obszernie przedstawił na łamach „Forum Akademickiego” możliwości wykorzystania baz cytowań filadelfijskiego Institute for Scientific Information (ISI) w ocenie osiągnięć naukowych („FA” 11, 12/2000; 2, 3, 6/2001). Można odnieść wrażenie, iż autor postawił przed sobą dwa podstawowe cele: wykazanie nie tylko bezsensu metod naukometrycznych, ale i tego, że myślący inaczej to niedouczeni oportuniści lub w najlepszym razie osoby łatwowierne i zwiedzione rzekomym postępem.

Wielowątkowość i chaotyczność wywodu, a szczególnie aluzyjny sposób prezentacji argumentów i wniosków, utrudniają percepcję długich tekstów, a tym samym jednoznaczną replikę. Na wstępie zwracam uwagę, że jedna trzecia artykułu Laterna magika („FA” 11/2000) poświęcona jest mojej osobie, choć często w zakamuflowanej formie („jeden z polemistów”) i bez widocznego związku z meritum dyskusji. Zakładam jednak, że ów nadmiar zainteresowania związany jest generalnie z sednem sporu w postaci dylematu: korzystać czy nie korzystać z indeksów cytowań? Choć często ważne jest to, co napisał WK, to jeszcze ważniejsze są kwestie, które pominął. Symptomatyczne niedomówienia pokażę na przykładzie wybranych wyników monitoringu naukometrycznego Uniwersytetu Śląskiego, przede wszystkim Wydziału Nauk o Ziemi (WNoZ).

Żeby nie pogłębiać już bałaganu pojęciowego, odnoszę się wyłącznie do oceny badaczy i zespołów (instytucji) naukowych, a nie wniosków grantowych czy całych kierunków badań. Co ważniejsze, z trzech potencjalnych wskaźników dyskusję ograniczam tylko do dwóch najważniejszych: 1. liczby publikacji w renomowanych czasopismach (źródłowych dla ISI – z tzw. listy filadelfijskiej; „Sprawy Nauki” 42/1998), będącej miarą aktywności naukowej, oraz 2. liczby cytowań odzwierciedlającej ważność tych prac i ich odbiór przez środowisko. Nie podejmuję szerzej tematu trzeciego wskaźnika – wpływu czasopism (Impact Factor, IF), gdyż termin ten nie pojawił się w moim tekście Przeciw zaściankowości w nauce („FA” 3/2000), zdyskredytowanym przez WK. Skupię się na pokazaniu dwuznaczności statystyk cytowań, ale wyłącznie przy ich uproszczonej analizie. Jest to poniekąd odkrywanie na nowo Ameryki po instruktażowych artykułach prof. Andrzeja K. Wróblewskiego.

JAK LICZYĆ CYTOWANIA?

WK protestuje przeciw podejmowaniu przeze mnie prób porównywania wyrwanych z kontekstu surowych liczb, co stanowi grzech główny przeciw wyznawanej przez Garfielda zawsze i wszędzie zasadzie porównywania „jabłek z jabłkami”. Konkretów brak i dalibóg, nie wiem, w którym miejscu taki metodyczny występek popełniłem. Może chodzić – sądząc z dalszych dywagacji WK – jedynie o przytoczoną z artykułu innego autora pokaźną liczbę cytowań prac prof. Ireny Marszakowej-Szajkiewicz.

WK stwierdza: z ciekawości zajrzałem do bazy cytowań SCI, aby się czegoś dowiedzieć o autorze szeroko korzystającym z wywodzących się z niej statystyk, i następnie ciągnie wywód, w którym moja osoba jawi się jako hochsztapler sztucznie kreujący swoje imponujące statystyki cytowań. Zachęcająca blisko setka „wejść” do Science Citation Index Expanded (SCI Ex) w 80 proc. odnosi się bowiem do polskiego czasopisma, 2/3 to samocytowania, a solidnych odniesień jest co najwyżej kilkanaście. Sęk w tym, że tego typu nieobrobionych informacji z baz ISI na ogół nie przedstawiam. Zawsze natomiast podaję metodyczno-statystyczne ograniczenia prezentowanych analiz, co można łatwo sprawdzić pod adresami: www.bg.us.edu.pl/Pelnomocnik. htm i gu.us.edu.pl. Również w zestawieniu dorobku WNoZ UŚ figurują dane znacznie przetworzone (m.in. bez samocytowań; „Gazeta Uniwersytecka UŚ” 2/2000). Są to zatem WSKAŹNIKI CYTOWAŃ. By uniknąć dalszych nieporozumień terminologicznych, odróżniam powołania (wszystkie odniesienia łącznie z samocytowaniami) od właściwych cytowań przez innych autorów. Ale sprawa i tak komplikuje się np. w przypadku prac zespołowych: jak zakwalifikować odniesienia do takich publikacji przez współautorów w ich kolejnych artykułach?

Niebezpieczeństwo bezkrytycznej wiary w surowe liczby z SCI nie podlega żadnej dyskusji. Problem dotarcia do prawdziwego zbioru cytowań jest jednak bardziej złożony, gdyż nie jest to możliwe bez znajomości pełnej bibliografii prac danego autora. W praktyce należy sprawdzać cały dorobek danego naukowca jako współautora umieszczonego na dalszym miejscu w zespole autorskim. Znaną ułomnością baz ISI jest skrótowy zapis literatury cytowanej pod nazwiskiem jedynie PIERWSZEGO autora. Są więc też cytowania ukryte!

Biorąc to wszystko pod uwagę, stosunek surowej liczby powołań do wartości „obrobionego” wskaźnika cytowań zależy od relacji względnych między samocytowaniami (te odejmujemy) a cytowaniami ukrytymi (te dodajemy). W przypadku dobrze bibliograficznie udokumentowanej czołówki rankingu WNoZ, przy niewielkim udziale cytowań in house i współautorskich, stosunek powołania/cytowania w latach 1996-2000 wahał się od 1,9 (G. Racki; 95 do 50) do 0,6 (K. Klimek; 26 do 47).

STAN PERMANENTNY CZY CHWILOWY?

W świetle swoich 15-letnich doświadczeń WK uznał 66-proc. udział samocytowań za często spotykany. Twierdzenie to jest zupełnie nieuzasadnione. Jeśli istotnie byłaby to jakaś norma, to dane z indeksów filadelfijskich dla większości uczonych odzwierciedlałyby głównie statystyki samocytowań. Międzynarodowy obieg informacji w nauce to fikcja, gdyż większość tych informacji adresujemy do nas samych.

Samocytowań nie ma na pewno tylko autor jednej pracy. Liczba powołań odzwierciedla sukcesy zarówno w rosnącej konkurencji „w zauważaniu” przez innych w światowej nauce, jak i w publikowaniu w klasowych czasopismach. Omawiane przez WK proporcje w powołaniach uważam za nietypowe i przejściowe: w moim przypadku są one wynikiem (nad)aktywności publikacyjnej na forum międzynarodowym w latach 1998-99. Nawet na początkowym etapie asymilacji wyników badań proporcje te nie muszą być aż takie, jak podaje WK: wśród potencjalnych 20 hot papers UŚ z lat 1996-98, głównie z fizyki, tylko 2 posiadały dominujący udział samocytowań, a 4 uzyskały wyłącznie cytowania zewnętrzne („GU UŚ” 10/2000).

WYRYWANIE Z KONTEKSTU

WK wypomina propagatorom naukometrii, iż po lekturze ich artykułów czytelnik czuje się zarzucony mnóstwem różnorakich liczb, których (...) nie sposób ani porównywać, ani ocenić stopnia ich ważności („FA” 12/2000). Domaga się prezentacji źródeł i kontekstu twierdzeń – i to w kontekście zarzutu nieznajomości literatury przedmiotu. Dokładnie takie same odczucia mam po niezbyt udanych próbach zrozumienia wielu wywodów WK. Serie liczb, przytaczane z często niepodanych prac zagranicznych, mogą czasem świadczyć o ignorancji „eksperta”. Na przykład, WK medytuje nad podziałem nauki w SCI i kwestionuje liczbę 105 dyscyplin wymienioną przez Marszakową-Szajkiewicz. Tymczasem liczba ta odnosi się do bazy statystycznej National Science Indicators, a nie do SCI. Taki sam czysto dezinformacyjny sens mają rozterki nad liczbowym wymiarem listy filadelfijskiej w „FA” 6/2001. W 8669 przypadkach wystarczy sprawdzić pod adresem: www.isinet.com/ISI/journals, a ewentualne nieścisłości i pomyłki (na pewno takie są) wyjaśnić korespondencyjnie z ISI.

Bulwersujące dane o cytowaniach publikacji Breżniewa i fałszerstwach czy o rekordowych liczbach publikacji odzwierciedlają na pewno karykaturalne zjawiska we współczesnej nauce. Bazy danych jedynie DOKUMENTUJĄ te i inne jej aspekty. Czy gdyby nie było SCI i Medline, gastroenterolog-rekordzista nie publikowałby co dwa i pół dnia? Ważne są jednak detale tej superaktywności, takie jak udział publikacji zespołowych i abstraktów konferencyjnych, zamieszczanych np. w miesięczniku „Gastroenterology”. A poza tym: jaka jest cytowalność takiej masowej produkcji?

WK przytacza wybiórczo opinie E. Garfielda z lat poprzednich, a lepiej jest znać w całości i na bieżąco poglądy twórcy baz ISI (patrz: www.garfield.library.upenn.edu/pub.html), posiadającego prawie 50-letnią praktykę jako badacz informacji (information scientist). Tak np. ocenia on w 2000 r. stosowanie kontrowersyjnego IF do ewaluacji wyłącznie BIEŻĄCEJ (co podkreślam) produkcji naukowej: użycie IF do wyznaczenia wpływu pracy jest równoznaczne z predykcją; i dalej: nie jest to doskonałe narzędzie do pomiaru jakości artykułów, ale nie ma nic lepszego (...). Doświadczenie pokazało, że w każdej specjalności najlepsze czasopisma to te, w których artykuł jest najtrudniej akceptowany i te czasopisma mają wysoki IF. Czasopisma te powstały długo przed tym, nim IF został wymyślony. Stosowanie IF jako miary jakości jest dlatego powszechne, gdyż zgadza się ono dobrze z opinią (...), które czasopisma są najlepsze w naszej specjalności.

JAK ROZLICZYĆ GRANT?

WK nie podał nazwy czasopisma, którego tematyczny numer zbadał pod kątem wzajemnych powołań. A chodziło o specjalne wydanie „Acta Paleontologica Polonica” (APP; 43/2, 1998), prezentujące wyniki międzynarodowego projektu poświęconego wielkiej katastrofie ekologicznej sprzed 376 milionów lat. Do najważniejszych moich osiągnięć zaliczam właśnie zainicjowanie i współredagowanie tego opracowania na temat wymierania bardzo ważnej wówczas grupy zwierząt morskich, ramienionogów (Brachiopoda). W zespole autorów udało mi się skupić w zasadzie wszystkich specjalistów z zakresu tej tematyki z ośrodków krajowych i zagranicznych – z Rosji, Belgii, USA, Kanady i Chin (www.paleo.pan.pl/acta/acta43-2.htm). Z monograficznego charakteru tomu i wzajemnego recenzowania wynikają owe „naganne” powiązania bibliograficzne, skądinąd obowiązkowe w paleontologii systematycznej (wymóg synonimiki). Co ważniejsze, 3 artykuły z moim udziałem poświęcone były faunie Gór Świętokrzyskich, ale to ja byłem w ostatnich 20 latach w zasadzie jedynym badaczem tej problematyki. Czyjeż to prace mieliśmy więc przytaczać?

Z rozważań WK zdaje się wynikać, iż takie tematyczne wydania polskich czasopism są drogą na skróty w karierze naukowej poprzez lawinową poprawę wskaźników w SCI i marnowaniem pieniędzy podatników. „Kwartalnik Instytutu Paleobiologii PAN” jest jedynym polskim periodykiem z zakresu nauk o Ziemi indeksowanym przez ISI od 1996 r. O żmudnym dochodzeniu do tej wysokiej klasy międzynarodowej (IF = 0,851 w 1999 r.) warto przeczytać w artykule prof. Jerzego Dzika („Przegląd Geologiczny” 44/8, 1996). Wspomniana monografia zawiera wyniki badań finansowanych w części polskiej jako grant KBN. Tego typu finał należy do pozytywnych wyjątków w naukach o Ziemi. Zostało to potwierdzone najwyższą możliwą oceną. Zamierzam tę formę rozliczeń z państwowym sponsorem kontynuować już na forum zagranicznym.

Za chwyt polemiczny poniżej pasa uważam stwierdzenie, że dotychczasowy stan cytowań ww. numeru APP nie świadczy o żadnym „trzęsieniu ziemi”. W ciągu krótkiego czasu w tak małej dyscyplinie jak paleontologia (27 czasopism w SCI Ex) takie sytuacje zdarzają się niezmiernie rzadko, zwłaszcza wśród prac o charakterze dokumentacji taksonomicznej. Proszę o cierpliwość i danie szansy jeszcze choć przez 2 lata.

ZROBIĆ WODĘ Z MÓZGU

Po lekturze trudnych tekstów autorstwa WK czytelnik zostaje pozostawiony z niejasnym przekonaniem, że cała ta zabawa dotyczy szumu informacyjnego. Należałoby zwątpić w sens jakichkolwiek analiz statystyczno-porównawczych działalności naukowej. Wszystko jest z gruntu podejrzane, en bloc dwuznaczne i możliwe do ośmieszenia. Jak zatem wytłumaczyć liczne przykłady zgodności uznaniowych opinii ekspertów (peer review) z wynikami analiz rzekomej fikcji propagowanej przez ISI? Jedno podejście nie wyklucza przecież drugiego. Relacje te były nieraz sprawdzane na świecie (patrz: M. Skalska-Zlat, „Zagadnienia Naukoznawstwa” 31/3-4, 1995), a niedawno potwierdzone na przykładzie angielskich ośrodków akademickich z kręgu biznesu i zarządzania przez P.R. Thomasa i D.S. Watkinsa („Scientometrics” 41/4, 1998). Z polskich przykładów przypomnę ranking uczelni A.K. Wróblewskiego w „FA” nr 9/1998. Trudno nie zgodzić się z wnioskiem płynącym ze wspominanej przez WK konferencji na Capri w 1996 r., iż oba sposoby ewaluacji są w istocie komplementarne.

Trudno natomiast popierać popularyzowanie konieczności szerokiego wychodzenia poza wykazy ISI (z wyjątkiem humanistyki), a zwłaszcza lansowanie poglądu o braku zależności wskaźników cytowań od miejsca publikowania w naszej części Europy. Szkoda, że akurat na omówienie tego tak ważnego i zaskakującego wniosku zabrakło miejsca w „FA”. Bo skoro tak jest, to publikujmy byle gdzie, a reszta świata niech sama zabiega o dotarcie do naszych prac. Zasadę per aspera ad astra potwierdza szybki rozwój WNoZ UŚ, który doszedł niedawno do pełni praw akademickich i pierwszej kategorii KBN, w dużej mierze dzięki konsekwentnemu stosowaniu od 1992 r. oceny parametrycznej i faworyzowaniu listy filadelfijskiej przy podziale dotacji na badania statutowe. W końcu awans na stopnie i tytuł naukowy wiąże się właśnie z wymogiem jak najszerszego rozpowszechnienia i akceptacji wyników naszych badań. Powszechne zrozumienie tych, niby oczywistych, uwarunkowań to REALNY efekt przebudowy świadomości stymulowany środkami naukometrycznymi. W tabeli pokazuję, ile razy częściej cytowane są artykuły zarejestrowane przez ISI od pozostałych prac, tak w języku angielskim, jak i polskim. Nic dziwnego, że liczba cytowań potroiła się po fali znaczących publikacji w latach 1996-98. Koresponduje to z innymi polskimi doświadczeniami, np. w biologii (M. Żylicz, „Sprawy Nauki” 46, 1999), a przede wszystkim w chemii (L. Piela, „Zagadnienia Naukoznawstwa” 31/3-4, 1995), nie wiedzieć czemu ignorowanymi przez tak wytrwałego polemistę-chemika, jakim jest WK.

Sumując, trzeba raz jeszcze podkreślić, że indeksy ISI oferują narzędzia o charakterze statystycznym, czyli że nie wykluczają pomyłek w indywidualnych przypadkach, ale systematycznie i ostrożnie stosowane takie błędy de facto wykluczają. Choćby WK został nawet stałym felietonistą, to czy opisywane przez niego przypadki są w stanie podważyć wiarygodność światowych rejestrów, których zasoby powiększają się o ponad milion opisów rocznie? Żeby było jasne – ma rację WK, gdy uwypukla potrzebę wyważonego posługiwania się bazami cytowań. Sedno sprawy tkwi jednak w uporczywym eksponowaniu wyjątków i jednoczesnym zatajaniu reguł. I ta tendencyjność właśnie podważa moją wiarę w publicystyczną rzetelność dr. Krausa, gdyż pociąga to za sobą tylko dodatkowe zamieszanie w tej i tak niezbyt konstruktywnej, chaotycznej debacie.

Dr hab. Grzegorz Racki, prof. UŚ, geolog, paleontolog, jest kierownikiem Zakładu Stratygrafii Ekosystemowej UŚ i pełnomocnikiem rektora ds. analizy naukometrycznej w UŚ.

Komentarze