Życie akademickie

Wydaje się praktycznie niemożliwe podanie jednoznacznej definicji 
tzw. listy filadelfijskiej.

Władysław Kraus

Na początku lat 70. zamówiono w Wielkiej Brytanii szereg raportów o stanie i przyszłości nauki w tym kraju (ministrem oświaty i nauki była wówczas Margaret Thatcher, która objęła następnie urząd premiera). Mogliśmy w nich przeczytać, że: Rządowe agendy muszą mieć dostęp do pomocy i niezależnej rady zaangażowanych w badania naukowe o strategicznym i podstawowym znaczeniu, które wspomogą pracę wielu takich agend. Jest rzeczą niezbędną, aby rada i informacja z tego źródła była wolna od względów natury administracyjnej i politycznej; nie oznacza to jednak, ażeby tworzenie polityki w zakresie tych nauk odbywało się bez właściwego odniesienia się do publicznej linii postępowania (tzw. Raport Daintona, The Future of the Research Council System, listopad 1971). Jednak: Choćby uczeni byli wybitni, inteligentni i obdarzeni zmysłem praktycznym, nie mogą nigdy posiadać tak wysokich kwalifikacji, aby decydować, jakie potrzeby ma naród i jakie są jego priorytety (tzw. Raport Rothschilda, The Organisation and Management of Government R&D, listopad 1971).

RANKING INSTYTUCJI

Można by się z tym poglądem zgodzić czytając urzędową „instrukcję” tzw. oceny parametrycznej, z której dowiadujemy się, że istnieją publikacje w czasopiśmie recenzowanym o zasięgu co najmniej krajowym w dziedzinie, w której narzędziem opisu jest język etniczny, a przedmiotem badania są teksty kultury w tym języku tworzonej. Pojawia się w tym momencie wątpliwość, czy działalność naukowa prowadzi do rozwoju kultury narodowej? Sądzić można, że pracę o filozofii po góralsku ogłoszoną gwarą można by ocenić na 6-24 pkt. O podobnej pracy ogłoszonej po polsku z góry wiadomo, że musi być warta 1-6 pkt. nie daj Boże jednak, by została ogłoszona „lokalnie”, wtedy bowiem – w opinii twórców „instrukcji” – jej ocena spada poniżej 1 pkt. W ostatecznym rozrachunku decyduje jednak „urzędnicze” przypisanie miejsca publikacji pracy. jeśli będzie to – bliżej nieokreślona w „instrukcji” – tzw. lista filadelfijska, biedy nie ma. Petent w tej materii niedokształcony musi wesprzeć się prostymi przykładami, aby problem zgłębić. Na szczęście, takie pomoce zaczęły się już pojawiać. Jedna z nich, zatytułowana Punktacja KBN/Ranking za rok 2000/Obowiązujący w roku 2001/Czasopisma polskie/Kolejność alfabetyczna, grupy INDEX COPERNICUS The Scientific Journals Ranking System, uzyskała obecną postać 14 marca 2001 r. Formuła w nagłówku: Ranking zatwierdzony przez... oznacza urzędową akceptację, a naukowe stopnie i tytuły autorów – pewność, że rzecz dotyczy, jak napisano, czasopism naukowych.

„Ranking” obejmuje ich 315, w tym takie, jak: „Ciepłownictwo, Ogrzewanie, Wentylacja”, „Ekonomista”, „Przegląd Elektrotechniczny”, „Przegląd Włókienniczy”, „Inżynieria Chemiczna i Procesowa”, „Zagadnienia Ekonomiki Rolnej”, liczne czasopisma chemiczne, rolnicze i techniczne oraz wydawnictwa uczelniane i ich serie tematyczne, co usuwa obawy o zawężenie listy do specjalności naukowych jej autorów. Od razu można również dostrzec, że autorzy dążyli do wdrożenia zasad „instrukcji” – „ranking” dość wyraźnie sugeruje, że oceny wyższe niż 5,0 pkt. mogą uzyskać wyłącznie tytuły objęte Current Contents. Z drugiej strony, żadnego tytułu nie oceniono wyżej niż 9,0 pkt. (jedno czasopismo; „instrukcja” dopuszcza nawet 24,0 pkt.), co dowodziłoby względnie marnego statusu polskich czasopism. Być może jednak świadczy tylko o daleko posuniętej ostrożności autorów. Nasuwa to myśl, że kryterium stanowi obecność informacji o czasopiśmie w produktach firmy ISI. Jakich? tego dokładnie nie wiadomo.

PONAD DWA RAZY WIĘCEJ

System ISI opiera się na liście tzw. Master File (LMF) czasopism, co oznacza ich zbiór podstawowy. Pisał o niej prof. Prost („FA” 7-8/2000) starając się z nią utożsamić tzw. listę filadelfijską. Jej zawartość zmienia się z czasem: w marcu br. liczyła 8663 czasopisma, w tym 41 polskich (31 podał prof. Prost, biorąc za podstawę bazę danych SCI JCR, która zawiera dane jedynie o ok. połowie czasopism LMF; jednego z wyliczonych w LMF brak). Pełnią one rolę tzw. citing sources. Oznacza to, że informacja o innych źródłach (tzw. cited sources) trafia do systemu, jeśli tylko pojawi się wśród odnośników w pracach opublikowanych w citing sources. Aktualne (14 marca 2001) polskie citing sources podaję w tabeli. Podana liczba artykułów (cited sources) odnotowanych w systemie nie informuje, ile razy artykuły te (opublikowane wyłącznie w polskich czasopismach!) cytowano w citing sources (niekoniecznie tylko polskich!). Prac takich jest co najmniej 30 335 (20 637 z objętych „rankingiem” i 9698 z objętych LMF czasopism polskich, w „rankingu” pominiętych). Zakładając ostrożnie, że cytowane prace z tych czasopism stanowią część polskich prac, można ocenić ogólną liczbę takichże, o których, jako cited sources, informacja trafia do systemu ISI. Przyjęcie, że ta „polska” składowa odpowiada 20 proc., daje liczbę rzędu 150 tys. prac (w latach 1996-2000), tj. ponad dwukrotnie większą od podawanej w danych o zasobach polskiej bazy NSI (ok. 60 tys. w latach 80. – „FA” 11/2000), która zapoczątkowała dyskusję o miejscu nauki polskiej w świecie.

Rzut oka na tabelę przekonuje, że autorzy „rankingu” pominęli mniej więcej co trzecie polskie czasopismo z LMF (lecz nie mieli świadomości, że na tej liście figuruje jedno na każde siedem wymienionych). Inna rzecz, że te pominięte czasopisma zwiększają liczbę polskich cited sources o blisko połowę. Wśród pominiętych są „Acta Physica Polonica”, których obie serie przynoszą łącznie blisko siódmą część „polskich” prac, nie mówiąc o tym, że trzy pominięte czasopisma matematyczne: „Acta Arithmetica”, „Fundamenta Mathematicae” i „Studia Mathematica”, odnotowują ich łącznie jeszcze więcej. To przykre, szczególnie w odniesieniu do „Fundamenta Mathematicae”, jednego z naszych najstarszych czasopism naukowych, założonego w celu publikacji prac polskich matematyków w językach obcych, które dało podstawy dzisiejszej czołowej pozycji polskiej matematyki w świecie. Warto dodać, że spośród polskich czasopism z LMF 23 wydaje się w Warszawie, 8 w Krakowie, 3 we Wrocławiu, 2 w Lublinie, a po jednym w Białowieży, Jabłonnie, Łodzi, Olsztynie i Puławach.

To, że czasopisma nie ma na LMF nie oznacza wcale braku informacji o nim w systemie ISI. Najważniejszą jego częścią wydaje się być SCI (3773 czasopisma), stanowiący poprzednią wersję dostępnego obecnie w sieci SCI Expanded (5905); w praktyce ISI odpowiada to zwiększeniu o około połowę liczby czasopism o nazwach rozpoczynających się na każdą z liter alfabetu, czyli z zachowaniem ich wzajemnych proporcji. Ta ostatnia baza obejmuje wszystkie z wyjątkiem jednego („Acta Poloniae Historica”) polskie citing sources (poprzednia wersja tylko 9 z nich). SCI JCR, z którego czerpane są budzące w Polsce największe emocje wartości IF, obejmuje, według materiałów ISI, „około 5 tys.” czasopism, czyli wyraźnie mniej niż SCI Expanded. Określenie to trudno sprecyzować bliżej: Arts & Humanities Citation Index, obejmujący „Acta Poloniae Historica”, dotyczy „około 1400” czasopism, co według bardziej szczegółowego opisu oznaczać ma 1129 tytułów LMF oraz ok. 7 tys. innych. Sumowanie liczb czasopism różnych serii Current Contents daje 8897 tytułów. Wydawać się może, iż winny to być różne kombinacje czasopism LMF. Tak jednak nie jest – np. „Acta Biol. Cracoviensa Ser. Zoologica” występuje na liście SCI Expanded, chociaż w LMF go nie ma.

PRAKTYKA CYTOWANIA

Nie koniec jednak na tym. Nawet jeśli przyjąć, że lista taka jest w przybliżeniu stała, to wcale nie gwarantuje to bezproblemowego dotarcia do informacji o czasopiśmie w zasobach odpowiadającej tej liście bazy danych. Tytuły czasopism są bowiem różnie cytowane przez citing sources, co obrazuje liczba składników sum w kolumnie „liczba artykułów” (podano niektóre z nich). Zdarza się, że jeden sposób przeważa wyraźnie, niekiedy jednak równie często występuje kilka odmiennych sposobów cytowania. Nadto, praktyka cytowania podobnych polskich tytułów może być różna. Przykładem są czasopisma o tytułach „Wiadomości...”. Założenie w trakcie poszukiwań, że „Wiadomości Lekarskie” (169 = 21 + 148) i „Wiadomości Parazytologiczne” (306 = 4 + 298 + 4) z jednej, a „Wiadomości Chemiczne” (209 = 203 + 6) z drugiej strony, są cytowane w podobny sposób, powoduje utratę informacji odnotowanej według wersji pominiętej. Względnie korzystna jest wtedy sytuacja równie często cytowanych w obu wersjach „Wiadomości Botanicznych” (41 = 20 + 19 + 2) – są „lepsze” od niektórych z podanych, chociaż drukowały kilkakrotnie mniej cytowamych prac niż każde z pozostałych „Wiadomości...”. Efekt taki może mieć istotne znaczenie, gdy szacuje się wartości IF, jednoznaczność zapisu w bazie danych jest bowiem podstawą procedur komputerowych.
Sytuację komplikuje jeszcze bardziej zmiana tytułu, co miało miejsce w przypadku publikującego najwięcej cytowanych prac „Polish Journal of Chemistry”. w roku 2000 uzyskało 1228 cytowań („Pol J Chem” – 944, „Polish J Chem” – 97, „Roczniki Chem” – 54, „Rocz Chem” – 102, „Roczn Chem” – 31) do 981 prac (co odpowiada liczbie prac ok. 4 pełnych roczników; dwie najstarsze prace cytowane przez badaczy z Australii, Rosji i Ukrainy pochodziły z 1927 r.). W r. 1998 opublikowało 310 (odliczając dodawane w bazie do niego 25 prac numeru 71/12/1997), a w 1999 – 237 prac. w roku 2000 cytowano 179 z nich, czyli co trzecią drukowaną, łącznie 288 (odpowiednio 178 i 110) razy. Daje to IF = 0,527 (288/547). oszacowane podobnie IF dla lat 1999 i 1998 wyniosły 0,557 i 0,432. Stąd wynika, że IF oceniono na podstawie 23 proc. (288/1228) cytowań czasopisma w roku 2000 (podobnie jak w roku 1996 – „FA” 12/2000). Podany w „rankingu” IF = 0,508 dotyczyć ma roku 1998 („FA” 7-8/2000).

Istnieją co najmniej dwa możliwe powody takiej niezgodności (o ok. 20 proc. większy IF): albo system zlicza cytowania według czasu wprowadzenia prac do bazy (za czym przemawiałoby wspomniane zaliczenie nr 71/12 i innych oraz obserwacja, że nr 69/2 ma datę systemową wcześniejszą od nr 69/1), albo oblicza wskaźniki na podstawie innych danych (jakich, nie wiadomo; baza SCI Expanded obejmuje więcej tytułów niż SCI JCR). W pierwszym przypadku należałoby ustalić, jakie numery czasopisma są związane z daną wartością wskaźnika. Przypadek drugi rodziłby bardziej podstawowe pytanie: co w istocie sprawia, że do bazy JCR (a także LMF) nie trafiają czasopisma drukujące znacznie więcej cytowanych prac od tych, które się w obu bazach znajdują? Argument, że wynika to z „częstości” cytowania cited sources, jest wątpliwy – ponad połowa prac jest cytowana tylko raz, a 90-95 proc. nie więcej niż 4 razy. Obawiam się, że brak wyjaśnienia obu kwestii wyklucza użycie IF jako miary jakości czegokolwiek.

Podobny efekt dotknął zapewne twórców „rankingu”. „Archiwum Ochrony Środowiska” (RK = 2,0 pkt.) i „Archiwum Ochrony Środowiska/Archives of Environmental Protection” (RK = 3,0 pkt.), o tym samym numerze ISSN, uchodzą w nim bowiem za dwa odrębne tytuły. Nie dziwi to, albowiem wśród citing sources SCI Expanded są podobne pary, np. „Proceedings: Annual Reliability and Maintainability Symposium” oraz „Proceedings Annual Reliability and Maintainability Symposium” (różni je jedynie dwukropek w tytule). Dwóm innym czasopismom LMF zmieniono w „rankingu” tytuły, co znacznie utrudni (o ile nie uniemożliwi) odzyskanie informacji o nich, zawartej w bazach ISI.

RÓŻNE LISTY

Istnieją firmy handlujące informacją, podające, które z czasopism oferowanych kolekcji należą do klasy peer-reviewed. ISI, niestety, do takich firm nie należy. Jest to źródłem nieuzasadnionych domniemań, jakoby kolekcje ISI tworzyły tylko czasopisma naukowe i recenzowane, co w dodatku ma świadczyć o ich wyjątkowości i naukowej wartości (nie ustrzegł się tego i prof. Prost, do którego tekstu przeniknęły ponadto, oględnie mówiąc, niedokładne informacje o pracach Bradforda, podawane w opisach produktów ISI). Porównanie LMF z listą ponad 2500 czasopism produktu Academic Search Elite (ASE) pozwala ocenić, jaką część LMF stanowić mogą czasopisma nierecenzowane. LMF obejmuje ok. połowę czasopism ASE, w tym 220 (ok. 20 proc.) czasopism nierecenzowanych, a wśród nich tak znane, jak: „Business Week”, „Down Beat”, „Economist”, „Forbes”, „Foreign Affairs”, „Foreign Policy”, „Fortune”, „Nation”, liczne dotyczące systemów komputerowych (np. „Internetweek”, „Macworld”, „eWeek”) lub różnych grup zainteresowań (np. „Dance Magazine”, „Futurist”) oraz popularnonaukowe ze „Scientific American” na czele. Przyjęcie tego udziału za podstawę szacunku oznacza, że LMF może obejmować nawet ok. 1700 takich nierecenzowanych czasopism. Oczywiste jest, że ich włączenie poszerza grono potencjalnych odbiorców produktów ISI. 

„Forum Akademickie” (jak i „Zagadnienia Naukoznawstwa”) z 4 cytowanymi pracami w bazie wyprzedza pod tym względem niemal połowę czasopism „rankingu” (blisko trzeciej części z nich w ogóle nie odnotowano w bazie), a „Polityka” z 14 takimi tekstami – bez mała 2/3 z nich. W bazie są jednak informacje o ok. 220 czasopismach „rankingu”, podczas gdy jego treść sugeruje, że dotyczy to jedynie 25 z nich. Dla najwyżej ocenionych czasopism „rankingu” spoza LMF (18 tytułów z blisko 1600 cytowanych prac, RK = 5,0 pkt.), o ocenie ICO w zakresie 5,53 – 9,67, odnotowano w bazie 0 – 514 cytowanych prac. Porządek obu wielkości jest jednak odmienny, a problem sposobu cytowania dotyka czwartej części prac. Podobnie 25 czasopism „rankingu” spoza LMF z liczbą cytowanych prac powyżej 75 (łącznie blisko 4 tys. cytowanych prac) oceniono w zakresie ICO 0,00 – 7,10 oraz RK 0,5 – 5,0 pkt., co praktycznie nie ma związku z liczbą drukowanych w nich cytowanych prac. Pominięto natomiast niektóre recenzowane czasopisma drukujące równie wiele takich prac (np. „Wiadomości Chemiczne”).

Z zebranego materiału wynika zatem brak wyraźnego związku pomiędzy „rankingiem” (ocenami RK i ICO) a informacjami o czasopismach zawartymi w bazie SCI Expanded (i bazach pochodnych). Rodzi to wątpliwość, że pojęcie „lista filadelfijska” nie ma bezpośredniego związku z produktami ISI. Konkurencyjna hipoteza sugeruje, że można je wywieść z afektu do miejscowości Delfy. dowodzić tego miałaby zarówno jej wieloznaczność, jak i to, że ma służyć do budowy modeli antycypujących zdarzenia przyszłe, w szczególności ekonomiczne. Uważa się jednak, że istota problemu tkwi w tym, czy osoba, która niegdyś weszła w posiadanie jakiejś podobnej listy – bez względu na to, co ta nazwa oznacza – była w miejscu, w którym do tego zdarzenia doszło tylko przejazdem, czy też dysponowała dostateczną ilością czasu, by móc się zorientować, co tak w istocie rzeczona lista zawiera.

Sumując – zależnie od wyboru produktu ISI użytkownik systemu będzie używać odpowiadającej mu listy czasopism, mogącej zwykle obejmować czasopisma nierecenzowane, które nadto mogą nie być czasopismami naukowymi. Będzie to zwykle lista różna od wybranej przez innych, ulegająca trudnym do określenia zmianom czasowym. Trzeba sobie przy tym zdawać sprawę, że pierwotna baza danych (np. SCI Expanded) zawiera wielokrotnie więcej informacji o różnych czasopismach (także spoza LMF) niż bazy wtórne (np. JCR). ISI ma tylko pośrednio wpływ na pierwotny zakres informacji, natomiast decyduje o zakresie i interpretacji informacji podawanej w produktach wtórnych. Aby tę pierwotną informację odzyskać, konieczna jest znajomość właściwości i zawartości tych baz danych. Wydaje się praktycznie niemożliwe podanie jednoznacznej definicji tzw. listy filadelfijskiej, a utożsamianie tejże z wtórnymi produktami ISI nie ma racjonalnego uzasadnienia. Bazy wtórne ISI (jak np. JCR) wydają się wskazywać, co stanowi przedmiot aktualnego zainteresowania, oraz źródła, które przynoszą o tym informacje. Czy są w stanie uchwycić istotne zmiany w tym zakresie – nie wiadomo.

We wstępie do wydanej ostatnio w Polsce pracy jeden z noblistów pisze o tym, jaki rodzaj badań podejmować: Orientowanie się tylko na problemy będące źródłem bezpośredniego zainteresowania i ogromnych społecznych kosztów może w ostatecznym rozrachunku okazać się złą radą. Nie możemy bowiem wiedzieć z góry, co może przynieść przełom w badaniach nad naszymi trudnymi do pogodzenia problemami. Sugestia, że będzie to możliwe dzięki łatwym na pozór do interpretacji informacjom z ogólnie dostępnych baz danych (również przez „urzędnicze” gremia o wątpliwej wiedzy na ich temat), nie stanowi najrozsądniejszego pomysłu.

Dr Władysław Kraus, chemik, zajmuje się biotechnologią, były pracownik akademicki. 
nckraus@cyf-kr.edu.pl 

Komentarze