Nadawanie jakiegoś specjalnego znaczenia opublikowaniu przez nikogo nie cytowanego artykułu w czasopiśmie o najwyższej nawet wartości IF nie posiada żadnego racjonalnego uzasadnienia.

Władysław Kraus

Laterna Magika

Artykuły polemiczne w wielu wcześniejszych numerach "Forum" oraz wiążący się niewątpliwie z tą materią tekst prof. Jacka Wojciechowskiego (Niedostatek refleksji krytycznej, "FA" nr 5/2000) uświadamiają, że spór prowadzi do czegoś nowego, gdy uczestnicy wykorzystują w nim od kilku do kilkunastu procent swojej wiedzy. Próby wykorzystania całej wiedzy przez któregoś z uczestników prędzej czy później sprowadzają rzecz na manowce. Powrót do rzeczowości wymaga zwykle rozproszenia kilku mitów.

nowe bogactwo naturalne

Po pierwsze: Institute for Scientific Information (ISI) jest przede wszystkim przedsiębiorstwem handlującym informacją. Kilka lat temu, w składzie obejmującej ponad 100 podobnych firm grupy Thomsona w Toronto, przedsiębiorstwo posiadało komórkę badawczą, o której twórca firmy, dr Eugene Garfield, zwykle pisał ISIs Research Department. Z tego źródła głównie czerpał materiał do swych esejów informatyka, które wpierw co tydzień, później co dwa tygodnie (a po przejściu autora na emeryturę - przez około rok co miesiąc) poprzedzały drukowane co tydzień zeszyty kilku serii "Current Contents".
Przez kilkadziesiąt lat Garfield był dyrektorem i jedynym właścicielem firmy. Po przejściu na emeryturę (1994) dr Garfield zachował w firmie pozycję President Emeritus. Połowę jej akcji sprzedał innej osobie około 5 lat przed emeryturą, a w 1992 roku cały pakiet akcji ISI wykupiła grupa, której głównym udziałowcem był Ken Thomson. "Polityka" (nr 27 z 1 lipca 2000) podała za amerykańskim magazynem "Forbes", że Kenneth Thomson z Kanady zajmuje dziesiąte miejsce na aktualnej liście najbogatszych osób w świecie. Łącznie z nim działalność sześciu osób z pierwszej dziesiątki na tej liście wiąże się z przetwarzaniem informacji. Jak możemy przeczytać w New Encyclopaedia Britanica (Micropaedia, vol. 6, 312/1990), postęp techniczny (...) sprawił, że informacja stała się nowym bogactwem naturalnym, stojącym pod względem ważności w jednym rzędzie z surowcami naturalnymi i energetycznymi. W istocie, istnieją tacy, którzy wierzą, że kontrola zasobów informacji oraz środków do jej przetwarzania może stać się ważniejszym źródłem dominacji społecznej i ekonomicznej niż opanowanie bogactw naturalnych. O tym - niestety raczej bezskutecznie - starał się przekonać dyskutantów prof. R. Tadeusiewicz ("FA" 10/1998).
Po drugie: przedsiębiorstwo to gromadzi informacje w kilku głównych bazach danych: od 1961 (1963) - "Science Citation Index" (SCI), od 1973 - "Social Sciences Citation Index" (SSCI), od 1978 - "Arts & Humanities Citation Index" (A&HCI), od 1995 - "Index to Scientific & Technical Proceedings" (ISTP) oraz "Index to Social Sciences & Humanities Proceedings" (ISSHP), które stanowią zasób podstawowy. Na przestrzeni lat widać wyraźnie, że skala i szczegółowość tej informacji ulegają zmianie w miarę rozwoju techniki komputerowej. Na ich podstawie wprowadzono do obrotu kilkadziesiąt standardowych produktów; w ofercie są również produkty sporządzane na zamówienie konkretnych odbiorców. Taki produkt stanowi np. baza danych "National Science Indicatorst" (NSI) czy "National Citation Report" (NCR), zakupiona dla Polski przez KBN w 1993 roku. Statystyki dotyczące autorów, instytucji, gromadzonych jednostek informacji, a przede wszystkim cytowań stanowią całkowicie uboczny produkt podstawowego zasobu informacyjnego przedsiębiorstwa. Lista czasopism ujmowanych w drukowanych zbiorach tych statystyk jest zmienna (co roku wymianie ulega kilkaset tytułów, zmienia się ich przydział do ustalonych przez firmę dość arbitralnie dyscyplin, a wiele tytułów przydzielonych jest do kilku dyscyplin jednocześnie, przy czym w jednych mogą być samodzielnymi liderami, a w innych nie wychodzić nawet ponad przeciętność).

czysto akademickie spekulacje

Po trzecie: kryteria, na podstawie których firma dobiera informacje ze swoich zasobów podstawowych do poszczególnych produktów, nie są znane (z oczywistych powodów stanowi to tajemnicę handlową firmy). W praktyce, nawet w obrębie tego samego produktu można natrafić na informację niespójną. Każdy może się o tym przekonać np. analizując liczby podane w pracy Miejsce nauki polskiej w świecie. Wynika z nich, że tak do końca nie mamy pewności, czy stosowne wnioski co do własnego podwórka wyciągamy na podstawie poniżej 60 tysięcy, czy powyżej 70 tysięcy jednostek informacji (różnica to ponad 20 proc.) oraz czy opuszczenia dotyczą wszystkich lub tylko niektórych dyscyplin.
Po czwarte: wprowadzenie do zasobu podstawowego danych o istnieniu jakiegoś źródła informacji (ang. cited source) nie wynika bezpośrednio z jakiejkolwiek decyzji firmy. Trafiają one tam zawsze wtedy, gdy wymieni je autor w dowolnym innym źródle (ang. citing source), opracowywanym przez ISI (co każdy mający dostęp do SCI w sieci www może sprawdzić sam). W efekcie, dane wprowadzane do systemu na podstawie określonego czasopisma stanowią w większym stopniu informację o innych źródłach niż mówią coś na temat jego samego. W ten sposób, włączenie do zespołu indeksowanych źródeł (citing sources) jakiegoś polskiego czasopisma oznacza tylko tyle, że wnosi ono do systemu "polską" ocenę użyteczności innych czasopism (cited sources) w odniesieniu do badań w tym czasopiśmie relacjonowanych. (Mając to na uwadze, kraje takie jak Chiny czy Indie już dawno podjęły decyzje o stworzeniu własnych wersji indeksów cytowań.) Z tego punktu widzenia, problem staje się przedmiotem czysto akademickich spekulacji w sytuacji, gdy polskie biblioteki dysponują zwykle jednym lub co najwyżej kilkoma egzemplarzami znacznej części czasopism zagranicznych, a tworzeniu coraz to nowych szkół wyższych towarzyszy praktycznie zerowy (jeśli nie ujemny) wzrost odpowiednich zasobów bibliotecznych. Gdyby założyć, że z wyliczeń IF-ów eliminuje się odwołania w danym czasopiśmie do artykułów zamieszczonych w nim samym oraz artykuły, które nigdy nie są cytowane (zwykle co drugi), jak się to niekiedy czyni (ang. cited IF), to do ustalenia wartości takich IF nie istniałaby w ogóle potrzeba wprowadzenia do bazy jakichkolwiek informacji z danego czasopisma. Z tego punktu widzenia z kolei, nadawanie jakiegoś specjalnego znaczenia opublikowaniu przez nikogo nie cytowanego artykułu w czasopiśmie o najwyższej nawet wartości IF nie posiada żadnego racjonalnego uzasadnienia.
Uwagi te mogą szokować, lecz w systemie ISI posiadanie informacji zawartej w danym czasopiśmie jest absolutnie konieczne głównie po to, aby coś powiedzieć o innych czasopismach. Świadomość tego faktu trudno jednak zdobyć na podstawie znajomości pojedynczego eseju dyrektora firmy, w którym ten opowiada, jakimi przesłankami kieruje się firma tworząc produkt, do którego nabycia ma zamiar nas nakłonić. A taki właśnie esej E. Garfielda (How ISI select journal to coverage: quantitative and qualitative considerations) stanowi podstawowe ujawnione źródło wiadomości o systemie ISI (jedyne powoływane w jego pracach) jednego z polemistów (miejsce publikacji eseju w serii "Current Contents, Physical, Chemical & Earth Sciences", identyfikuje odnośnik w postaci 21 (22), 5 - 13 (1990); natomiast stosowany przez polemistę zapis 22, 5-13 (1990) sprawi poszukującemu tekstu nieco kłopotów).

grzech główny

Po n-te wreszcie: decyzja o sposobie finansowania nauki jest decyzją polityczno-ekonomiczną i obawiam się, że próba jej naukowej egzegezy jest przedsięwzięciem ryzykownym oraz raczej z góry skazanym na niepowodzenie. Na pewno nie należy jednak tej sprawy mieszać z dyskusją o właściwościach narzędzi i baz danych stworzonych przez ISI. Obowiązuje tu zasada, że wytwórca tychże nie bierze żadnej odpowiedzialności za to, co z nabytą informacją i narzędziami zrobi ich użytkownik. Każdy z użytkowników może zatem na swój sposób (w zakresie swojej znajomości rzeczy) "obrabiać" informacje, do których jest w stanie dotrzeć, natomiast twierdzenie, że za wyprowadzanymi stąd przez niego wnioskami stoi "potęga" ISI jest zabiegiem całkowicie nieuprawnionym i świadczy o nieznajomości zasad. Obserwacja, że różne dziedziny nauki oraz pojedyncze osoby są różnie reprezentowane w danej postaci produktu firmy, jest w istocie stwierdzeniem trywialnym i o niczym szczególnym nie świadczy. Fakt ten wynika po części ze sposobu doboru danych z zasobu podstawowego firmy. Jak wskazuje zapis własny jednego z polemistów, w jednym z produktów firmy (o czym poniżej) znaczenie takich zliczeń może być bardzo różne. Podejmowanie prób porównywania wyrwanych z kontekstu surowych liczb, tak jak to zostało zrobione w artykule Grzegorza Rackiego Przeciw zaściankowości w nauce ("FA" 3/2000), daje być może efekt widowiskowy, ale stanowi grzech główny przeciwko wyznawanej przez Garfielda zawsze i wszędzie zasadzie porównywania "jabłek z jabłkami". Ponadto, w jednej z prac, na które powołuje się autor tych porównań w sporządzonym przez siebie rankingu polskich czasopism geologicznych (podług innych niż w ISI zasad), można przeczytać, że celem badań naukowych nie jest publikowanie (niektórzy zdołali o tym zapomnieć), lecz rozwiązywanie problemów; publikacja jest tylko narzędziem komunikacji.
Z ciekawości zajrzałem do bazy cytowań SCI aby się czegoś dowiedzieć o autorze szeroko korzystającym z wywodzących się z niej statystyk. Po krótkiej nawigacji wyłonił się interesujący diagram. Podany fragment diagramu, obejmujący 49 cytowań prac tegoż autora, odnosi się do pojedynczego numeru polskiego czasopisma (w bazie można znaleźć odniesienia do innego numeru tego samego czasopisma, który przynosi autorowi dalszych 68 cytowań). Po podsumowaniu (szczegółowych danych nie podaję): dwa na trzy cytowania do prac autora związane są z dwoma zeszytami polskiego czasopisma z jego dziedziny, w których pomieścił on łącznie 10 swoich prac (z tegoż czasopisma bierze się ponad 80 proc. cytowań autora). Inne statystyki nie odbiegały od sytuacji, z którymi się od dawna (od około 15 lat) stykam: tzn. 85 proc. cytowań to cytowania polskich autorów, a ponad 66 proc. cytowań to samocytowania autora (ang. self-cited rate), kilka procent to cytowania in-house, a kilkanaście procent to błędy powodujące niemożność dotarcia do informacji zawartej w bazie na podstawie poprawnych danych bibliograficznych pracy.
Krańcowy przypadek, na który się natknąłem, stanowiła praca jednego z polskich autorów, dotycząca podstawowych zasad szybko rozwijającej się dziedziny (niedawny Nobel dla twórców). w krótkim czasie uzyskała prawie 50 cytowań, które najpewniej nie znajdą się w żadnych zliczeniach, albowiem jedynymi podającymi poprawnie jej dane bibliograficzne byli sam autor i jego współpracownicy (5 samocytowań). To samo odnosi się do konkretnych prac: gdyby nie zabiegi nas samych, w zasobie podstawowym ISI znalazłaby się zwykle tylko mniej więcej co czwarta z nich. W efekcie, zachęcająca blisko setka "wejść" zasobu zmienia się zwykle w solidnych od kilku do kilkunastu odniesień, które kotwiczą naszą działalność na morzu nauki, a ściślej w jakiejś konkretnej, obranej przez nas, a rzadko uczęszczanej przez innych jego zatoce. Przy okazji odkryłem, że wiadomości publikowane w opisanym polskim czasopiśmie przez polskich autorów wielokrotnie trafiały zarówno do "Science", jak i do "Nature", niemal natychmiast po publikacji. Powinno to u każdego starannego oglądacza takich informacji naruszać niezłomną wiarę w moc sprawczą produktów ISI (w rodzaju JCR i IF-ów, w których fakt publikacji być może znajdzie odbicie najwcześniej po roku).

szum informacyjny

Prezentując te dane nie mam zamiaru dowodzić, że opisany tu przypadek był jakimś szczególnym wśród wielu innych opisanych w literaturze infometrycznej. Nie ma dla mnie również żadnego znaczenia fakt, że autor prac był współwydawcą (ang. guest editor) rzeczonego zeszytu czasopisma (do którego zespołu redakcyjnego wówczas nie należał, a obecnie należy) ani to, że prezentowany zespół prac stanowił podsumowanie badań sfinansowanych z grantu KBN (można było to ustalić po identyfikacji czasopisma i zeszytu na podstawie diagramu). Nie da się bowiem na podstawie takiego zestawu informacji w żaden sposób przewidzieć, czy takie wspólne zetknięcie się autorów będzie stanowiło wyzwalacz (ang. trigger) jakiegoś ważnego dla rozwoju tej dziedziny procesu ani też momentu, kiedy miałoby się to ziścić. Póki co, zawartość rzeczonej bazy danych po upływie blisko dwóch lat nie świadczy o żadnym "trzęsieniu ziemi" w tym zakresie. Obserwowana tu "lawina" (samo)cytowań nie ma również żadnego praktycznego znaczenia ani dla zainteresowanego (bo w przypadku profesjonalnej analizy odrzuceniu podlegają samocytowania i tzw. cytowania in-house), ani dla czasopisma (bo, zgodnie z definicją sławetnego impact factor [IF], zliczeniom będą podlegać dopiero cytowania w następnym i kolejnym roku po publikacji prac). Potwierdza natomiast zapisaną blisko ćwierć wieku temu diagnozę (por. Automatyzacja systemów biblioteczno-informacyjnych, "Pr. Polit. Wrocławskiej, Studia i Materiały" nr 2/1977): stosowanie (półoficjalnie) takich miar spowodowało wiele szkód - jedną z najbardziej oczywistych jest wykładniczy wzrost szumu informacyjnego, a następnie wydatków na jego eliminację w wydawnictwach i u odbiorców.

dwuznaczne narzędzie

Podobne dane ilustrują jednak obserwację, że krąg autorów informacji jest zwykle różny od kręgu osób z niej korzystających i niewiele wiadomo o przebiegu granic obu grup, ani też o czynnikach kształtujących je. Nawet, gdyby ta wiedza była dostępna, ich zachowania w zakresie cytowań byłyby równie wielką niewiadomą. Przeprowadzone ostatnio badania w odniesieniu do autorów z naszego byłego "obozu" wskazują zarówno na to, że wyraźny wzrost ich obecności w czasopismach zachodnich (angielskojęzycznych i "prestiżowych", jak chcą niektórzy) nie zaowocował wcale wzrostem liczby ich cytowań (pozostały na tym samym poziomie), jak i na odmienną praktykę cytowań stosowaną przez nich na użytek "krajowy". W rezultacie - jak napisał w 1979 roku dr Garfield w swej podstawowej książce Citation indexing, its theory and application in science, technology and humanities - wszystkie podnoszone zastrzeżenia są całkowicie uzasadnione, a ponadto istnieją dwuznaczności związane z wykorzystaniem cytowań jako miary indywidualnych osiągnięć, co uniemożliwia traktowanie ich jako ostatecznie rozstrzygających. Są one stanowczo jedynie narzędziami do interpretacji, co wymaga uważnych i wyrafinowanych dociekań ze strony tych, którzy narzędzi tych używają. Nic się w tym zakresie, jak dotychczas, nie zmieniło, poza zgromadzeniem licznych dowodów uzasadniających ten pogląd. Potwierdził to i sam Garfield w czasie odbytej w październiku 1996 roku na wyspie Capri w pobliżu Neapolu nieformalnej konferencji przedstawicieli grupy G7 w sprawie finansowania badań, relacjonowanej w "Nature" 383, 567 (1996), informując zebranych, że wskaźniki cytowań nie były nigdy przeznaczone do ewaluacji autorów, a impact factor odniesiony do pojedynczej pracy posiada kolosalny potencjał niewłaściwego użycia w ręku nieobeznanych z jego właściwościami użytkowników. Uczestnicy tejże konferencji doszli ponadto do wniosku (co znalazło odbicie w szeregu ustaleń), że używanie złożonych formuł (włączając w to wskaźniki cytowań) przeznaczonych do ilościowych ocen wartości pojedynczych publikacji jest zbędne.
Co do możliwości szacowania jakości badań na podstawie cytowań, pisze się ostatnio wprost [cfr. J. Amer. Soc. Inform. Sci. 49(10), 932 (1998)]: bardzo zgrubna, uproszczona analiza bibliometryczna na podstawie IF czasopism, w których opublikowano artykuły jest nieomal bezsensowna i o ile się to nie zmieni istnienie zależności pomiędzy względnym oddziaływaniem a jakością jest z góry skazane na pozostanie w sferze mitu. Odmiennie od dogłębnego przekonania niektórych polemistów uważa się również, że aby taka odmiana nastąpiła, konieczne będzie wyjście poza publikacje ISI. Mając zatem jakie takie rozeznanie w pracach, które ukazały się na ten temat (w tym również samego Garfielda), obawiam się, czy brak świadomości istnienia tej wiedzy (różniącej się, niestety, od oczekiwań wielu polskich dyskutantów zabierających głos w tej sprawie) da się zastąpić szafowaniem w nadmiarze jedynie argumentami ad hominem oraz o rzekomym postępie.

Dr Władysław Kraus, chemik, zajmuje się biotechnologią, były pracownik akademicki.

Uwagi.