Strona główna

Archiwum z roku 2002

Spis treści numeru 7-8/2002

Influmetria czyli nauka o wpływach lub ...
Poprzedni Następny

Polemiki

Byłoby prawdziwą katastrofą, gdyby działy planowania albo działy personalne 
naszych instytucji zaczęły dokonywać wulgarnych ocen wydajności 
pracowników naukowych na podstawie liczby cytowań.
V.V. Nalimow

Władysław Kraus 


Francisowi Baconowi zawdzięczamy ponoć maksymę scientia est potentia i zasadę „liczyć wszystko, co może być liczone”. Jego rodak sir Francis Galton (1822-1911), twórca eugeniki i daktyloskopii, a jednocześnie jeden z najbardziej płodnych naukowo autorów, kierując się tą zasadą osiągał wyniki zdumiewające nawet jego samego. Anegdota mówi, że chcąc wyliczyć liczbę dodatkowych lat życia członków rodziny królewskiej i przedstawicieli duchowieństwa w Anglii, uzyskanych dlatego, że modliła się za nich większa część ludności, otrzymał wielkości ujemne.

W latach 70. wieku XIX spostrzegł, że na milion Anglików przypadało 10 uczonych uważanych za wybitnych. Można by to uważać za początek naukometrii. Problemem „znakomitości” zajmował się również na początku ubiegłego wieku jeden z pierwszych noblistów, fizykochemik Wilhelm Ostwald. Szeregując państwa podług liczby uczonych, członków co najmniej dwu akademii, dowodził supremacji nauki niemieckiej (co było o tyle ułatwione, że na terenie obecnych Niemiec istniało wtedy takich akademii co najmniej 5). Z drugiej strony, zaliczenie Ostwalda, profesora ryskiej politechniki, do tej czy innej nauki mogłoby być nieco kłopotliwe. Podstawy były więc niejasne, a poszukiwania kolejnych kryteriów trwały nadal.

Kolejne obserwacje z tego obszaru rychło zwano prawami. Z nazwą „prawo” kojarzono powszechność obowiązywania, a tym samym brak obowiązku pamiętania o okolicznościach dokonania obserwacji. Do najbardziej popularnych należą prawa Lotki, Bradforda i Zipfa.

PRAWA LOTKI, BRANDFORDAI ZIPFA

Alfred J. Lotka oceniał (1926) wkład indywidualnych uczonych do zbioru publikacji. Korzystając z dziesięcioletniego indeksu Chemical Abstracts za lata 1907-16, ustalił liczby (Y) autorów (o nazwiskach zaczynających się na literę A lub B) jednej, dwu, trzech itd. (X) prac. Prace kilku autorów „zaliczał” tylko głównemu autorowi. Zliczył 6891 prac. Dane naniósł na papier podwójnie logarytmiczny. Zauważył, że wykres jest w pewnym zakresie (30 i poniżej prac) prostoliniowy. Odrzucił pozostałe punkty (o czym wiadomo tylko dzięki notce: Powyżej tego punktu rozrzut punktów staje się znaczny z powodu zbyt małej liczby osób w próbce) i oszacował wykładnik n = 1,888 w proponowanej zależności C = Y · Xn. Podobnie postąpił z danymi z fizyki (Geschitstafeln der Physik Auerbacha po rok 1900) otrzymując n = 2,021. Przypuścił więc, że „w badanych przypadkach” wykładnik n = 2. Oszacował stałą C = 0,6079, skąd wnioskował, że proporcja wszystkich autorów, którzy opublikowali pojedynczą pracę, wynosi około 60 proc. Oszacował teoretyczny rozkład częstości prac, lecz nie testował jego zgodności z badanym.
Co ustalono później? Niezgodność statystyczną obu rozkładów. Inne rozkłady w przypadku innych sposobów przypisywania autorstwa, brania pod uwagę nazwisk na inne litery albo innych krajów, dziedzin lub okresów zbierania danych itp. Najlepiej oddają to dwa stwierdzenia: nie istnieje żadna jednolita metoda gromadzenia i grupowania danych w celu testowania prawa Lotki, a ogólnie przyjmowane prawo oparto jedynie na zgodności w jednym pojedynczym doświadczeniu.

Prawo Bradforda dotyczy liczby czasopism Y publikujących po X artykułów z danej dziedziny, zawartych w kompletnej bibliografii tejże. Samuel C. Bradford zauważył (1934), że jeśli czasopisma naukowe uporządkować według malejącej liczby artykułów na dany temat, to można je rozdzielić na część zasadniczą („rdzeń”) czasopism bardziej związanych z tematem oraz kilka grup lub stref zawierających tę samą liczbę artykułów co rdzeń, a wówczas liczby czasopism w rdzeniu i kolejnych strefach będą się miały jak 1 : a : a2... Nie oznacza to wcale, że rdzeń zawiera więcej artykułów na dany temat niż pozostałe strefy, a jedynie to, że aby odnaleźć tę samą liczbę artykułów, co w czasopismach rdzenia, należy przejrzeć odpowiednio większą liczbę czasopism z innych stref. Prawo nie wypowiada się wcale o jakości prac i nie wymaga, by czasopisma były poświęcone tylko i wyłącznie danej dziedzinie. Uogólnienie prawa na całe „światowe piśmiennictwo naukowe” jest mało prawdopodobne. Z obserwacji tej (uzupełnionej zabiegami marketingowymi) korzysta się przy doborze czasopism do komercyjnych baz danych. Prawo uważa się za najbardziej użyteczne głównie do planowania bibliotecznych zakupów, oprawy numerów czasopism lub tworzenia odpowiednich baz danych.

Od George K. Zipfa (badał m.in. częstości występowania chińskich słów) bierze nazwę prawo Zipfa (1949), dotyczące liczb wyrazów Y używanych po X razy w danym dokumencie.
Prawa te wyraża podana wyżej zależność, co świadczy, że są to tzw. prawa potęgowe. Liczby związane takim prawem na ogół są zależne przede wszystkim od wielkości opisywanych obiektów. Oznacza to, że bezpośrednie porównania obiektów o różnej skali mogą nie mieć sensu, a przy tym różnorodność zakresów skal, występujących w kształtach spotykanych w naturze, jest praktycznie nieograniczona (H.-O. Peitgen i in., Granice chaosu. Fraktale, PWN 1997, cz. 1, rozdz. 4).

STANLEY I EKONOFIZYKA

H. Eugene Stanley z innymi („Nature”, vol. 400 (1999) s. 433; por. s. 411) ustalili w odniesieniu do rozkładów względnego wzrostu placówek naukowych o różnej wielkości (kilkaset uniwersytetów Stanów Zjednoczonych – 719, Wielkiej Brytanii – 90 i Kanady – 60 w okresie kilkunastu lat), że odpowiednio skalowane dane dały obraz podobny do „stwierdzonego niezależnie dla biznesowych firm i całych krajów”. Za jeden z czynników sprawczych uznali „kontrolę jakości przez peer-review”. Orzekli ostrożnie, że nie ma potrzeby starać się coraz bardziej upodabniać akademickie badania do zwykłego biznesu, bo one już takimi dawno są. Zauważyli jednak, iż inni mogą utrzymywać, że forsowanie „ekonomizacji” badań akademickich poszło zbyt daleko, a system stanie się „nieefektywny”, jeśli będzie to kontynuowane (wynika to z obserwacji, że więksi stają się jeszcze większymi, ale wykazującymi względnie mały wzrost, a mali znikają z rynku). Prowadzi to do hipotezy, że dynamika wzrostu złożonych struktur podlega uniwersalnym mechanizmom (niezależnie od tego, czym się zajmują). Pozwalałoby to uznać naukę za samoorganizujący się, „samopoznawalny” ekosystem. Wymagałoby jednak odrzucenia modelu paradygmatu Kuhna. Inna rzecz, że praca Stanleya ma swe źródło w modelach fizyki statystycznej, popularnych ostatnio w analizie różnych zjawisk ekonomicznych (np. zmian kursów giełdowych). Mówi się nawet o powstaniu nowej dziedziny nauki zwanej ekonofizyką. Opublikowane ostatnio wyniki sugerują podobne, fraktalne zróżnicowanie przyrostu i „starzenia się” cytowań. Autorzy uważają, że przyjęcie takich modeli byłoby dogodne tam, gdzie albo brak dostatecznej ilości informacji, albo przebieg zmian jest na tyle szybki, że nie nadąża się z gromadzeniem odpowiedniej liczby danych.

POMYSŁ CRONINA 

Wprowadzenie influmetrii jako nauki o mierzeniu wpływów lub oddziaływania zaproponował Blaise Cronin. Miałaby ona badać podziękowania zawarte w publikacjach. Występujące w nich osoby powinny zostać skatalogowane w sposób podobny do przyjętego w „Science Citation Index?”. Pomysł spotkał się z krytyką: bez względu na swą wartość dla nauki „indeks taki nie miałby handlowego wzięcia”, a przedsiębiorstwa typu ISI? nie byłyby zainteresowane jego produkcją (por. „J.Inform.Sci.”, vol. 20(1994), s. 2-15). Dodawano przy tym, że w odróżnieniu od indeksów cytowań ISI, których raison d’etre stanowią poszukiwania bibliograficzne, a jedynie incydentalnie są wykorzystywane do badań nad cytowaniem, poza znaczeniem dla socjologów nauki indeks podziękowań miałby małą wartość.

Pomysł Cronina powstał około 60 lat po zapoczątkowaniu dyskusji o wpływach czasopism (Grossowie w „Science” vol. 66(1927) s. 1229-1234) i ponad 20 lat po definicji tzw. impact factor, którego wartość spędza teraz w Polsce sen z oczu potencjalnych autorów publikacji naukowych. Przedstawił ją Eugene Garfield, twórca firmy ISI?, w artykule Analiza cytowań jako narzędzie ewaluacji czasopism, wydrukowanym w „Science” (vol. 178(1972), s. 471-479). Znalazł się tam m.in. następujący fragment: Być może najważniejsze zastosowanie analizy cytowań stanowią studia nad polityką naukową i wartościowaniem badań. (...) Informatycy radzieccy używają danych o cytowaniach do ewaluacji wdrażania polityki naukowej w ZSRR. Autor powoływał się na prace Dobrowa i Nalimowa, a wśród nich na wydaną 3 lata wcześniej Naukometrię V.V. Nalimowa i Z.M. Mulczenki (Nauka, Moskwa 1969). Istniał już wtedy VINITI (Ogólnozwiązkowy Instytut Informacji Naukowo-Technicznej), będący depozytariuszem większości ogólnie dostępnej i pozostałej produkcji naukowej ZSRR. Tłumaczenia prac autorów, wtedy radzieckich, wydano po polsku przed ukazaniem się artykułu Garfielda. Twierdzą oni, że prekursorami badań naukoznawczych byli Polacy (Kotarbiński i Ossowscy). W tłumaczeniu (niestety, nie najlepszym) Naukometrii (WNT, Warszawa 1971, s. 108-109) można przeczytać: W literaturze przestrzegano niejednokrotnie przed wulgarnym stosowaniem wskaźnika liczby cytowań do oceny efektywności poszczególnych uczonych. (...) Chociaż wszyscy wiemy, że pojawienia się cytatu bibliograficznego nie można „zorganizować” samemu i że wielu uczonych śledzi gorliwie wskaźniki liczby cytowań własnych prac i prac swoich kolegów, wyprowadzając na ich podstawie ważne dla siebie wnioski, to jednak byłoby prawdziwą katastrofą, gdyby działy planowania albo działy personalne naszych instytucji zaczęły dokonywać wulgarnych ocen wydajności pracowników naukowych na podstawie liczby cytowań.

Prof. Vasilija Vasilijewicza Nalimowa poznałem w 1990 roku. Żartował, że w Polsce czeka na niego honorarium za drukowane tłumaczenia prac. Zajmował się teorią rozumienia przekazów językowych. Nie sądzę, by w ostatnich latach zmienił zapatrywania na stosowanie indeksów cytowań. Wspólnie z E. Garfieldem, z którym znał się osobiście, wchodził (do 1997 r., kiedy zmarł) w skład trzyosobowego gremium wydawców „Scientometrics” (redakcja mieści się w Uniwersytecie w Budapeszcie). Pisząc Naukometrię miał za sobą własne doświadczenia z centralną „polityką naukową” oraz z pracy w VINITI. Naukometrię przetłumaczono niemal od razu (1971) na angielski. Mikrofilm tłumaczenia Measurement of science. Study of the development of science as an information process (to przekład rosyjskiego tytułu Naukometrii) trafił do Foreign Technology Division w US Air Force Systems Command. To akurat nie dziwi. W 1955 r. – jeszcze przed rozpoczęciem prac nad indeksem cytowań z genetyki – Garfield, nawiązując do VINITI, mówił: w ciągu kilku lat będziemy również pod silną presją konieczności zdublowania możliwości dostępnych badaczom rosyjskim. Nie uważam takiej scentralizowanej, rządowej kontroli za właściwe rozwiązanie. Musimy jednakże w pełni należycie ocenić niebezpieczeństwo pozostania w tyle. Wypowiedź była zatytułowana Needed – a National Science Intelligence and Documentation Center (Potrzebne od zaraz – Narodowe Centrum Naukowego Wywiadu i Dokumentacji). Ale to już temat na inny tekst. 

Dr Władysław Kraus, chemik, zajmuje się biotechnologią, były pracownik akademicki. nckraus@cyf-kr.edu.pl 

Komentarze