Pocztek naszych wakacji to w wiecie naukowym okres rozmaitych konferencji, sympozjw, zjazdw itp., a zarazem okres dojrzewania i zbiorw w dziedzinie naukowego pimiennictwa. Jedno z drugim jest zapewne cile skorelowane. Nietrudno zaobserwowa, e wiele ukazujcych si w tym czasie w Internecie artykuw to teksty przygotowywane z myl o konferencjach, o ile nie po prostu komunikaty konferencyjne. Wyglda na to, e w tym czasie wyranie ronie „produkcja naukowa”.
Wrd rnych ciekawych a wieych prac znalezionych w Sieci, moj uwag zwrciy dwie, ktre cho pojawiy si wrd publikacji z dziedziny fizyki, to powicone s zagadnieniom metanaukowym, a dokadniej naukometrii. Nawiasem mwic, wpisuje si to w szerszy kontekst - o ktrym niedawno w tym miejscu pisaem - jako e fizycy w swoich zainteresowaniach naukowych wyszli ju, w pewnym sensie, poza wiat cile materialny i jli zajmowa si obiektami wirtualnymi, jak rynek, gieda czy zjawiska spoeczne. Rnica tkwi moe w tym, e o ile w socjo- czy ekonofizyce chodzi o zastosowanie pewnych narzdzi formalnych fizyki teoretycznej do analizowania zjawisk spoecznych czy ekonomicznych, to w owych wspomnianych artykuach dotyczcych naukometrii proponuje si nowe sposoby ilociowej oceny jakoci indywidualnych osigni naukowych.
Ocena osigni naukowych zarwno poszczeglnych badaczy, jak i zespow, jest niewtpliwie zagadnieniem istotnym. W szerszej perspektywie chodzi wszak o rozdzia pienidzy, najczciej publicznych, przeznaczonych na badania. Zajmujcy si tym urzdnicy, ktrymi bywaj te penicy t rol naukowcy, jeli chc by obiektywni i uczciwi, potrzebuj jakich wskazwek, z ktrych mogliby wycign wnioski co do wartoci prac, na ktre przeznaczaj pienidze. Na niszym szczeblu z tym samym problemem formalnym mamy do czynienia w uczelniach i innych instytucjach badawczych, gdzie przeprowadzane s okresowe oceny pracownikw, gwnie pod ktem osigni naukowych. Tu te de facto chodzi o pienidze, a dokadniej o to, by ich wydawanie na pace dla pracownikw naukowych byo efektywne.
W pewnym sensie byoby idealnie, gdyby proces rozdzielania pienidzy mona byo w peni zautomatyzowa. Do tego wszake potrzebne byyby jednoznaczne i obiektywne wskaniki wartoci osigni ubiegajcych si o fundusze jednostek. Na podstawie oceny dotychczasowych dokona powinno da si prognozowa warto przyszych. Dla efektywnego dzielenia funduszy na badania, na przykad przyznawania grantw, istotne jest zatem przewidywanie moliwoci wykonania jakiego zamierzenia, a tej mona dokonywa, znajc dotychczasow produktywno i wydajno naukow starajcego si o grant uczonego. Poza tym, ocena zasug na polu nauki powinna stanowi podstaw do przyznawania nagrd itp.
Ciekaw propozycj parametryzacji osigni naukowych przedstawia w jednym ze wspomnianych artykuw J.E. Hirsch z Wydziau Fizyki Uniwersytetu Kalifornijskiego. Wprowadza on liczbowy wspczynnik znaczenia osigni, ktry dla danego (publikujcego) naukowca ma warto h, jeli h spord wszystkich N publikacji danego autora ma co najmniej po h cytowa kada, a kada z pozostaych (N - h) publikacji ma mniej ni h cytowa. Hirsch wskazuje, e proponowany przeze parametr jest pozbawiony wad, ktrymi obarczone s najczciej uywane proste wskaniki.
Wrd tych ostatnich wymienia cakowit liczb publikacji, ktra nie oddaje ich wartoci naukowej, cakowit liczb cytowa, ktra jest jak miar wartoci publikacji, ale bywa trudna do okrelenia (dla pojedynczego autora) i moe by zawyana przez nieliczne czsto cytowane publikacje, ktrych dana osoba jest tylko jednym z wielu wspautorw, a ktre nie musz by dla tej osoby publikacjami reprezentatywnymi. Dalej Hirsch wspomina o redniej liczbie cytowa na publikacj, czyli ilorazie cakowitej liczby cytowa przez cakowit liczb publikacji, co pozwala porwnywa efektywno naukowcw o rnym stau pracy badawczej, ale jednoczenie daje lepsze wyniki autorom o niskiej produktywnoci, czyli mniejszej liczbie publikacji w ogle. Dwa kolejne krytykowane wskaniki to liczba „prac znaczcych”, okrelana jako liczba publikacji, ktre osigny wicej cytowa od pewnego ustalonego poziomu, a take rednia liczba cytowa wrd okrelonej liczby najczciej cytowanych publikacji danego autora. Ostatnie dwa parametry obarczone s znaczn doz arbitralnoci w okrelaniu „wartoci progowych”, co powoduje, e mog by manipulowane na korzy lub niekorzy niektrych ocenianych.
Hirsch pisze, e jego indeks h, bdc miar szeroko rozumianego znaczenia indywidualnych osigni naukowych, jest pozbawiony wad innych wspomnianych parametrw. atwo go wyliczy kademu autorowi publikujcemu w midzynarodowych czasopismach naukowych, biorc potrzebne dane z baz danych Thomson ISI Web of Science. Zdaniem Hirscha, naukowcy majcy zblione wartoci indeksu h, reprezentuj podobny poziom oglnych osigni naukowych, nawet jeeli wystpuj midzy nimi znaczne rnice w liczbie opublikowanych prac lub cakowitej liczbie cytowa. Na podstawie danych uzyskanych z baz cytowa ISI Hirsch wyliczy indeks h wielu znanym fizykom. Okazuje si, e najwysz wartoci h = 110 moe si poszczyci E. Witten, teoretyk specjalizujcy si w fizyce matematycznej, podczas gdy na przykad S.W. Hawking, znany szerokiej publicznoci z ksiek dotyczcych teorii wszechwiata, ma indeks h = 62. Obliczenia dorobku laureatw Nagrody Nobla z fizyki (na podstawie danych ujtych w bazach ISI, czyli publikacji od roku 1955 i tylko w przypadku tych, co do ktrych mona mie pewno, e chodzi o noblistw, co ograniczyo pul nazwisk do ok. 75 procent laureatw nagrody) day w wyniku wartoci midzy 22 a 79, przy redniej 41.
Przy mniej wicej staej w czasie aktywnoci publikacyjnej i rwnej jakoci prac (tj. np. rocznej liczby publikowanych prac i liczby ich cytowa), indeks h ronie w przyblieniu jednostajnie wraz ze staem dziaalnoci naukowej. Hirsch proponuje zatem dodatkowy wspczynnik m, rwny mniej wicej ilorazowi indeksu h przez liczb lat pracy, ktry umoliwia porwnywanie wydajnoci naukowej osb o rnym stau w nauce. W stosunku do tych samych danych, o ktrych bya mowa wyej, otrzyma nastpujce wartoci parametru m: Witten - 3,89, Hawking - 1,59, a w przypadku analizowanych noblistw od 0,47 do 2,19, ze redni 1,14.
Na podstawie analizy wielu danych odnonie do cytowalnoci, Hirsch przedstawia klasyfikacj (dotyczc fizykw, bo tylko ich dane analizowa). I tak, warto m okoo 1, co odpowiada h = 20 po 20 latach pracy, oznacza odnoszenie sukcesw w pracy naukowej. Warto m zbliona do 2 charakteryzuje naukowcw wybitnych, reprezentujcych tylko najlepsze uniwersytety i orodki badawcze. Wreszcie, wartoci m okoo 3 lub wiksze osigaj tylko bardzo nieliczni, wyjtkowo wybitni uczeni.
Na podstawie uzyskanych wynikw Hirsch wyciga wniosek, e Nagrod Nobla honorowano przede wszystkim nie spektakularne, jednostkowe osignicia, lecz raczej caoksztat intensywnej i owocnej pracy naukowej. Wysuwa te pewne propozycje praktyczne - na podstawie typowych wartoci parametru h sugeruje kryteria awansw w hierarchii uczelnianej, wedle ktrych stanowisko profesora nadzwyczajnego (associate professor) odpowiadaoby wartoci h ~ 12, a profesora zwyczajnego (full professor) h ~ 18. Czonkowie Akademii Nauk USA powinni mie wartoci h okoo 45 lub wysze, wyjwszy przypadki szczeglne. Kryteria te podaje Hirsch dla „zwykych” pracownikw naukowych, to znaczy przy zaoeniu, e warto parametru m jest zbliona do 1.
W celach ilustracyjnych Hirsch podaje take wartoci indeksu h w stosunku do przedstawicieli nauk biologicznych, obliczone na podstawie danych dotyczcych publikacji i cytowa z lat 1983-2002. Pierwsza dziesitka najwyszych wartoci zamyka si w przedziale od 120 do 191 (S.H. Snyder). Oglne wyniki wskazuj, e u biologw h osiga, rednio biorc, wartoci wysze ni u fizykw, zarazem wykazujc wikszy rozrzut. Stosujc wic ten parametr do pomiaru efektw pracy w innych ni fizyka dziedzinach nauki, naley w obrbie kadej z nich dowiadczalnie ustali waciwe standardy wartoci, to znaczy na przykad kryteria awansu itp.
W uzupenieniu do indeksu Hirscha, S.B. Popow z Instytutu Astronomicznego im. Sternberga Uniwersytetu Moskiewskiego proponuje ocenianie produktywnoci naukowcw za pomoc „poowicznego czasu cytowa” oraz redniej rocznej liczby cytowa w tym czasie. Pierwszy parametr to okres, liczc od danego roku wstecz, w ktrym oceniany naukowiec osign poow cakowitej liczby cytowa swoich prac. Oba wskaniki Popowa opisuj dynamik aktywnoci naukowej, pozwalajc odrni naukowcw osigajcych podobne jakociowo wyniki w jednostajnym tempie, od tych, ktrzy osignli znaczce rezultaty w krtkim czasie, a przedtem lub potem nie opublikowali czego istotnego (tzn. czsto cytowanego). Innymi sowy, umoliwiaj one wychwycenie ewentualnych rnic midzy osobami o zblionej cakowitej liczbie cytowa.
Popow pisze, e jego parametry dynamiczne mog stanowi doskonae uzupenienie metod oceny efektywnoci pracy naukowej za pomoc liczby cytowa albo indeksu Hirscha. Zauwaa jednak, e naley zwrci uwag na zawyanie wynikw wskutek wliczania autocytowa, czyli odwoywania si w pracach danego delikwenta do jego wasnych wczeniejszych prac. Nie powinny one by brane w rachub, jeli ocena ma dotyczy wartoci publikacji mierzonej rezonansem, jaki wywoay one wrd spoecznoci naukowej.
Wyznaczanie wartoci parametrw Hirscha czy Popowa da si atwo zautomatyzowa za pomoc prostego programu komputerowego. Wystarczy do takiego programu wprowadzi dane dotyczce publikacji i cytowa prac „badanej” osoby za okres caej jej dotychczasowej kariery, aby natychmiast uzyska odpowiednie wartoci indeksw. Nastpnie mona by doda modu uwzgldniajcy reprezentowan dziedzin nauki i kryteria awansw na stanowiska czy przyznawania tytuw, aby komputer automatycznie i autonomicznie ocenia na przykad, czy delikwent nadaje si na okrelone stanowisko albo czy rokuje nadzieje na osignicie istotnych wynikw, a tym samym, czy warto mu przyzna grant.
Wizja automatycznej, zobiektywizowanej oceny efektywnoci dziaalnoci naukowej na podstawie parametrw opartych na efektywnoci w publikowaniu i cytowalnoci ma w naszych warunkach par istotnych wad. Po pierwsze, gdyby taka metoda okazaa si skuteczna i zostaa szeroko wdroona, mogaby uczyni zbdn prac wielu „naukowych” urzdnikw, a ci - jak sdz - bd si przed tym usilnie broni. Po drugie, spowodowaaby znaczne ograniczenie uznaniowoci, ktra ma czasem decydujcy wpyw na ostateczne wyniki wszelkich ocen, a zdaniem niektrych, przydaje procedurom oceniania rysu ludzkiego. Zastosowanie zimnych maszyn byoby aktem dehumanizacji tych procedur, a przecie najwaniejszy jest czowiek... Po trzecie wreszcie, opisane parametry nie s uniwersalne. Jako e s oparte na bazach cytowa ISI, dotycz wycznie tych dyscyplin wiedzy, w obrbie ktrych artykuy naukowe zwyko si publikowa w czasopismach midzynarodowych indeksowanych przez t instytucj. Poza ich zasigiem pozostaje wic na przykad caa armia reprezentantw „nauk lokalnych”, publikujcych w jzykach narodowych w czasopismach o niewielkim zasigu (ale te ci na Nobla raczej nie licz). Wyglda wic na to, e owe pynce z byych supermocarstw propozycje naukometryczne pozostan li tylko pomysami teoretycznymi, bez praktycznych zastosowa, przynajmniej na naszym rodzimym gruncie.
Dr Pawe Misiak jest pracownikiem Akademii Rolniczej we Wrocawiu.
pm@ar.wroc.pl