)
Okresowa ocena nauczycieli akademickich to czas swego rodzaju rachunku sumienia, midzy innymi w dziedzinie dokona naukowych. Te za mierzone s punktami przyznawanymi przede wszystkim za to, co znalazo wyraz w publikacjach. Przy tym, jeli chodzi o „oryginalne prace twrcze”, najwaniejsze s cytowania, przede wszystkim synny impact factor czasopism, w ktrych ukazay si artykuy, oraz cytowania danego artykuu umieszczone w bazach cytowa, jak na przykad „Science Citation Index”.
Rzut oka na ankiet, ktr mam przed sob, sugeruje, e punktacja za opublikowane prace naukowe odzwierciedla zaoenie, i umieszczenie artykuu w czasopimie o wysokim impact factor przekada si na znaczenie, jaki ten artyku ma na „rynku naukowym”. Wydawa by si mogo, e wysoki impact factor czasopisma automatycznie powoduje wysok liczb cytowa pomieszczonej w nim pracy. Tymczasem zaleno jest tylko odwrotna - wysoka liczba cytowa artykuu podnosi impact factor czasopisma. Ale wedug ankiety jedna praca opublikowana w czasopimie, ktrego impact factor jest mniejszy od 0,1 (czyli niewielki), jest warta tyle, co sze cytowa zarejestrowanych w SCI.
Na temat stosowania do ewaluacji dziaalnoci naukowej prostych wskanikw ilociowych opartych na cytowalnoci, jak impact factor, napisano wiele, take na amach „Forum Akademickiego”. Zwolennicy podkrelaj zazwyczaj prostot tego rodzaju ilociowej miary, ktra umoliwia atwe uzyskiwanie list rankingowych czasopism, jednostek badawczych, grup naukowych czy poszczeglnych badaczy. Krytycy wskazuj na rozliczne uproszczenia i wady takich metod, jak preferowanie pewnych dziedzin wzgldem innych czy nieporwnywalno pewnych wskanikw. Swoj drog, ciekawa byaby analiza socjologiczna relacji midzy stopniem „bezwzgldnoci” poparcia dla ewaluacji na podstawie impact factor (zwykle w poczeniu z atencj dla tak zwanej listy filadelfijskiej czasopism) a reprezentowan dyscyplin naukow i jednostk badawcz. W oglnoci warto zwrci uwag, e sam Eugene Garfield, ktry zaproponowa uycie wskanika impact factor do wartociowania midzy innymi czasopism naukowych, zwraca uwag na konieczno zachowania ostronoci i rozsdku przy jego stosowaniu.
Rzecz, na ktr najczciej chyba zwracaj uwag krytycy bezrefleksyjnego przykadania miary „cytowalnoci” do wszelkiej dziaalnoci naukowej, jest jej zmienno pord rnych dyscyplin naukowych. O ile mona w miar sensownie porwnywa wag dokona badaczy czy grup naukowych dziaajcych w tej samej dziedzinie nauki, o tyle bezporednie ilociowe porwnywanie reprezentantw rnych nauk jest ju mocno podejrzane.
Zwracajc uwag na due rnice midzy redni liczb cytowa w rnych dyscyplinach naukowych, I. Podlubny (http://arxiv.org/math.ST/ 0410574) proponuje zmodyfikowan wersj parametryzacji przez cytowania. Korzystajc z danych dotyczcych USA (Science and Engineering Indicators 2004, National Science Foundation, 2004), zestawi liczb cytowa w rnych dziedzinach nauki na przestrzeni dekady 1992-2001 i zauway pewn prawidowo - stosunki tych liczb dla poszczeglnych par dyscyplin naukowych wykazuj wzgldnie niewielkie zmiany w czasie. Poniewa najnisze wskaniki dotycz prac z dziedziny matematyki, Podlubny okreli parametry innych dyscyplin wzgldem „krlowej nauk”. I tak na przykad zaokrglony redni „wspczynnik cytowalnoci wzgldem matematyki” wynis dla nauk technicznych 5, dla biologii 8, dla chemii 15, dla fizyki 19, a dla bada biomedycznych oraz medycyny klinicznej 78.
Dalej za zaproponowa, by do oceny dorobku grup badawczych reprezentujcych rne nauki stosowa nie bezwzgldn liczb uzyskanych cytowa, lecz znormalizowane wskaniki dla danej dziedziny, to znaczy liczb cytowa podzielon przez redni wspczynnik „przewagi nad matematyk” dla danej dyscypliny. W ten sposb uwzgldnia si automatycznie takie czynniki, jak rnice w globalnej liczbie publikacji oraz w redniej dugoci spisw referencji w pracach publikowanych w rnych dziedzinach nauki.
T sam metod mona zastosowa i do oceny poszczeglnych pracownikw (jak to si de facto robi na przykad podczas wydziaowych czy uczelnianych ocen), zwaszcza w przypadku wzgldnie niewielkiej liczby cytowa. Rzecz jasna, naley przy tym uwzgldni zarwno warunki lokalne, to znaczy korzysta z owych wspczynnikw uzyskanych nie tyle z danych amerykaskich, co regionalnych (na przykad oszacowanych dla nauki w Europie rodkowowschodniej) albo globalnych. Ponadto naley mie na wzgldzie silne fluktuacje w bezwzgldnych liczbach cytowa przy stosunkowo niewielkiej liczbie publikacji i w krtkich okresach. We wnioskach kocowych Podlubny podkrela, e proponowana przez niego znormalizowana cytowalno moe by jedn z miar znaczenia publikacji grup czy pojedynczych badaczy dla nauki jako takiej, ale nie powinna by miar jedyn, jako e nie bierze pod uwag wielu innych istotnych czynnikw zwizanych z wkadem dokona tej czy innej osoby bd grupy do rozwoju wiatowej nauki.
W tym kontekcie warto zda sobie spraw, e stosujc wspczynniki cytowalnoci, takie jak impact factor Garfielda czy znormalizowana cytowalno Podlubnego, jako miar znaczenia dokona w sferze nauki, przyjmuje si milczco pewien idealny model, w ktrym spis referencji w kadej publikacji obejmuje prace, z ktrymi cytujcy autorzy przynajmniej si zapoznali i istotnie odnosz si one do treci. Tymczasem atwo sobie wyobrazi mechanizmy psychologiczne i socjologiczne, ktre sprawiaj, i rzeczywisto nie pasuje do owego wyidealizowanego modelu.
Nacisk na publikowanie jak najwikszej liczby prac i przy okazji osiganie moliwie wysokiej cytowalnoci to rzecz bynajmniej nie nowa. Pamitam dobrze, jak przed wielu laty, gdy zaliczaem si jeszcze do modych naukowcw, w gronie paru kolegw zastanawialimy si nad moliwociami osignicia wysokich wartoci owych wskanikw, a tym samym naszych ocen w oczach szefw i ewentualnych komisji. Dwa pomysy nasuny si nam jako niemal naturalne. Pierwszy mia polega na dopisywaniu nawzajem swoich nazwisk do publikowanych prac, drugi - na licznym cytowaniu si nawzajem w swoich pracach. Te dwa rodzaje dziaa nie byy, niestety, wzajemnie niesprzeczne, jako e w przypadku ekstremalnym wszystkie takie cytowania byyby odwoywaniem si do prac wasnych, wic nie byyby uwzgldniane w bardziej zaawansowanych metodach wyliczania cytowalnoci, w ktrych autocytowania nie s brane pod uwag. Jednak przy zachowaniu pewnej dozy umiaru plan mg si powie, szczeglnie e kady z nas pracowa w innej placwce naukowej i nieco innej specjalnoci, wic takie „grzecznociowe” powoywanie si wzajem na swoje prace nie wygldaoby najgorzej.
Z powodu rnych komplikacji pomysw tych nie wcielilimy w ycie. Jeden z nas do szybko porzuci karier naukow i poszed zarabia na ycie w innej brany. Drugi nie mg nic zrobi, bo o formie wszelkich publikacji decydowa jego szef, dopisujc si oczywicie w charakterze wspautora, a o dodaniu nazwisk innych autorw bd dodatkowych referencji nie byo mowy. Niemniej, jeli takie pomysy przyszy do gowy nam, mogy te innym. Z tego wzgldu ciekawa, take z naukowego punktu widzenia, mogaby si okaza prba wyowienia w morzu publikacji i cytowa pewnych sieci powiza midzy publikacjami i ich autorami, niezbyt silnie uzasadnionych wzgldami czysto merytorycznymi.
Inny problem, zwizany z odstpstwami od wspomnianego wyej idealnego modelu uzasadnionego cytowania przeczytanych prac, rozpatruj w swoich artykuach M.V. Simkin i V.P. Roychowdhury (Complex Syst. 14 (2003) 269; Scientometrics 62 (2005) 367). Zainteresowali si mianowicie propagacj bdw pojawiajcych si w referencjach do licznie cytowanych artykuw naukowych. Za materia do bada posuy im tuzin najczciej cytowanych prac z dziedziny szeroko pojmowanej fizyki, z cakowit liczb cytowa midzy okoo 400 a ponad 4300 oraz liczb cytowa z bdami midzy 20 a ponad 260.
Autorzy przyjli zaoenie, e bdy w odnonikach s wprowadzane w sposb czysto losowy, ale tylko przez autorw, ktrzy cytowan publikacj przynajmniej mieli w rkach i popenili bd przy przepisywaniu danych bibliograficznych. Przyjli ponadto, e bd w miejscu kadego znaku w zapisie odnonika bibliograficznego jest rwnie prawdopodobny, a zatem prawdopodobiestwo powtrzenia tego samego bdu przez dwch niezalenych autorw jest bliskie zeru. Nastpnie zbudowali model statystyczny opisujcy propagacj bdw w odnonikach literaturowych, ktry umoliwia oszacowanie prawdopodobiestwa R tego, e autor bdnie cytujcy dane bibliograficzne przynajmniej mia w rkach cytowan prac. Jest to model dokadniejszy ni proponowane wczeniej midzy innymi w celu matematycznego opisania zjawiska znanego pod nazw „efektu w. Mateusza” ('Kademu bowiem, kto ma, bdzie dodane...', Mt 25,29), a w kontekcie bibliometrii polegajcego na tym, e prawdopodobiestwo uzyskania przez okrelon prac kolejnego cytowania jest tym wiksze, im wicej cytowa dana praca wczeniej uzyskaa.
Po zastosowaniu modelu do rzeczywistych danych, uzyskanych ze wspomnianych dwunastu artykuw, Simkin i Roychowdhury otrzymali wynik R = 0,2. Wycignli std wniosek, e rednio w 80 procentach przypadkw dane bibliograficzne s tylko kopiowane (wraz z ewentualnymi bdami) z listy referencji zamieszczonych w innych pracach, bez sprawdzenia w odpowiednim rdle bibliograficznym lub przynajmniej w autoryzowanym spisie odnonikw. Zatem - konkluduj - w dynamice sieci powiza midzy publikacjami naukowymi dominuje proste kopiowanie odnonikw literaturowych, dziecinnie atwe, gdy prace pisze si na komputerach i s one dostpne w Internecie.
Zdajc sobie spraw z duych uproszcze zaproponowanego modelu, autorzy sugeruj dalsze badania na ten temat. Naleaoby uwzgldni midzy innymi niejednorodno rozkadu prawdopodobiestwa wystpowania poszczeglnych rodzajw bdw (opuszczenie pojedynczej litery czy cyfry bd tak zwany czeski bd moe si zdarzy czciej ni na przykad wpisanie cakowicie innego numeru strony lub woluminu), a take wielokrotne autorstwo i wspautorstwo prac (prawdopodobiestwo popenienia tego samego bdu w pracach tego samego autora jest wiksze, bo zwykle kopiuje on fragmenty spisu referencji ze swoich wczeniejszych prac). Ponadto niektre bdy w bazach danych bibliograficznych, ktre stanowi rdo materiau do takich analiz, s rwnie wprowadzane przez twrc tych baz - ISI.
Takie, jak wspomniane powyej, badania nad cytowaniem publikacji naukowych mog si przyczyni do lepszego zrozumienia zalenoci midzy rzeczywistym znaczeniem prac poszczeglnych naukowcw, grup badawczych czy caych instytucji naukowych a rnymi prostymi wskanikami stosowanymi w praktyce do ich oceny. Nastpnie powstan moe bardziej wyrafinowane metody naukometryczne, ktre uczyni nieskutecznymi metody zawyania wskanikw przyjtych za podstaw oceny dokona naukowych, nie majce bezporedniego zwizku z ich rzeczywist wartoci. A jednoczenie jest to samo w sobie ciekawe pole bada naukowych.
Dr Pawe Misiak jest pracownikiem Akademii Rolniczej we Wrocawiu.