Poczta elektroniczna

Naukofizyka

Gdyby taka metoda okazała się skuteczna i została szeroko wdrożona, mogłaby uczynić zbędną pracę wielu „naukowych” urzędników i spowodowałaby znaczne ograniczenie uznaniowości, która ma czasem decydujący wpływ na ostateczne wyniki wszelkich ocen.
Paweł Misiak

Początek naszych wakacji to w świecie naukowym okres rozmaitych konferencji, sympozjów, zjazdów itp., a zarazem okres dojrzewania i zbiorów w dziedzinie naukowego piśmiennictwa. Jedno z drugim jest zapewne ściśle skorelowane. Nietrudno zaobserwować, że wiele ukazujących się w tym czasie w Internecie artykułów to teksty przygotowywane z myślą o konferencjach, o ile nie po prostu komunikaty konferencyjne. Wygląda na to, że w tym czasie wyraźnie rośnie „produkcja naukowa”.

Ocena ściśle naukowa

Wśród różnych ciekawych a świeżych prac znalezionych w Sieci, moją uwagę zwróciły dwie, które choć pojawiły się wśród publikacji z dziedziny fizyki, to poświęcone są zagadnieniom metanaukowym, a dokładniej naukometrii. Nawiasem mówiąc, wpisuje się to w szerszy kontekst - o którym niedawno w tym miejscu pisałem - jako że fizycy w swoich zainteresowaniach naukowych wyszli już, w pewnym sensie, poza świat ściśle materialny i jęli zajmować się obiektami wirtualnymi, jak rynek, giełda czy zjawiska społeczne. Różnica tkwi może w tym, że o ile w socjo- czy ekonofizyce chodzi o zastosowanie pewnych narzędzi formalnych fizyki teoretycznej do analizowania zjawisk społecznych czy ekonomicznych, to w owych wspomnianych artykułach dotyczących naukometrii proponuje się nowe sposoby ilościowej oceny jakości indywidualnych osiągnięć naukowych.

Ocena osiągnięć naukowych zarówno poszczególnych badaczy, jak i zespołów, jest niewątpliwie zagadnieniem istotnym. W szerszej perspektywie chodzi wszak o rozdział pieniędzy, najczęściej publicznych, przeznaczonych na badania. Zajmujący się tym urzędnicy, którymi bywają też pełniący tę rolę naukowcy, jeśli chcą być obiektywni i uczciwi, potrzebują jakichś wskazówek, z których mogliby wyciągnąć wnioski co do wartości prac, na które przeznaczają pieniądze. Na niższym szczeblu z tym samym problemem formalnym mamy do czynienia w uczelniach i innych instytucjach badawczych, gdzie przeprowadzane są okresowe oceny pracowników, głównie pod kątem osiągnięć naukowych. Tu też de facto chodzi o pieniądze, a dokładniej o to, by ich wydawanie na płace dla pracowników naukowych było efektywne.

W pewnym sensie byłoby idealnie, gdyby proces rozdzielania pieniędzy można było w pełni zautomatyzować. Do tego wszakże potrzebne byłyby jednoznaczne i obiektywne wskaźniki wartości osiągnięć ubiegających się o fundusze jednostek. Na podstawie oceny dotychczasowych dokonań powinno dać się prognozować wartość przyszłych. Dla efektywnego dzielenia funduszy na badania, na przykład przyznawania grantów, istotne jest zatem przewidywanie możliwości wykonania jakiegoś zamierzenia, a tej można dokonywać, znając dotychczasową produktywność i wydajność naukową starającego się o grant uczonego. Poza tym, ocena zasług na polu nauki powinna stanowić podstawę do przyznawania nagród itp.

Nowy indeks

Ciekawą propozycję parametryzacji osiągnięć naukowych przedstawia w jednym ze wspomnianych artykułów J.E. Hirsch z Wydziału Fizyki Uniwersytetu Kalifornijskiego. Wprowadza on liczbowy współczynnik znaczenia osiągnięć, który dla danego (publikującego) naukowca ma wartość h, jeśli h spośród wszystkich N publikacji danego autora ma co najmniej po h cytowań każda, a każda z pozostałych (N - h) publikacji ma mniej niż h cytowań. Hirsch wskazuje, że proponowany przezeń parametr jest pozbawiony wad, którymi obarczone są najczęściej używane proste wskaźniki.

Wśród tych ostatnich wymienia całkowitą liczbę publikacji, która nie oddaje ich wartości naukowej, całkowitą liczbę cytowań, która jest jakąś miarą wartości publikacji, ale bywa trudna do określenia (dla pojedynczego autora) i może być zawyżana przez nieliczne często cytowane publikacje, których dana osoba jest tylko jednym z wielu współautorów, a które nie muszą być dla tej osoby publikacjami reprezentatywnymi. Dalej Hirsch wspomina o średniej liczbie cytowań na publikację, czyli ilorazie całkowitej liczby cytowań przez całkowitą liczbę publikacji, co pozwala porównywać efektywność naukowców o różnym stażu pracy badawczej, ale jednocześnie daje lepsze wyniki autorom o niskiej produktywności, czyli mniejszej liczbie publikacji w ogóle. Dwa kolejne krytykowane wskaźniki to liczba „prac znaczących”, określana jako liczba publikacji, które osiągnęły więcej cytowań od pewnego ustalonego poziomu, a także średnia liczba cytowań wśród określonej liczby najczęściej cytowanych publikacji danego autora. Ostatnie dwa parametry obarczone są znaczną dozą arbitralności w określaniu „wartości progowych”, co powoduje, że mogą być manipulowane na korzyść lub niekorzyść niektórych ocenianych.

Hirsch pisze, że jego indeks h, będąc miarą szeroko rozumianego znaczenia indywidualnych osiągnięć naukowych, jest pozbawiony wad innych wspomnianych parametrów. Łatwo go wyliczyć każdemu autorowi publikującemu w międzynarodowych czasopismach naukowych, biorąc potrzebne dane z baz danych Thomson ISI Web of Science. Zdaniem Hirscha, naukowcy mający zbliżone wartości indeksu h, reprezentują podobny poziom ogólnych osiągnięć naukowych, nawet jeżeli występują między nimi znaczne różnice w liczbie opublikowanych prac lub całkowitej liczbie cytowań. Na podstawie danych uzyskanych z baz cytowań ISI Hirsch wyliczył indeks h wielu znanym fizykom. Okazuje się, że najwyższą wartością h = 110 może się poszczycić E. Witten, teoretyk specjalizujący się w fizyce matematycznej, podczas gdy na przykład S.W. Hawking, znany szerokiej publiczności z książek dotyczących teorii wszechświata, ma indeks h = 62. Obliczenia dorobku laureatów Nagrody Nobla z fizyki (na podstawie danych ujętych w bazach ISI, czyli publikacji od roku 1955 i tylko w przypadku tych, co do których można mieć pewność, że chodzi o noblistów, co ograniczyło pulę nazwisk do ok. 75 procent laureatów nagrody) dały w wyniku wartości między 22 a 79, przy średniej 41.

Intensywność

Przy mniej więcej stałej w czasie aktywności publikacyjnej i równej jakości prac (tj. np. rocznej liczby publikowanych prac i liczby ich cytowań), indeks h rośnie w przybliżeniu jednostajnie wraz ze stażem działalności naukowej. Hirsch proponuje zatem dodatkowy współczynnik m, równy mniej więcej ilorazowi indeksu h przez liczbę lat pracy, który umożliwia porównywanie wydajności naukowej osób o różnym stażu w nauce. W stosunku do tych samych danych, o których była mowa wyżej, otrzymał następujące wartości parametru m: Witten - 3,89, Hawking - 1,59, a w przypadku analizowanych noblistów od 0,47 do 2,19, ze średnią 1,14.

Na podstawie analizy wielu danych odnośnie do cytowalności, Hirsch przedstawia klasyfikację (dotyczącą fizyków, bo tylko ich dane analizował). I tak, wartość m około 1, co odpowiada h = 20 po 20 latach pracy, oznacza odnoszenie sukcesów w pracy naukowej. Wartość m zbliżona do 2 charakteryzuje naukowców wybitnych, reprezentujących tylko najlepsze uniwersytety i ośrodki badawcze. Wreszcie, wartości m około 3 lub większe osiągają tylko bardzo nieliczni, wyjątkowo wybitni uczeni.

Na podstawie uzyskanych wyników Hirsch wyciąga wniosek, że Nagrodą Nobla honorowano przede wszystkim nie spektakularne, jednostkowe osiągnięcia, lecz raczej całokształt intensywnej i owocnej pracy naukowej. Wysuwa też pewne propozycje praktyczne - na podstawie typowych wartości parametru h sugeruje kryteria awansów w hierarchii uczelnianej, wedle których stanowisko profesora nadzwyczajnego (associate professor) odpowiadałoby wartości h ~ 12, a profesora zwyczajnego (full professor) h ~ 18. Członkowie Akademii Nauk USA powinni mieć wartości h około 45 lub wyższe, wyjąwszy przypadki szczególne. Kryteria te podaje Hirsch dla „zwykłych” pracowników naukowych, to znaczy przy założeniu, że wartość parametru m jest zbliżona do 1.

Szerzej i więcej

W celach ilustracyjnych Hirsch podaje także wartości indeksu h w stosunku do przedstawicieli nauk biologicznych, obliczone na podstawie danych dotyczących publikacji i cytowań z lat 1983-2002. Pierwsza dziesiątka najwyższych wartości zamyka się w przedziale od 120 do 191 (S.H. Snyder). Ogólne wyniki wskazują, że u biologów h osiąga, średnio biorąc, wartości wyższe niż u fizyków, zarazem wykazując większy rozrzut. Stosując więc ten parametr do pomiaru efektów pracy w innych niż fizyka dziedzinach nauki, należy w obrębie każdej z nich doświadczalnie ustalić właściwe standardy wartości, to znaczy na przykład kryteria awansu itp.

W uzupełnieniu do indeksu Hirscha, S.B. Popow z Instytutu Astronomicznego im. Sternberga Uniwersytetu Moskiewskiego proponuje ocenianie produktywności naukowców za pomocą „połowicznego czasu cytowań” oraz średniej rocznej liczby cytowań w tym czasie. Pierwszy parametr to okres, licząc od danego roku wstecz, w którym oceniany naukowiec osiągnął połowę całkowitej liczby cytowań swoich prac. Oba wskaźniki Popowa opisują dynamikę aktywności naukowej, pozwalając odróżnić naukowców osiągających podobne jakościowo wyniki w jednostajnym tempie, od tych, którzy osiągnęli znaczące rezultaty w krótkim czasie, a przedtem lub potem nie opublikowali czegoś istotnego (tzn. często cytowanego). Innymi słowy, umożliwiają one wychwycenie ewentualnych różnic między osobami o zbliżonej całkowitej liczbie cytowań.

Popow pisze, że jego parametry dynamiczne mogą stanowić doskonałe uzupełnienie metod oceny efektywności pracy naukowej za pomocą liczby cytowań albo indeksu Hirscha. Zauważa jednak, że należy zwrócić uwagę na zawyżanie wyników wskutek wliczania autocytowań, czyli odwoływania się w pracach danego delikwenta do jego własnych wcześniejszych prac. Nie powinny one być brane w rachubę, jeśli ocena ma dotyczyć wartości publikacji mierzonej rezonansem, jaki wywołały one wśród społeczności naukowej.

Teoria a praktyka

Wyznaczanie wartości parametrów Hirscha czy Popowa da się łatwo zautomatyzować za pomocą prostego programu komputerowego. Wystarczy do takiego programu wprowadzić dane dotyczące publikacji i cytowań prac „badanej” osoby za okres całej jej dotychczasowej kariery, aby natychmiast uzyskać odpowiednie wartości indeksów. Następnie można by dodać moduł uwzględniający reprezentowaną dziedzinę nauki i kryteria awansów na stanowiska czy przyznawania tytułów, aby komputer automatycznie i autonomicznie oceniał na przykład, czy delikwent nadaje się na określone stanowisko albo czy rokuje nadzieje na osiągnięcie istotnych wyników, a tym samym, czy warto mu przyznać grant.

Wizja automatycznej, zobiektywizowanej oceny efektywności działalności naukowej na podstawie parametrów opartych na efektywności w publikowaniu i cytowalności ma w naszych warunkach parę istotnych wad. Po pierwsze, gdyby taka metoda okazała się skuteczna i została szeroko wdrożona, mogłaby uczynić zbędną pracę wielu „naukowych” urzędników, a ci - jak sądzę - będą się przed tym usilnie bronić. Po drugie, spowodowałaby znaczne ograniczenie uznaniowości, która ma czasem decydujący wpływ na ostateczne wyniki wszelkich ocen, a zdaniem niektórych, przydaje procedurom oceniania rysu ludzkiego. Zastosowanie zimnych maszyn byłoby aktem dehumanizacji tych procedur, a przecież najważniejszy jest człowiek... Po trzecie wreszcie, opisane parametry nie są uniwersalne. Jako że są oparte na bazach cytowań ISI, dotyczą wyłącznie tych dyscyplin wiedzy, w obrębie których artykuły naukowe zwykło się publikować w czasopismach międzynarodowych indeksowanych przez tę instytucję. Poza ich zasięgiem pozostaje więc na przykład cała armia reprezentantów „nauk lokalnych”, publikujących w językach narodowych w czasopismach o niewielkim zasięgu (ale też ci na Nobla raczej nie liczą). Wygląda więc na to, że owe płynące z byłych supermocarstw propozycje naukometryczne pozostaną li tylko pomysłami teoretycznymi, bez praktycznych zastosowań, przynajmniej na naszym rodzimym gruncie.

Dr Paweł Misiak jest pracownikiem Akademii Rolniczej we Wrocławiu.
pm@ar.wroc.pl