Wykres A, pokazuje jak mgby wyglda ranking jednostek z „grupy jednorodnej N9 – nauki medyczne” na podstawie statystki, a wykres B jak wyglda w rzeczywistoci. Na osi Y przedstawiono liczb jednostek uzyskujcych ten sam proc. punktacji. Na osi X – jednostki uzyskujce okrelony proc. cakowitej punktacji. Analizujc grup N9, dokonano standaryzacji, ktra polegaa na tym, e suma punktw uzyskanych przez jednostki, wzita zostaa za 100 proc., a nastpnie policzono proc. udziau kadej badanej jednostki.
Przeprowadzona analiza dystrybucji pokazaa istnienie krzywej bimodalnej.
Wykres A: Mediana (M) = 1,48 proc., 25 proc. jednostek naukowych uzyskao punktacj poniej 1,07 proc. (grupa V), a 75 proc. punktacj nisz ni 1,87 proc. Liczby rzymskie – propozycje grup rankingu, liczby arabskie – liczba jednostek w danej grupie. Wykres B. Ta sama analiza z podziaem na grupy wg ministerstwa (liczby rzymskie), liczby arabskie – liczba jednostek w danej grupie.
Wyniki ministerialnej kategoryzacji placwek bada medycznych napeniy mnie niemaym zdumieniem, rezygnacj i zwtpieniem w swoje zdrowe zmysy. Nie najlepsze jednostki okazay si bowiem najlepszymi, a najlepsze zajy dalsze pozycje. Postanowiem jednak przeanalizowa ten ranking punkt po punkcie, uywajc do tego celu rwnie statystyki.
Na tej podstawie wydaje si, e nauka w naszym kraju bawi czciowo w rzeczywistoci wirtualnej. Czy w normalnej codziennoci mona sobie wyobrazi, aby np. po sezonie rozgrywek ligi piki nonej kto ogosi, e o kolejnoci druyn decyduj zasady stosowane w pice rcznej? Jest to niemoliwe, ale w wirtualnej rzeczywistoci naszej nauki (to taka rzeczywisto, w ktrej kady ma np. trzy ycia i przenika przez ciany) tak si wanie stao. Warunki rankingu dotyczyy bowiem poprzedniego czterolecia, kiedy nikt nie wiedzia, jakie bd zasady.
Podstaw rankingu bya: a) aktywno jednostki naukowej, b) jej dziaalno naukowa, c) zastosowania praktyczne tej dziaalnoci. Aktywno naukowa mierzona bya m.in. liczb zdobytych stopni naukowych. Jest to atwo sprawdzalne i tutaj ranking trzyma si rzeczywistoci. W punkcie b), w ktrym chodzio o jako pracy naukowej mierzonej poprzez odpowiedniki impact factor prac, ktre jednostka opublikowaa, w stosunku do liczby jej pracownikw naukowych, wiat wirtualny dawa o sobie zna. Okazao si, e jednostki naukowe nie wiedz, ilu maj pracownikw (pomyki dochodziy do 50 proc.!), nie wiedz, co to jest publikacja naukowa, radonie zaliczajc do niej abstrakty prac czy komunikaty zjazdowe. Na szczcie, w dobie powszechnego dostpu do Internetu i przez to do caej informacji naukowej, punkt ten by atwy do zweryfikowania i w kocu poprawnie zrealizowany. Tutaj wiat wirtualny przegra. Da jednak o sobie zna w punkcie c), gdzie wpisywano do dowolne i trudne do zweryfikowania dane. Punkt ten mia znaczny wpyw na ostateczne wyniki rankingu, on to bowiem spowodowa, e jednostki nie najlepsze stay si najlepszymi.
Ostateczne wyniki zostay ocenione przez komitety naukowe. Nie byoby w tym nic dziwnego, gdyby ich czonkowie nie pracowali w ocenianych jednostkach. Czy mona sobie wyobrazi sdziego, ktry rozstrzyga w sprawie swojej wasnej czy najbliszej rodziny? Gigantyczny konflikt interesw okaza si tu nieunikniony i oczywisty. Nie byo w tym winy czonkw komitetw, ktrych wybierano w powszechnym gosowaniu, bo to ministerstwo postawio ich w roli sdziw. Wirtualny wiat nauki da o sobie zna w tym punkcie z ca moc. W efekcie 50 proc. placwek w dziedzinie nauk medycznych zostao zaliczonych do pierwszej (najwyej ocenianej) grupy. Podobnie stao si w innych dziedzinach nauki. W efekcie tego podejcia, jednostki rzeczywicie najlepsze w pierwszej grupie rankingu dostay tyle samo pienidzy, co poprzednio, a liczne jednostki z „ogona” tej grupy nawet 2 czy 3 razy wicej ni w latach poprzednich. Typowe socjalistyczne dzielenie biedy po rwno, cakowicie zaprzeczajce idei rankingu, ktry mia wyoni najlepsze jednostki i lepiej je dofinansowa. Ta suszna idea w wirtualnej rzeczywistoci zostaa kompletnie wypaczona.
Przeprowadzona analiza statystyczna rankingu ku mojemu zdumieniu wykazaa, e uzyskano zupenie sensowne wyniki. Analiza dystrybucji pokazaa istnienie bimodalnej krzywej, z median = 1,48 proc., 25 proc. otrzymao punktacj < 1,07 proc., a 25 proc. < 1,876 proc. Okazao si zatem, e nawet niedoskonale przeprowadzony ranking da w efekcie ciekawe wyniki, ktre powinny doprowadzi do wyodrbnienia grupy 7 jednostek w kategorii 1, 13 w kategorii 2, 11 w kategorii 3, 10 w kategorii 4 i 20 w ostatniej (patrz: wykres A). wiat wirtualny jest przedstawiony na wykresie B i odzwierciedla rzeczywiste wyniki rankingu. Wida tutaj cakowit dowolno w dzieleniu jednostek na grupy, z ogromn skonnoci do zaliczania ich do grupy pierwszej. Okazao si, e z 61 jednostek blisko poowa (29) zostaa sklasyfikowana w kategorii 1, tj. jednostek najlepszych, 10 zaliczono do kategorii 2, 9 do 3, 10 do 4 i 3 do 5. Powodowao to due rozproszenie i zmniejszenie finansowania jednostek najlepszych, a w kategorii 1 znalazy si jednostki jakociowo bardzo rne. Efekt by zatem odwrotny do zamierzonego. Podobne proporcje dotyczyy zreszt innych dziaw nauki.
Co naley robi w przyszoci, by unikn takich bdw? wiat nauki naley urealni. Po pierwsze, warunki rankingu musz by znane w momencie rozpoczcia. Tutaj ministerstwo poszo w dobrym kierunku i obecnie niektre zasady (punktacja za publikacje) znane s ju w poowie meczu. Po drugie, naley zrezygnowa z punktacji za aktywno jednostki, jest ona wynikiem jej dziaalnoci naukowej. Po trzecie, dziaalno naukowa powinna by nadal oceniana wedug „punktw impaktowych czasopism”. Niestety, punktacja taka ocenia jedynie warsztat naukowy, zupenie nie okrela jakoci pojedynczych publikacji, te z atwoci mog by oceniane na podstawie wspczynnika H (patrz: Hirsch J.E., PNAS, 2005, 102, 16569−72). Wspczynnik H rwny jest liczbie publikacji cytowanych co najmniej h razy. H = 30 oznacza, e 30. z kolei publikacja, jeeli uszeregowane byy one w kolejnoci uzyskanych cytowa, cytowana bya nie mniej ni 30 razy. Wspczynnik ten mierzony jest automatycznie w bazach Scopus czy ISI Web of Knowledge. Czas jego wyznaczania mierzony jest w sekundach i nadaje si znakomicie do oceny jakoci publikacji pojedynczych naukowcw, caych jednostek naukowych, dziedzin nauki, a nawet caych pastw. Na przykad wspczynnik H Polski za lata 2000−07 wynosi 122, Ukrainy 64, Szwecji 207. W przypadku uczelni mona wprowadzi „poprawk na nauczanie” – jeli uczelnia powica na to 50 proc. czasu, to jej wynik za dziaalno naukow byby mnoony przez 2.
Po czwarte, naley zrezygnowa z wirtualnego punktu c), chyba e chodzi jedynie o jednostki zajmujce si dziaalnoci praktyczn. Jednostki badawczo−rozwojowe powinny by oceniane wycznie na podstawie wynikw w zakresie dziaalnoci praktycznej, ktra zdecydowanie nie powinna by miernikiem jakoci pracy uczelni. Po pite, do ustalania rankingu naley zatrudni 2−3 niezalenych statystykw, ktrzy w cigu miesica, za odpowiednim wynagrodzeniem, opracuj wyniki rankingu w sposb zgodny z zasadami statystyki.