Strona główna „Forum Akademickiego”

Archiwum z roku 2003

Spis treści numeru 2/2003

Premia za jakość
Poprzedni Następny

Życie akademickie

Budząca wiele sprzeciwów i kontrowersji ocena parametryczna generalnie 
zdała egzamin. Dlatego zostanie wpisana do nowych zasad finansowania nauki.

Piotr Kieraciński

Fot. Stefan Ciechan

Od 1989 r. mieliśmy do czynienia z kilkoma sposobami ocen placówek naukowych. Pierwszym był system „zastany”. – Członkowie KBN stwierdzili, że nie można go automatycznie powielać – wspomina dr Jan Krzysztof Frąckowiak, podsekretarz stanu w KBN – i wprowadziliśmy system oceny jakościowej. Podobne placówki naukowe połączono w grupy, następnie zakwalifikowano je do kategorii A, B, C i D. Po kilku latach odwołań i lobbingu większość placówek osiągnęła kategorie A i B. Stało się jasne, że wkrótce system wyczerpie swoje możliwości. – Już w 1996 r. – wspomina Krzysztof Szubski, naczelnik Wydziału Działalności Statutowej KBN – zaczęto myśleć nad wprowadzeniem nowego, parametrycznego systemu oceny placówek naukowych.

Dyskusje trwały dwa lata. Przykłady zastosowania oceny parametrycznej już istniały. Na Wydziale Chemicznym Uniwersytetu Warszawskiego oceniano np. pracowników na podstawie publikacji w recenzowanych czasopismach. W 1998 r. po raz pierwszy KBN ocenił jednostki naukowe wg kryteriów ilościowych. – Byliśmy zdumieni rezultatami – wspomina minister Frąckowiak. – Okazało się, że istniały jednostki uznawane powszechnie za znakomite, które niczego specjalnego nie reprezentowały. Oceniane były dotąd intuicyjnie, na podstawie kojarzonych z nimi wybitnych uczonych.

W 2001 r. system oceny parametrycznej został zmodyfikowany. Teraz ocena będzie prowadzona co cztery lata, równocześnie z kadencjami Komitetu Badań Naukowych.

KRYTERIA

Jednostki badawcze oceniane są na podstawie sześciu parametrów liczbowych, ilustrujących wyniki pracy uczonych, zatrudnionych w jednostce. Te wyniki to: publikacje recenzowane, monografie naukowe i podręczniki akademickie, stopnie i tytuły naukowe, opatentowane wynalazki i chronione prawa na wzory użytkowe; praktyczne wykorzystanie poza jednostką wyników badań naukowych i prac rozwojowych prowadzonych w jednostce; wdrożone systemy jakości, akredytacje laboratoriów, udział w programach ramowych UE. Ponieważ na ocenę jakości pracy placówki badawczej mają wpływ różne czynniki, dodano punkt: ocena ogólna jednostki. Pozwala on na uzyskanie dodatkowych 20 proc. do punktów za sparametryzowane wyniki.
Oceny dokonują zespoły KBN. Ustalają punktację poszczególnych parametrów. Zasady ramowe zostawiają tu sporą dowolność. Np. publikacje recenzowane w czasopismach z listy filadelfijskiej mogą uzyskać od 6 do 24 punktów. Łatwo sobie wyobrazić, że w pewnym zespole za publikację z listy filadelfijskiej można uzyskać minimalną liczbę punktów (6) i tyle samo za publikację recenzowaną w czasopiśmie o zasięgu krajowym, ale spoza listy. Publikacje w czasopismach recenzowanych o zasięgu lokalnym umożliwiają uzyskanie najwyżej 1 punktu. – Niestety - mówi Jan Krzysztof Frąckowiak – wielu naszych uczonych zdobywa najwięcej punktów właśnie za tego rodzaju twórczość naukową. Sekretarz KBN nie ukrywa, że sam jest zwolennikiem punktowania przede wszystkim publikacji w wysoko notowanych międzynarodowych czasopismach z listy filadelfijskiej. Zespoły Komitetu różnie podeszły do tej kwestii. Jedne punktują tylko publikacje w czasopismach z listy, uwzględniając do tego impact factor czasopism (chemicy i medycy), inne punktują wszystko, nie wyróżniając czasopism międzynarodowych.

ZARZUTY

Wysokie punktowanie publikacji wzbudzało niegdyś opór JBR-ów. Twierdzono, że jedno duże wdrożenie przemysłowe ma zacznie większe znaczenie od wielu najlepszych publikacji. Teraz aż dwa parametry pozwalają zdobyć punkty za osiągnięcia związane z praktycznym wykorzystaniem wyników badań naukowych. Krzysztof Szubski zaznacza, że wdrożenia są punktowane pod pewnymi warunkami. Muszą się opierać na wykonanych przez jednostkę badaniach, natomiast wdrożone muszą być poza jednostką, która je opracowała. Placówka ma przedstawić wiarygodne dowody aplikacji swego pomysłu w postaci umowy wdrożeniowej. Jedno wdrożenie może być punktowane tyko raz.

Problemem są wdrożenia w dziedzinie medycyny i rolnictwa. – Odbiorcy wdrożeń są w tych dziedzinach bardzo rozproszeni, dlatego trochę inaczej je traktujemy – mówi Krzysztof Szubski. Ani drobni rolnicy, ani pacjenci nie są w stanie opłacić kosztów wdrożenia nowych technologii rolniczych, procedur medycznych, leków. Zdaniem wielu przedstawicieli środowiska naukowego, wdrożenia powinny być finansowane ze środków pozabudżetowych, a nie z funduszu nauki. Minister Frąckowiak wyraża podobną opinię: – Wdrożenia powinny nauce przynosić pieniądze pozabudżetowe. To jest jeden z celów polityki naukowej.

Poszczególne grupy ocenianych placówek badawczych – szkół wyższych, instytutów PAN i JBR-ów – formułują zarzuty wobec oceny parametrycznej. Jedni uważają, że nie można ich oceniać na podstawie publikacji, bo pracują głównie dla przemysłu i wdrożeń. Inni argumentują, że najważniejsze dla postępu nauki są publikacje. Uczeni humaniści twierdzą, że w ich dziedzinie publikuje się głównie w językach narodowych.

Przedstawiciele KBN mają na te zarzuty odpowiedź. Różne typy jednostek oceniane są przez odpowiednie zespoły. Co więcej, zespoły mogą grupować placówki stosownie do ich charakteru – często to robią – i oceniać poszczególne grupy według nieco odmiennych kryteriów. – Zatem podobne jednostki oceniane są według takich samych zasad – komentuje naczelnik Szubski. Podobnie jak publikacje w czasopismach międzynarodowych z listy filadelfijskiej mogą być punktowane (od 6 do 24 punktów) czasopisma o zasięgu co najmniej krajowym, dla których narzędziami opisu są języki etniczne.

To, że nie każde kryterium „pasuje” do wszystkich jednostek, jest oczywiste. – Dajemy jednak pełen zestaw kryteriów, a jeżeli zespół uważa, że jedno z nich nie pasuje do ocenianych placówek, może dać za to kryterium mniej punktów – mówi dr Frąckowiak. Nie można z góry zakładać, że humaniści czy przedstawiciele nauk społecznych nie stworzą niczego nadającego się do aplikacji w praktyce. Podobnie placówkom prowadzącym głównie prace dla przemysłu nie można odmówić możliwości oceny ich dorobku teoretycznego. W pierwszej edycji oceny parametrycznej placówki z dziedziny sztuki poddawały ocenie dorobek artystyczny: wystawy, premiery muzyczne, teatralne itp. W obecnej postanowiono punktować tylko ich dokonania naukowe. Natychmiast pojawił się zarzut, że dla nich najważniejsza jest twórczość artystyczna. – Nie chcemy finansować działalności artystycznej, ale naukową – mówi minister Frąckowiak. I dodaje: – Jest między nimi istotna różnica. Wynik naukowy liczy się tylko wtedy, gdy może być powtórzony przez innych. W sztuce jest na odwrót: istotnym kryterium jest indywidualność i niepowtarzalność dzieła.

KATEGORIE

Ocena placówek służy głównie jako kryterium wtórnego rozdziału środków finansowych. pierwotnego podziału środków na działalność statutową pomiędzy dziedziny nauki dokonuje przewodniczący KBN. Środki przydzielone zespołom dzielą one między podlegające sobie placówki badawcze. W pierwszym stworzonym przez KBN systemie środki te zależały od kategorii jednostki. Placówki kat. A dostawały środki mnożone przez współczynnik 1,2, kat. B – 0,9, kat. C – 0,5. jednostki kat. D nie otrzymywały tej dotacji.

Obecnie kategoryzacja nie wpływa znacząco na przydział środków na działalność statutową. Podstawą podziału jest ocena parametryczna. Mówiąc krótko: KBN płaci za rezultaty pracy jednostki. Kategoryzacja placówek naukowych odzwierciedla jedynie efektywność pracy jednostki. Kategoria wynika z podzielenia liczby uzyskanych przez jednostkę punktów przez liczbę pracowników naukowych. Kategorię przyznaje zespół. Wprowadzono zasadę, że jednostek kat. 1 nie może być więcej niż 20 proc., a kat. 2 - 30 proc. Nie udało się ściśle utrzymać tego reżimu i w paru zespołach wskaźniki te nieznacznie przekroczono. Nie doszło jednak do sytuacji, z jaką mieliśmy do czynienia w poprzedniej ocenie, gdy ponad połowa placówek miała kat. 1. Obecnie funkcjonują kategorie 1-5 oraz kat. M. – Ta ostatnia – komentuje naczelnik Szubski – wykracza poza porządek 1-5. Dotyczy małych placówek zatrudniających na ogół mniej niż 20 pracowników. Statystyka, która znakomicie sprawdza się w ocenie dużych jednostek, trochę zawodzi przy tych najmniejszych. Dlatego Komitet wprowadził tę kategorię.

Kategoria to zasadniczo sprawa prestiżu placówki naukowej, ale w pewnych przypadkach przekłada się na pozyskiwane przez placówkę pieniądze. Niektóre zespoły, np. medycy i chemicy, postanowiły premiować pierwszą kategorię. Zespół nauk medycznych wyodrębnił grupę wydziałów lekarskich pierwszej kategorii i punkty uzyskane przez te wydziały w ocenie parametrycznej wycenił najwyżej, tj. przyznał najwięcej pieniędzy za określoną liczbę punktów. Kategoria jednostki brana jest też pod uwagę przy rozdziale środków na inwestycje, aparaturę, a nawet przy decyzjach dotyczących przyznania grantów. Łatwiej jest zdobyć środki na poważne badania, gdy wniosek podpisuje dyrektor placówki kat. 1 niż kat. 5. Oddzielenie kategoryzacji od finansowania zadań statutowych skutkuje jeszcze jednym, tylko pozornie paradoksalnym, zjawiskiem. Placówka, która ma niższą kategorię, może otrzymywać więcej środków, niż placówka należąca do kategorii wyższej.

EFEKTY

Wyniki oceny parametrycznej z 2001 r. były równie zaskakujące, jak te z 1998 r. Wiele jednostek zmieniło kategorię. – Nadspodziewanie dobrze wypadły jednostki badawczo-rozwojowe, które często traktuje się jako grosze – mówi Krzysztof Szubski. W ich ocenie kluczowe znaczenie miały punkty za wdrożenia i zastosowanie w praktyce wyników badań. Oznacza to, że nie są to placówki żyjące na garnuszku budżetu nauki, jak się często sądzi. – Gdyby JBR-y liczyły tylko na nasze pieniądze, dawno przestałyby istnieć – mówi dr Frąckowiak.

Okazuje się, że przez podlegający ocenie okres czterech lat pracownicy JBR-ów mieli niemal tyle samo publikacji recenzowanych, co pracownicy instytutów PAN. Wydali więcej monografii i podręczników akademickich, uzyskali więcej stopni i tytułów naukowych. Jednostki PAN zatrudniają ok. 4,5 tys. uczonych, a w pracach badawczych JBR-ów uczestniczy ok. 20 tys. osób, jednak tylko 4 tys. z nich legitymuje się stopniami i tytułami naukowymi. JBR-y wyróżniają się spośród ponad 900 jednostek naukowych liczbą wynalazków i praw ochronnych za wzory użytkowe, praktycznych zastosowań wyników badań oraz wdrożonych systemów jakości i akredytacji laboratoriów.

Ocena parametryczna nie tylko dała placówkom badawczym sprawiedliwszy dostęp do środków na działalność statutową. Pozwoliła im spojrzeć krytycznie, z punktu widzenia osiąganych wyników, na swoją pracę. – Z moich kontaktów z dyrektorami placówek naukowych wynika – mówi naczelnik Szubski – że samorefleksja potrzebna im była choćby po to, by zmodyfikować wewnętrzne kryteria oceny pracowników. Z pewnością ocena parametryczna ma duży, pozytywny wpływ na jakość polskich czasopism naukowych i dążenie do umiędzynarodowienia ich zasięgu. Wymaga to m.in. solidnego recenzowania artykułów przed przyjęciem ich do druku. Coraz więcej uczonych zagranicznych zasiada w radach naukowych i programowych polskich czasopism. Coraz częściej wymaga się tekstów, a przynajmniej streszczeń, w językach kongresowych. Wiele czasopism stara się trafić na listę filadelfijską, co – jak się okazuje - nie jest takie trudne. Liczba polskich czasopism na tej liście wzrasta z roku na rok i zbliża się już do setki.

Budząca wiele sprzeciwów i kontrowersji ocena parametryczna generalnie zdała egzamin. Dlatego, z pewnymi poprawkami, zostanie zapewne wpisana do nowych zasad finansowania nauki.

 

Komentarze