Sprawy nauki

06 Maja

Ewaluacja po litewsku

Litwini nie posługują się systemem punktacji, złośliwie nazywanym „punktozą”, jasne i przejrzyste kryteria oceny nie budzą żadnych kontrowersji, za to wspierają interdyscyplinarne podejście, a sama ewaluacja wpisuje się w pełni w plan reformy nauki litewskiej. Czy niektórych ich doświadczeń nie warto zaimplementować w naszym systemie oceny nauki – pyta prof. Adrian Jusupović, kierownik Zakładu Badań Źródłoznawczych i Edytorstwa Instytutu Historii im. T. Manteuffla Polskiej Akademii Nauk.

W roku 2023 na Litwie odbyło się niezwykle skomplikowane przedsięwzięcie mające na celu pozycjonowanie poszczególnych ocenianych jednostek (UoA – Unit of Assessment) w sześciostopniowej skali. Na wstępie należy wyjaśnić, że na Litwie poza ministerstwami (w tym edukacji, nauki i sportu) zostały powołane instytucje, które pełnią rolę ekspercką i wspierają działania rządu: Litewska Akademia Nauk, Rada Nauki Litwy (spełnia podwójną rolę jako agencja grantowa oraz doradztwa z zakresu polityki naukowej), Rządowe Centrum Strategicznych Analiz oraz Naukowa Rada Technologii i Innowacji. Rada Nauki Litwy we współpracy z Ministerstwem Edukacji, Nauki i Sportu nie tylko organizują ewaluację, ale również dokonują podsumowania jej efektów oraz, co istotne, na podstawie opinii zatrudnionych ekspertów wskazują kierunki ewentualnych zmian.

Ewaluacji jednostek naukowych dokonują zagraniczni eksperci, powołani przez Radę Nauki Litwy spośród wysokiej klasy naukowców i nauczycieli pracujących w zagranicznych instytucjach naukowych i szkolnictwa wyższego. W 2023 r. pochodzili oni z 26 różnych krajów i mieli zróżnicowane doświadczenia (przy ocenie ERC czy też krajowych grantów). Preferowani byli badacze dobrze orientujący się w specyfice regionu, przy których nie zachodzi podejrzenie konfliktu interesu (współpracują z litewskimi badaczami przy projektach naukowych, pracują w jednostce litewskiej itp.). Oni również przygotowali końcowy raport oraz rozpatrują wszelkie odwołania, co niweluje niebezpieczeństwo ręcznego sterowania ocenami.

Na potrzeby ewaluacji wyodrębniono 85 UoA (w 2018 roku było 117 UoA, które były oceniane przez 6 paneli eksperckich; wyodrębniony UoA mógł dotyczyć tylko jednej dyscypliny), które zostały przypisane do jednego z 13 paneli eksperckich: dwóch humanistycznych (liczących 10 i 12 osób), trzech nauk społecznych (13, 19 i 9 osób), jednego nauk społecznych i humanistycznych (20 osób), trzech nauk przyrodniczych oraz nauk technicznych (11, 8 i 9 osób), jednego zdrowia i nauk medycznych oraz nauk przyrodniczych (11 osób), jednego nauk przyrodniczych (10 osób), jednego nauk rolniczych oraz nauk technologicznych (9 osób) oraz jednego nauk technologicznych (10 osób).

Zazwyczaj UoA jest częścią większej jednostki naukowej (np. uniwersytetu) i odpowiada wydziałowi lub całej instytucji (np. Instytut Historii Litwy). Każda instytucja uczestnicząca w ocenie eksperckiej, w zależności od jej wielkości i struktury, może wyodrębnić jedną lub więcej jednostek poddawanych ocenie (UoA). Są to zatem struktury wyodrębnione w celu dokonania ich oceny, które mogą działać w maksymalnie dwóch obszarach badawczych (w uzasadnionych wypadkach w więcej niż dwóch). Takie rozwiązanie wspiera interdyscyplinarne podejście do badań.

Powołani eksperci dostają dokumentację, która ma ich zaznajomić z systemem szkolnictwa wyższego na Litwie oraz kryteriami oceny. Przechodzą szkolenie z zakresu obsługi systemu, do którego będą wpisywali swoje indywidualne sugestie oceny. Na miesiąc przed wizytą w Wilnie otrzymują dostęp w aplikacji do raportów przygotowanych przez poszczególne jednostki ewaluowane za okres ostatnich pięciu lat (co tyle odbywa się ewaluacja). Składają się one z następujących informacji:

Część I: Dane UoA dotyczące badań i rozwoju.

1. Jakie instytuty/zakłady/pracownie tworzą ocenianą jednostkę?

2. Jakie dyscypliny lub pola badawcze są w jednostce uprawiane?

3. Informacje o strukturze zatrudnienia (w tym z podziałem na dyscypliny), ilu jest liderów/chief researchers, starszych badaczy/senior researchers, badaczy/researchers, pracowników naukowych w tym z zagranicy/research fellows, młodszych badaczy/junior researchers (przypisanie do określonej kategorii uzależnione jest od osiągnieć naukowych, które obowiązują w danej dyscyplinie; przykładowo lider w naukach humanistycznych powinien mieć albo monografię naukową nieopartą na dysertacji doktorskiej, opublikowaną przez uznane międzynarodowe wydawnictwo oraz co najmniej pięć artykułów naukowych na poziomie międzynarodowym, albo monografię naukową nieopartą na dysertacji i co najmniej siedem artykułów naukowych na poziomie międzynarodowym, albo co najmniej piętnaście artykułów naukowych na poziomie międzynarodowym); osobno znajdują się informacje o stopniach naukowych oraz innych pracownikach w tym doktorantach.

4. Dane dotyczące studiów doktoranckich. Na Litwie instytuty naukowe mogą posiadać doktorantów, ale szkoły doktorskie mogą prowadzić jedynie wspólnie z uniwersytetami. Taki system nie jest jednak najlepszy, gdyż z moich analiz (za okres 2018–2022) wynika, że procent doktorantów, którzy nie obronili dysertacji, a byli związani z instytutem naukowym, jest znacznie wyższy od tych związanych z uniwersytetami. Co ciekawe Uniwersytet w Kłajpedzie ma niemal 100-procentową frekwencję obronionych doktoratów (i to w wyznaczonym czasie) i rozbudowany system opieki nad doktorantami.

5. Wykazy: wyselekcjonowanego spośród pracowników UoA najlepszego dorobku badawczego; najlepszych referatów wygłoszonych podczas zagranicznych konferencji; ważniejszych krajowych i międzynarodowych nagród otrzymanych za działalność badawczo-rozwojową; otrzymanych projektów naukowo badawczych.

Część II: Dane ocenianej jednostki dotyczące ekonomicznego i społecznego wpływu działalności badawczo-rozwojowej i potencjału rozwojowego.

6. Wykazy: wyników badań, zamówień badawczo-rozwojowych od podmiotów gospodarczych (litewskich i zagranicznych) oraz projektów (międzynarodowych i krajowych) o największym wpływie społeczno-gospodarczym (według znaczenia wpływu); najważniejszych przypadków udziału naukowców reprezentujących UoA w grupach roboczych, komisjach lub komitetach powoływanych przez władze państwowe, instytucje państwowe i samorządowe, przedsiębiorstwa i organizacje oraz podmioty gospodarcze; głównych konsultacji udzielonych przez UoA podmiotom publicznym lub gospodarczym; najważniejszych konferencji naukowych i wydarzeń organizowanych przez UoA; udziału naukowców reprezentujących UoA w radach redakcyjnych czołowych czasopism naukowych; członkostwa naukowców reprezentujących UoA w najważniejszych międzynarodowych grupach roboczych, stowarzyszeniach itp.; najważniejszych działań popularyzujących naukę; umów o współpracy między jednostkami naukowymi i gospodarczymi; infrastruktury badawczo-rozwojowej.

Część III: Dane dotyczące potencjału rozwoju naukowo-badawczego.

7. Struktura i dynamika zasobów ludzkich, w tym np. rozkład pracowników według wieku i płci (na dzień 31 grudnia ostatniego roku okresu oceny).

8. Strategiczny plan działania UoA.

9. Opis i uzasadnienie tematów badawczo-rozwojowych, które mają zostać opracowane przez UoA.

10. Informacje na temat polityki kształcenia nowego pokolenia naukowców.

11. Samoocena UoA. Mocne i słabe strony, szanse i zagrożenia.

Co istotne do raportu są dołączone liczne odnośniki i linki, które mają pozwolić ekspertom na zweryfikowanie zawartych w nim informacji.

Ekspert przystępując do oceny, koncentruje się na trzech kategoriach (ocena jest w skali od 0 do 5 z możliwością przyznawania połówek oceny, gdzie 0, niezależnie od kategorii, oznacza brak działań naukowo-badawczych).

Pierwsza to aktywność naukowo-badawcza UoA (obejmuje 65% całościowej oceny), gdzie:

• 5 znakomita/excellent – oznacza, że działania naukowo-badawcze mają najwyższy międzynarodowy standard;
• 4 bardzo dobra/very good – oznacza, że prace naukowo badawcze są na wysokim poziomie i cieszą się międzynarodowym uznaniem;
• 3 dobra/good – oznacza, że prowadzone prace naukowo-badawcze są na wysokim poziomie i cieszą się krajowym uznaniem;
• 2 satysfakcjonująca/satisfactory – oznacza, że prace naukowo-badawcze są na satysfakcjonującym poziomie;
• 1 słaba/poor – oznacza, że prace naukowo-badawcze są na niskim poziomie.

Druga to gospodarczy i społeczny wpływ działalności naukowo-badawczej UoA (obejmuje 20% całościowej oceny), gdzie:

• 5 znakomita/excellent – oznacza, że UoA ma pozytywny wpływ na rozwój społeczeństwa i jest wysoko cenionym partnerem w kwestiach badawczo-rozwojowych nie tylko w społeczności akademickiej, ale także poza nią. Pracownicy instytucji są uznawani za ekspertów w sektorze publicznym i prywatnym;
• 4 bardzo dobra/very good – oznacza, że prowadzone badania są ważne dla społeczeństwa. UoA jest ściśle związana nie tylko ze środowiskiem akademickim, ale także z biznesem, decydentami i społeczeństwem;
• 3 dobra/good – oznacza, że prowadzone badania są ważne dla społeczeństwa. Relacje z biznesem, decydentami i społeczeństwem są odpowiednie dla uznanej instytucji prowadzącej działalność akademicką;
• 2 satysfakcjonująca/satisfactory – oznacza, że prowadzone badania są ważne dla społeczeństwa, ale interakcja jednostki oceniającej z biznesem, decydentami i społeczeństwem jest słaba;
• 1 słaba/poor – oznacza, że prowadzone badania nie są ważne dla społeczeństwa. UoA nie wchodzi w interakcje z biznesem, decydentami i społeczeństwem.

Trzecia kategoria to potencjał rozwoju naukowo-badawczego UoA (obejmuje 15% całościowej oceny).

Biorąc pod uwagę wyniki, zasoby ludzkie, strategię, organizację, działania i infrastrukturę UoA, czynniki te zapewnią warunki do uzyskania w ciągu najbliższych 5 lat ocenę: 5 znakomitą/excellent; 4 bardzo dobrą/very good; 3 dobrą/good; 2. satysfakcjonującą/satisfactory; 1. słabą/poor.

Po dokonaniu wstępnej oceny eksperci spotykają się w Wilnie. Każdy panel jest nagrywany i posiada przewodniczącego. W czasie posiedzenia obecni są przedstawiciele Rady Nauki Litwy, którzy dbają o harmonogram ewaluacji oraz odpowiadają na wszelkie pytania odnośnie regulacji prawnych. Na pierwszym zebraniu uzgadniane są wstępne oceny poszczególnych jednostek, po dokładnym omówieniu poszczególnych części ewaluacji. Następnie panel jest dzielony na trzy- lub czteroosobowe grupy, które przez kolejne trzy dni odwiedzają oceniane UoA. Wyjazd obejmuje spotkanie z kierownictwem UoA, które dokonuje krótkiej prezentacji, a następnie eksperci mogą dopytać o kwestie budzące kontrowersje w czasie lektury raportu oraz o politykę zarządzania. Spotykają się też z kadrą naukową, więc mogą zweryfikować informacje zawarte w raporcie oraz uzyskane od kierownictwa, a także dopytują się o fundusz wewnętrzny na badania naukowe, w jaki sposób jednostka wspiera badaczy w uzyskiwaniu środków krajowych i europejskich, czy mają dostęp do baz danych itp. Podczas spotkania z doktorantami oceniający dopytują o powód wybrania studiów doktoranckich, jakość kształcenia itp. Ostatnim elementem wizyty jest prezentacja ekspertom infrastruktury naukowej.

Zebrane w czasie wizyty informacje mogą wpłynąć na podwyższenie lub obniżenie oceny zasugerowanej podczas pierwszego spotkania. Ustalenie ostatecznej punktacji odbywa się ostatniego dnia. Następnie osoby przypisane do przygotowania raportu końcowego z oceny UoA (piszący te słowa odpowiadał m.in. za Instytut Historii Litwy), przesyłają go do członków panelu (do akceptacji) wraz z sugestiami kierunku zmian. Ostatnim etapem pracy panelu były ewentualne odwołania. Warto zaznaczyć, że Rada Nauki Litwy poprosiła wszystkie oceniane jednostki o ewaluację procesu organizacji oceny eksperckiej w 10-punktowej skali, gdzie 10 oznacza maksymalną pozytywną ocenę. Średnia ocena wyniosła 8,3 (w oparciu o 78 odpowiedzi z 85 UoA).

Ogólnym celem Porównawczej Oceny Eksperckiej działań badawczo-rozwojowych prowadzonych przez uniwersytety i instytuty badawcze jest przedstawienie obrazu litewskich wyników badań, ich wpływu społeczno-gospodarczego oraz potencjału instytucji badawczych. Wyniki zaś wykorzystywane są do ustalenia budżetu jednostki oraz przyznawania uczelniom uprawnień do organizowania studiów doktoranckich w określonych dziedzinach nauki. Ponadto wykorzystywane są do przydzielenia 70% części budżetu państwa przewidzianej na finansowanie działań naukowo-badawczych uniwersytetów i instytutów naukowych.

Litwini nie posługują się systemem punktacji (złośliwie nazywanym „punktozą”), który funkcjonuje w takich krajach jak na przykład Polska czy też Rosja (z zastrzeżeniem, że w Rosji uwzględniono różnice pomiędzy uniwersytetami i akademią), w których badacz może opublikować jeden artykuł w czterech różnych językach i czasopismach, zmienić jego tytuł i wypełnić sloty. Kryteria oceny naszego wschodniego sąsiada są jasne i przejrzyste. Nie budzą również żadnych kontrowersji oraz wspierają interdyscyplinarne podejście. Ewaluacja wpisuje się w pełni w plan reformy nauki litewskiej. Jej wyniki oraz kierunki rozwoju zostały omówione na osobnej konferencji z udziałem czołowych litewskich polityków, naukowców oraz ekspertów. Ponadto po ukończeniu procesu ewaluacji rozsyłana jest ankieta do ekspertów, którzy mają możliwość zasugerować usprawnienie i poprawienie systemu oceny.