Sprawy nauki

19 Marca

Uniwersytet w Utrechcie, źródło: pixabay

Skąd czerpać wzorce? Zagraniczne systemy eksperckiej ewaluacji jednostek

Zastanawiając się nad systemem ewaluacji w Polsce, trzeba odpowiedzieć nie tylko na pytanie, jak przeprowadzać ocenę, ale także w jakim celu. Obecnie dominującą funkcją jest kategoryzacja jednostek naukowych, za którą idą uprawnienia awansowe i podział środków. Biorąc przykład z innych krajów europejskich, ewaluacja powinna pełnić funkcję prorozwojową, zarówno w odniesieniu do jednostek naukowych, jak i całych dyscyplin na poziomie krajowym – piszą członkowie Komisji ds. Międzynarodowych Rady Głównej Nauki i Szkolnictwa Wyższego.

Przebieg oraz efekty ewaluacji jednostek w latach 2017–2021 sprowokowały środowisko akademickie w Polsce do zastanawiania się nad celowością oceny w obecnej formie oraz kierunkiem koniecznych zmian. Wśród propozycji uzdrowienia systemu coraz częściej pojawiają się sugestie ewaluacji opartej wyłącznie na ocenie eksperckiej. Jest to rozwiązanie kosztowne i czasochłonne, ale od lat stosowane w niektórych krajach europejskich. Artykuł ma na celu podsumowanie najważniejszych aspektów systemów oceny nauki we Francji, w Wielkiej Brytanii i w Holandii oraz wyodrębnienie dobrych praktyk i rozwiązań, które mogłyby ewentualnie zostać wdrożone w Polsce.

Ewaluacja we Francji i Wielkiej Brytanii jest scentralizowana i organizowana odpowiednio przez Haut Conseil de l’Évaluation de la Recherche et de l’Enseignement Supérieur (HCERES) oraz w ramach Research Excellence Framework (REF) – związku czterech agencji finansujących badania w różnych krajach Wielkiej Brytanii, z których wiodąca to Research England. Model holenderski jest nieco odmienny – przedstawiciele ocenianych jednostek wypracowują wytyczne oraz procedurę ewaluacji, tzw. Strategy Evaluation Protocol (SEP). Jednak ocenę jednostki badawczej zleca rektor uczelni lub dyrektor instytutu badawczego, ponosząc odpowiedzialność za jakość oceny oraz koszty całego procesu. W założeniu ewaluacja przybiera formę dialogu pomiędzy interesariuszami.

We wszystkich wspomnianych krajach jednostki przygotowują raporty samooceny, które są ewaluowane przez międzynarodowe gremium ekspertów (pogrubienia w tekście – od redakcji). Ich zadaniem jest krytyczna recenzja, ale również sformułowanie rekomendacji i rozwiązań, które mogą poprawić jakość prowadzonych badań. Wydaje się, że ten element jest niezwykle wartościowy w omawianych systemach. Z założenia proces ewaluacji powinien wpływać na jakość badań, ale również warunki, kulturę i otoczenie wspierające badania w ocenianych jednostkach. W Polsce stawia się nacisk na ranking, relatywną ocenę na skali od C do A+ i uszeregowanie jednostek. W ostatniej ewaluacji zaangażowano blisko 900 ekspertów, w tym niemal 50 ekspertów zagranicznych, którzy przeprowadzili ocenę jakościową. Jednak oceniane jednostki nie otrzymały rzeczywistej informacji zwrotnej poza rankingiem uczelni w danej dyscyplinie. Nawet w ramach obowiązującego systemu ewaluacji w Polsce, można byłoby wzmocnić rolę eksperckiej informacji zwrotnej i rozwinąć recenzje eksperckie o rekomendacje i sugestie zmian.

Po przeprowadzonych ewaluacjach francuska HCERES przygotowuje rekomendacje obejmujące całość badań prowadzonych w kraju w podziale na dyscypliny oraz ogólne wskazujące na pozycję naukową Francji na świecie. Ma to niezwykle ważne znaczenie dla rozwoju polityki naukowej państwa. Taki jakościowy raport dotyczący stanu nauki w kraju mógłby powstać również w Polsce. Zestawienie rankingu uczelni nie daje wskazówek zmian i rozwoju.

Celem wprowadzenia eksperckiej ewaluacji jednostek we wspomnianych krajach było odejście od oceny parametrycznej i bibliometrycznej. W praktyce jednak eksperci biorą pod uwagę publikacje przy ocenie jednostki. Inaczej mówiąc, nie przyznaje się czasopismom punktów i konkretnych wartości, ale liczba i jakość publikacji jest niezwykle ważnym elementem całościowej oceny. W systemie francuskim, choć ocena ma charakter jakościowy, zgodnie ze standardami europejskimi ESG (Standards and Guidelines for Quality Assurance in the European Higher Education Area), twarde dane mają stanowić potwierdzenie tego, co jednostka deklaruje i służą zobiektywizowaniu oceny.

Wskazując na szczegółowe, specyficzne elementy oceny warto zauważyć, że istotnym aspektem we wszystkich systemach jest odtwarzanie i odmładzanie kadry akademickiej. Np. w REF zwraca się uwagę na kryterium, jakim jest liczba doktoratów, a w Holandii na politykę kadrową, zwłaszcza dotyczącą młodej kadry. We Francji liczba doktoratów i habilitacji jest jednym z elementów oceny działalności naukowej, obok publikacji, patentów, wynalazków czy udziału w konferencjach. Biorąc pod uwagę, że instytucje naukowe w coraz mniejszym stopniu przyciągają młodą kadrę również w Polsce, można rozważyć ten aspekt oceny działalności uczelni.

We Francji obszary oceny różnią się w zależności od typu jednostki. Dla uczelni ewaluacja obejmuje: zarządzanie strategiczne i operacyjne (w tym strategię rozwoju oraz efektywność operacyjną i finansową), badania naukowe (analizę dorobku, transfer technologii i współpracę z otoczeniem) oraz politykę edukacyjną (ocenę jakości kształcenia i warunków studiowania). Dla instytutów badawczych kryteria obejmują pięć obszarów: strategię jednostki, politykę naukową (kierunki i jakość badań oraz międzynarodową pozycję jednostki), innowacje i wpływ badań na gospodarkę, współpracę z uczelniami i innymi ośrodkami naukowymi oraz efektywność jednostki (operacyjną i finansową).

W Holandii kryteria dla wszystkich jednostek są wystandaryzowane. Jednak eksperci dostosowują swoje oceny do charakteru działalności danej jednostki. Protokół SEP stawia nacisk na strategię i agendę wydatkowania budżetu. Jednym z trzech kryteriów, poza jakością badań i znaczeniem społecznym, jest tak zwana żywotność jednostki (viability), rozumiana jako wykonalność założonych celów strategicznych i stabilność finansowa. Eksperci weryfikują, w jakim stopniu funkcjonowanie jednostki jest społecznie i ekonomicznie uzasadnione.

Ewaluacja jakości jednostek badawczych w Wielkiej Brytanii odbywa się rzadziej niż w Polsce, raz na siedem lat. Poza tym występuje sporo punktów zbieżnych. Ewaluacji dokonuje się w 34 jednostkach wspólnej oceny (odpowiednik dyscyplin w Polsce). Każde zgłoszenie zawiera standaryzowany zestaw informacji w odniesieniu do trzech elementów: wyniki (publikacje, waga: 60% oceny), konkretne rezultaty społeczno-ekonomiczne badań (waga: 25%) i otoczenie badawcze (waga: 15%). Otoczenie (infrastruktura) oznaczało elementy wspomagające badania i pozwalające na powstanie rezultatów. Jest oceniane według dwóch kryteriów: stabilności i samowystarczalności.

W trakcie REF 21 każda jednostka badawcza musiała zgłosić liczbę publikacji 2,5 razy większą od liczby pracowników mierzonej wg wskaźnika ekwiwalentu pełnego czasu pracy (FTE). Każdy pracownik badawczy zgłaszał co najmniej jedną publikację własnego autorstwa, a maksymalnie nie więcej niż pięć. Artykuły w czasopismach naukowych stanowiły aż 80,7% zgłoszonych publikacji. Zespoły oceny klasyfikowały publikacje w cztery kategorie, od wiodących w skali globalnej (4*), poprzez wybitne (3*), uznawane i odnotowane w skali międzynarodowej (2*), po publikacje o zasięgu lokalnym (1*). Co ciekawe, ponad 41% publikacji zostało uznanych przez zespoły ekspertów za wiodące i wybitne w skali światowej (4*), a 43% określono jako wybitne w skali międzynarodowej (3*).

Mimo że Francja, Wielka Brytania i Holandia prowadzą ewaluację działalności naukowej od lat, wciąż trwa debata nad udoskonaleniem procesu. Francja i Holandia rozważają rozwiązania, które będą miały charakter bardziej holistyczny, skupiający się na strategicznych kierunkach zamiast szczegółowej ocenie specyficznych kryteriów. Wzorem rozwiązania francuskiego w Holandii rozważa się całościową ocenę uczelni obejmującą naukę, dydaktykę i wpływ na otoczenie.

W Wielkiej Brytanii zarówno wyniki ewaluacji, jak i sam proces podlegają ścisłemu monitorowaniu. Np. po ewaluacji w roku 2021 (REF 21) interesariusze zwrócili uwagę na fakt, że nadmierne przywiązywanie uwagi do miernika w postaci publikacji przenosi ciężar zainteresowania na publikowanie w czasopismach o dużym czynniku wpływu. W podsumowaniu REF 21 wielu respondentów uznało, że format REF miał negatywny wpływ na nowatorstwo badań, ponieważ badacze skupiali się na tym, co jest bardziej odpowiednie dla uzyskania dobrego rezultatu w ewaluacji. Oznaczało to skupianie się na wynikach krótkoterminowych i publikacjach o wysokim współczynniku wpływu, zamiast na projektach długoterminowych lub badaniach interdyscyplinarnych.

Interesariusze we wspomnianych krajach zauważają, że ewaluacja wymaga bardzo dużego nakładu pracy związanego z przygotowaniem raportu samooceny. Również od ekspertów komisji ewaluacyjnych wymaga się obszernych prac przygotowawczych, intensywnych wizyt ewaluacyjnych, wspólnego raportu końcowego. We Francji planuje się rozbudowę możliwości zaciągania danych z systemów oraz uproszczenie procesu.

Zastanawiając się nad systemem ewaluacji w Polsce, trzeba odpowiedzieć nie tylko na pytanie, jak przeprowadzać ewaluację, ale także w jakim celu. Obecnie dominującą funkcją ewaluacji jest kategoryzacja jednostek naukowych, za którą idą uprawnienia awansowe i podział środków. Biorąc przykład z innych krajów europejskich, ewaluacja powinna pełnić funkcję prorozwojową, zarówno w odniesieniu do jednostek naukowych, jak i całych dyscyplin na poziomie krajowym. Eksperci oceniający III kryterium i całość dyscypliny mogliby formułować rekomendacje w odniesieniu do kierunków rozwoju, strategii, wpływu na otoczenie ocenianych jednostek. Ewaluacja mogłaby również służyć rozwojowi kadry akademickiej. Ocena szkół doktorskich w uczelniach i instytutach nie przekłada się na subwencję. A mogłaby stanowić element ewaluacji, wzorując się np. na holistycznym podejściu we Francji, Wielkiej Brytanii i Holandii. W końcu podczas ewaluacji można byłoby oceniać i doceniać, w jaki sposób wysoki poziom badań naukowych przekłada się na jakość kształcenia studentów. Na pewno dobrą praktyką możliwą do wprowadzenia w Polsce jest pełna transparentność i jawność procesu ewaluacji. Raporty oraz recenzje w innych krajach są powszechnie dostępne na stronach internetowych.

Opr. Katarzyna Byrka, Agnieszka Merkisz-Guranowska, Jacek Witkoś

Artykuł powstał w wyniku dyskusji z zaproszonymi gośćmi: prof. Aleksandrą Cisłak-Wójcik (Uniwersytet SWPS) i prof. Błażejem Skoczeniem (Politechnika Krakowska).

Skład Komisji ds. Międzynarodowych RGNiSW: prof. Tomasz Bączek (GUMed), prof. Katarzyna Byrka (USWPS), prof. Andrzej Fal (UKSW), mgr inż. Paulina Góra (ZUT w Szczecinie), mgr Katarzyna Jedlińska (UJ), prof. Stanisław Kistryn (UJ), mgr Maciej Korab (UAFM), prof. Agnieszka Merkisz-Guranowska (PP), prof. Marek Szyndel (SGGW), prof. Jacek Witkoś (UAM), ks. prof. Wojciech Zyzak (UPJPII)