Sprawy nauki

27 Marca

Uniwersytet w Coimbrze

Ewaluacja – jak to robią w Portugalii?

W naszej ocenie nie obowiązywały żadne parametry, miała ona charakter peer-review, jakościowy. Co więcej, na dorobek publikacyjny placówki, który brany był pod uwagę, składało się tylko kilkanaście, najwyżej dwadzieścia parę najważniejszych publikacji – o ewaluacji placówek naukowych w Portugalii, w której brał ostatnio udział, pisze prof. Leszek Kaczmarek, kierownik projektu BRAINCITY w Instytucie Biologii Doświadczalnej im. M. Nenckiego PAN, członek Rady Naukowej ERC.

Badacze z Portugalii, kraju nie bogatszego od Polski, mają w dorobku ponad 150 grantów ERC, a polscy mniej niż 100, choć jesteśmy krajem 3,5-krotnie ludniejszym. W Portugalii ocenie podlega niemal 400 jednostek naukowych, łącznie we wszystkich dziedzinach nauki. Ocenę przeprowadza Fundacja Nauki i Technologii (FCT), a jej rezultat ma wpływ na wysokość przyznawanej dotacji, podobnej do naszej subwencji. Ewaluacja jest przeprowadzana co 4–5 lat, podobnie jak w Polsce. Dokonują jej panele dziedzinowe, których jest ponad 30. W ich skład wchodzą wyłącznie uczeni z zagranicy. Pracowałem w panelu „Biomedycyna”; było nas w nim ośmioro, a mieliśmy do oceny 9 placówek. Każdy z nas został wyznaczony do bycia głównym referentem jednej instytucji (jedna osoba miała dwie) i tzw. drugim referentem kilku innych.

W pierwszym etapie pracowaliśmy na dokumentach dostarczonych przez placówki. Była to najtrudniejsza strona naszych działań ze względu na nadmierną obfitość dokumentacji. Każdy z nas miał za zadanie dokonać oceny punktowej (w skali 0–5) wszystkich placówek w trzech kategoriach: dorobku naukowego (kategoria A), potencjału badawczego (B) oraz planów na następne kilka lat (C). Dostaliśmy bardzo obfitą dokumentację od kilkudziesięciu do ponad 600 stron od poszczególnych instytucji – były to w zasadzie niezależne (wydzielone) jednostki naukowe uniwersytetów, trochę jak Centrum Nowych Technologii Uniwersytetu Warszawskiego (CeNT UW) czy Małopolskie Centrum Biotechnologii Uniwersytetu Jagiellońskiego (MCB UJ). Były one różnej wielkości: od kilkudziesięciu do ponad 1400 pracowników (łącznie: pracowników naukowych, pomocniczych i doktorantów).

W kryterium A mieliśmy za zdanie ocenić:

• postęp wiedzy i wpływ na naukę, z odniesieniem do publikacji, patentów, modeli, prototypów, produktów lub wszelkich innych istotnych wskaźników badań i innowacji;

• stopień internacjonalizacji i wspólnych wyników badań;

• zaawansowane szkolenie badaczy, w tym studentów studiów magisterskich i doktoranckich oraz post-doków;

• rozwój i konsolidację karier na różnych poziomach, w tym integrację badaczy na stałych stanowiskach, w szczególności doktorantów, post-doków oraz kierowników zespołów badawczych;

• jakość warunków przyjmowania badaczy, takich jak plany mentoringu, działania na rzecz równości płci i inkluzywności oraz uczciwe i przejrzyste mechanizmy oceny badaczy;

• promocję i upowszechnianie badań naukowych i technologicznych, upowszechnianie wyników i działania mające na celu promowanie kultury naukowej, w tym organizację konferencji, kolokwiów i seminariów;

• transfer wiedzy i technologii, w tym tworzenie spółek typu spin-off lub partnerstw przemysłowych;

• dążenie do zapewnienia finansowania z różnych źródeł krajowych i międzynarodowych (np. ERC, finansowanie UE, regionalne i/lub inne od agencji finansujących);

• ochronę i rozpowszechnianie wyników i danych badawczo-rozwojowych z poszanowaniem zasad i praktyk otwartej nauki; promocję kultury naukowej i technologicznej w społeczeństwie, działania o znaczeniu naukowym, technologicznym, kulturalnym, artystycznym, społecznym lub ekonomicznym dla społeczeństwa; istnienie polityki dostępu do danych naukowych.

W kryterium B należało ocenić:

• dowody na międzynarodowe i krajowe uznanie zespołu badawczego;

• dowody na korzyści dla społeczeństwa;

• umiejętności i skład zespołu badawczego w celu odpowiedniego wykonania proponowanego programu;

• zdolność do skutecznego ubiegania się o krajowe i międzynarodowe granty i kontrakty badawcze, w tym kontrakty z firmami, gdy ma to zastosowanie.

W kryterium C z kolei:

• jakość, zasługi, trafność, wpływ, oryginalność/zróżnicowanie i ambicję celów oraz ogólny proponowany program strategiczny na najbliższe 5 lat, w tym kwestie etyczne, o ile ma to zastosowanie, politykę Open Science, gender i otwartość dostępu do danych naukowych, budżet i wniosek o finansowanie programowe;

• odpowiednie zarządzanie jednostką badawczo-rozwojową i strukturę organizacyjną, w tym komunikację naukową i działania informacyjne, politykę obywatelską, transfer technologii i ochronę własności intelektualnej;

• plany zaawansowanych szkoleń, w szczególności warunki naukowe wspierające programy doktoranckie, udowadniające korzyści dla programu doktoranckiego, wynikające z bliskości działalności badawczej jednostki badawczo-rozwojowej;

• odpowiednie zarządzanie zasobami ludzkimi, w tym opracowanie warunków przyciągania i zatrzymywania wykwalifikowanych zasobów ludzkich – chodzi o plany zatrudniania nowych badaczy;

• strategię rozwoju kariery dla badaczy na wszystkich etapach ich kariery, w tym dla badaczy na umowach na czas określony.

Musieliśmy się zapoznać ze strategią jednostki badawczo-rozwojowej dotyczącą przeciwdziałania niepewności i integrowania badaczy na stałych stanowiskach zawodowych. W stosownych przypadkach mieliśmy się odnosić do wniosków w innych programach FCT.

Wszystkie trzy kryteria były brane pod uwagę na każdym etapie oceny. Na drugim etapie spotkaliśmy się z każdą placówką w trybie zdalnym. W przypadku większych jednostek były to spotkania całodniowe, a przypadku mniejszych – kilkugodzinne. Na każde spotkanie składały się rozmowy z poszczególnymi grupami pracowników: kierownictwem, doktorantami i post-dokami oraz samodzielnymi pracownikami nauki.

Trzeci etap polegał na wizytacji placówek, Spędziliśmy 5 dni w Portugalii, podróżując autobusem od Bragi, przez Porto, Coimbrę, Alveiro, Lizbonę (4 placówki), do Faro, spędzając 1,5–2 godz. w każdej placówce, oglądając laboratoria oraz ponownie spotykając się z wymienionymi powyżej grupami pracowników.

W rezultacie przyznaliśmy każdej placówce punktację w każdej w wymienionych trzech kategorii – ostateczna wysokość dotacji publicznej wynika z tej oceny przemnożonej przez liczbę pracowników naukowych z doktoratem – oraz zaproponowaliśmy podział pewnej kwoty na działania projakościowe (tzw. finansowanie programowe).

Warto zwrócić uwagę, że w naszej ocenie nie obowiązywały żadne parametry, miała ona charakter peer-review, jakościowy. Co więcej, na dorobek publikacyjny placówki, który brany był pod uwagę, składało się tylko kilkanaście, najwyżej dwadzieścia parę najważniejszych publikacji.

Na koniec uwagi ogólne. W dobrych portugalskich placówkach dotacja od FCT to kilkanaście procent ogólnego budżetu. Wyraźnie więcej stanowią granty, zwłaszcza zagraniczne, w tym europejskie. Najlepsze placówki, wielkości naszych dużych instytutów PAN, mają po kilkanaście grantów ERC! Ocena panelu była bardzo spójna, bez większych problemów doszliśmy do konsensusu w przypadku każdej z placówek. Na koniec nasza ocena była wielowymiarowa, niezdominowana przez żaden z aspektów aktywności podlegających analizie. Obyśmy taki model ewaluacji wprowadzili w Polsce.

Leszek Kaczmarek