Aktualności
Sprawy nauki
14 Stycznia
Źródło: www.pixabay.com
Opublikowano: 2022-01-14

ABC ewaluacji: sprawdź się sam

W poniedziałek 17 stycznia rozpoczyna się nowy proces ewaluacji działalności naukowej, która pomaga ocenić stopień realizacji polityki naukowej państwa. Jej efektem ma być przyznanie dyscyplinom w danym podmiocie kategorii naukowych A+, A, B+, B, C. Od wyników ewaluacji zależeć będą także uprawnienia do prowadzenia studiów, szkół doktorskich, nadawania stopni i tytułów oraz subwencja przyznawana z budżetu państwa.

Ośrodek Przetwarzania Informacji – Państwowy Instytut Badawczy opracował nowoczesne narzędzia informatyczne, które ułatwiają całą procedurę oraz pomagają zoptymalizować osiągany rezultat. Aktualna ewaluacja obejmie dane za okres od 2017 do 2021 roku.

2017 versus 2022

Obowiązek udziału w ewaluacji dotyczy uczelni akademickiej, federacji, instytutu PAN oraz instytutu międzynarodowego. Ewaluacja może zostać także przeprowadzona „na wniosek” w: uczelni zawodowej, instytucie badawczym oraz innym podmiocie prowadzącym głównie działalność naukową w sposób samodzielny i ciągły, posiadającym siedzibę na terytorium Polski. Wniosek o przeprowadzenie ewaluacji składa się w terminie do 30 września ostatniego roku objętego ewaluacją. W ewaluowanym podmiocie musi być zatrudnionych co najmniej 12 pracowników prowadzących działalność naukową w danej dyscyplinie (w przeliczeniu na pełny wymiar czasu pracy związanej z prowadzeniem działalności naukowej w tej dyscyplinie). W przeciwieństwie do procesu z 2017 roku, gdy ewaluowano jednostki naukowe, obecnie działalność naukowa oceniana będzie w danym podmiocie w ramach dyscyplin naukowych lub artystycznych. To zasadnicza zmiana. W 2022 roku ocenie podlegają indywidualne osiągnięcia wszystkich pracowników prowadzących działalność naukową w dyscyplinie jako zespołu. Ewaluowana jednostka nie może już wybrać tylko kilku osób, które mają na swoim koncie najlepsze osiągnięcia. Temu celowi służy także wyznaczenie limitu publikacji przekazywanych do oceny przez pojedynczego pracownika, który określają przysługujące do wypełnienia sloty publikacyjne. Używane potocznie pojęcie „slot” odnosi się do limitów publikacyjnych, jakie przypadają na osobę prowadzącą działalność naukową. Należy zwrócić uwagę, że liczba slotów zależy od: udziału w zadeklarowanej przez pracownika dyscyplinie w poszczególnych latach objętych ewaluacją; wymiaru etatu w ewaluowanym okresie oraz okresu zatrudnienia.

Zgodnie z tymi założeniami na renomę dyscypliny wpływa praca wszystkich prowadzących działalność naukową, a ocena jest odzwierciedleniem potencjału naukowego podmiotu w danej dyscyplinie. W efekcie wprowadzenia limitów, duża liczba dobrze punktowanych publikacji jednego autora nie będzie mogła rekompensować braku osiągnięć pozostałych naukowców. W nowym systemie zwiększa się znaczenie artykułów publikowanych w czasopismach o największej renomie na świecie. Uwzględnianie tylko najlepszych publikacji poszczególnych badaczy ma zachęcić wszystkich do prowadzenia prac naukowych na możliwie najwyższym poziomie i publikowania ich wyników w prestiżowych czasopismach lub w monografiach wydawanych przez wydawnictwa o najwyższych standardach wydawniczych i naukowych.

Trzy kryteria oceny

W najnowszym procesie Ministerstwo Edukacji i Nauki wprowadziło nowe zasady, które mają na celu przeprowadzenie ewaluacji w sposób jak najbardziej rzetelny i porównywalny. Ważne, aby oceny jakości działalności naukowej podmiotu nie utożsamiać z oceną poszczególnych naukowców. To dwa różne procesy. Nowe zasady ewaluacyjne zakładają mieszany model oceny: połączenie systemu parametrycznego z eksperckim. Do kryteriów opartych na wskaźnikach bibliometrycznych (kryterium I) i finansowych (kryterium II) dołączono kryterium III oparte na ocenie krajowych i zagranicznych ekspertów.

Kryterium I odnosi się do poziomu naukowego lub artystycznego prowadzonej działalności. Ocenie podlegają: osiągnięcia publikacyjne pracowników ewaluowanego podmiotu zarejestrowane w Profilu Instytucji PBN w ramach systemu POL-on 2.0 (osiągnięcia zarejestrowane wyłącznie w Profilu Autora nie podlegają ewaluacji); udzielone podmiotowi patenty na wynalazki, prawa ochronne na wzór użytkowy, wyłączne prawa hodowcy do odmiany roślin, wykazane w module Patenty i prawa ochronne w POL-on 2.0; osiągnięcia artystyczne zarejestrowane w module Osiągnięcia artystyczne w POL-on 2.0.

Kryterium II odnosi się do efektów finansowych badań naukowych i prac rozwojowych. Ocenie podlega wysokość środków finansowych w okresie objętym ewaluacją: przyznanych podmiotowi na realizację projektów obejmujących badania naukowe lub prace rozwojowe; otrzymanych przez podmiot za usługi badawcze świadczone na zlecenie podmiotów spoza sektora szkolnictwa wyższego i nauki; uzyskanych w procesie komercjalizacji wyników badań naukowych lub prac rozwojowych.

Wysokość środków finansowych przyznanych podmiotowi na realizację badań naukowych znajduje się w POL-on 2.0 w module Projekty naukowe. Natomiast wysokość środków finansowych uzyskanych przez podmiot w wyniku komercjalizacji wyników badań naukowych lub prac rozwojowych oceniana jest na postawie danych wprowadzonych w module Dane finansowe instytucji. Kryterium II nie stosuje się w ocenie dyscyplin artystycznych.

Kryterium III odnosi się do wpływu działalności naukowej na funkcjonowanie społeczeństwa i gospodarki. Ocenie podlegają opisy udowodnionych związków między wynikami badań naukowych, prac rozwojowych lub twórczości artystycznej a rozwojem cywilizacyjnym społeczeństwa, widocznym w szczególności w gospodarce, ochronie zdrowia, ochronie środowiska naturalnego, bezpieczeństwem i obronnością państwa. Można zgłosić do oceny wpływ społeczny wyników działalności naukowej prowadzonej zarówno w okresie podlegającym ewaluacji, jak też wcześniejszym, jeżeli dowody tego wpływu powstały w okresie objętym ewaluacją. W tym drugim przypadku działalność naukowa powinna zostać zakończona nie wcześniej niż w dwudziestym roku poprzedzającym pierwszy rok objęty ewaluacją (tj. 1 stycznia 1997 roku). Dane do oceny wpływu są pobierane z modułu Instytucje w systemie POL-on 2.0 oraz z sytemu STUDNIA.

Algorytm optymalizacyjny

Podstawą prawną dla optymalizacji wyników jest rozporządzenie z 22 lutego 2019 r. w sprawie ewaluacji jakości działalności naukowej z późniejszymi zmianami. Wprowadza ono algorytm optymalizacyjny, który opracowali eksperci z OPI PIB. Uwzględnia on wszystkie ograniczenia wynikające z rozporządzenia w sprawie ewaluacji jakości działalności naukowej. Na podstawie informacji wprowadzonych do systemu POL-on, algorytm dokonuje wyboru takich osiągnięć, które dadzą najwyższy możliwy wynik w ewaluacji. Chcąc sprawdzić wszystkie możliwe kombinacje udziałów, otrzymujemy olbrzymią liczbę prawdopodobnych zestawień osiągnięć. W największych podmioto-dyscyplinach mamy ponad 1000 autorów z liczbą udziałów pojedynczego autora dochodzącą nawet do 500.

Aby wesprzeć wszystkie podmioty, które podlegają ewaluacji, OPI PIB zorganizował cykl warsztatów oraz udostępnił bezpłatnie narzędzie – ewaluator, które służy do sprawdzenia, czy wybrany zestaw danych wraz z oznaczonymi wybranymi udziałami spełnia wszystkie limity osiągnięć dla podmiotu i pracowników. Pozwala też zweryfikować poprawność działania algorytmów optymalizujących, opracowanych przez ewaluowane podmioty. Narzędzie w postaci aplikacji java uruchamiane jest lokalnie z linii poleceń z określonymi argumentami w postaci plików csv. Można korzystać z tej aplikacji używając danych testowych (można je pobrać z dedykowanej strony) lub na własnych odpowiednio przygotowanych danych. Ewaluator podaje wynik punktowy oraz raport z uwzględnionych ograniczeń ewaluacyjnych. OPI PIB udostępnił także dokładny opis struktury danych wejściowych oraz dane testowe w formie pliku zip. Zanonimizowano je dla 18 podmioto-dyscyplin o różnej liczbie udziałów.

Ze strony pomocy SEDN można pobrać wszystkie materiały dotyczące ewaluatora. OPI udostępnił też nagrania, w którym eksperci wyjaśniają jego działanie. Każdy może skorzystać z bezpłatnych kursów e-learningowych na portalu NAVOICA.

Sławomir Rybka, OPI PIB

Informatyczne narzędzia ewaluacji


Dyskusja (0 komentarzy)