Jak przygotować się do ewaluacji szkoły doktorskiej?

W październiku ubiegłego roku rozpoczęła się pierwsza ewaluacja szkół doktorskich. Plan przeprowadzenia oceny jakości kształcenia objął na początek 15 jednostek. Wśród nich była Szkoła Doktorska Uniwersytetu Ekonomicznego w Poznaniu. O doświadczeniach z przygotowania ewaluacyjnego raportu pisze prof. Katarzyna Szarzec, pełnomocniczka rektora ds. powołania SD UEP, w latach 2019–2025 wicedyrektorka, a następnie dyrektorka SD UEP.

Kształcenie doktorantów po raz pierwszy w historii zostało objęte obowiązkową ewaluacją. Jej podstawy prawne tworzy ustawa Prawo o szkolnictwie wyższym i nauce, która wprowadziła formę kształcenia w szkole doktorskiej (SD). Należy przy tym pamiętać, że uczelnia może prowadzić szkołę doktorską tylko wtedy, gdy posiada kategorię naukową co najmniej B+ w co najmniej jednej dyscyplinie naukowej. Pozostałe dokumenty określające zasady ewaluacji w SD to: rozporządzenie Ministra Edukacji i Nauki z 27 września 2021 r. oraz „Wytyczne do przygotowania raportu samooceny” opracowane przez Komisję Ewaluacji Nauki. KEN dokonuje oceny szkoły doktorskiej nie rzadziej niż co 6 lat. Powołuje w tym celu zespół, w skład którego wchodzą eksperci (4–7 osób), w tym osoba z zagranicy i doktorant. Wszystkie dokumenty (raport, załączniki) muszą być przygotowane w wersji polskiej i angielskiej i wprowadzone do Systemu Ewaluacji Szkół Doktorskich (SEDok). Co istotne, w przypadku rozbieżności ustawodawca uznał za wiążącą wersję angielską. Ocena SD może być pozytywna lub negatywna.

Pomocne wytyczne

Pierwsza ewaluacja zaplanowana została w roku akademickim 2024/2025 (po ukończeniu pierwszego pełnego cyklu kształcenia). Szkoła Doktorska Uniwersytetu Ekonomicznego w Poznaniu (SD UEP), wraz z 14 innymi, została zakwalifikowana do pierwszej rundy ewaluacji. Informację o wytypowaniu nas zamieszczono w harmonogramie ustalonym przez KEN w kwietniu 2024 roku i wtedy już zaczęliśmy pierwsze prace związane z raportem. Oficjalne wezwanie do jego przygotowania otrzymaliśmy 19 grudnia 2024 r., z terminem 13 marca 2025 r. (tj. 12 tygodni od dnia otrzymania zawiadomienia) na jego złożenie. Kilka dni po otrzymaniu wezwania udostępniony został moduł SEDok systemu POL-on służący ewaluacji szkół doktorskich.

Raport z ewaluacji obejmuje następujące elementy wraz z określonym limitem znaków (liczba znaków ze spacjami, obowiązująca w 1 rundzie):

A. wizytówka szkoły (7 000)

B. współpraca z samorządem doktorantów (2 000)

C. kryteria:

adekwatność programu kształcenia oraz indywidualnych planów badawczych (IPB) do efektów uczenia się dla kwalifikacji na poziomie 8 PRK (5 000),
sposób weryfikacji efektów uczenia się (10 000),
kwalifikacje nauczycieli akademickich prowadzących kształcenie w szkole doktorskiej (7 000),
jakość procesu rekrutacji (10 000),
jakość opieki naukowej lub artystycznej i wsparcia w prowadzeniu działalności naukowej (7 000),
rzetelność przeprowadzania oceny śródokresowej (7 000),
umiędzynarodowienie (8 000),
skuteczność kształcenia doktorantów (2000 oraz 10 000 na opisy maks. 5 osiągnięć doktorantów w każdej dyscyplinie).

Istotne jest, że bez względu na wielkość, wielodziedzinowość i wielodyscyplinowość danej szkoły doktorskiej limity znaków dla opisu kryteriów i pozostałych elementów są takie same. Zmienia się tylko liczba załączników (np. do każdej dyscypliny załącza się 5 profilów wykładowców, szczegółowe programy zajęć) oraz liczba dyscyplin, w których dołącza się opisy maksymalnie 5 najważniejszych osiągnięć doktorantów (kryterium 8.).

Najbardziej pomocne były „Wytyczne do przygotowania raportu samooceny”. Z nich wybraliśmy sformułowania, które uznaliśmy za istotne z punktu widzenia zespołu oceniającego i za właściwe do opisu stanu kształcenia w SD według poszczególnych kryteriów. Są to: transparentność, dostępność informacji, jakość, terminowość, skuteczność, kompetencje. Każde kryterium kończy samoocena, którą przedstawiliśmy jako mocne strony i obszary do doskonalenia.

Dwa kryteria najtrudniejsze

W prace nad raportem w UEP zaangażowanych było wiele osób. W maju 2024 r. rektor UEP powołał Zespół ds. ewaluacji jakości kształcenia w SD, w skład którego weszli: prorektor odpowiedzialny za SD, dyrektor i wicedyrektor szkoły, członkowie Rady SD (rada ta liczy 9 osób, funkcjonuje od początku SD, osoby te są zaangażowane w rekrutację, opiniowanie dokumentów związanych z SD), przedstawiciel doktorantów i koordynator biura SD. Największa praca spadła jednak na dyrektorów, którzy przygotowali wstępną wersję opisu wizytówki szkoły i raportu samooceny w ramach poszczególnych kryteriów oceny. Ta decyzja wynikała z tego, że byliśmy zaangażowani w tworzenie SD, przygotowanie programu, regulaminu, zasad rekrutacji i mamy największą wiedzę i doświadczenie w zakresie funkcjonowania SD. Napisane przez nas fragmenty były czytane kilka razy przez członków zespołu, proponowane przez nich zmiany dyskutowano i wprowadzano. Był to niezwykle ważny etap prac, decydujący o ostatecznym kształcie raportu.

Niektóre z kryteriów oceny sprawiły nam dość dużą trudność (mimo wnikliwego czytania „Wytycznych…”). Najtrudniejsze do przygotowania opisów były dwa kryteria: adekwatność programu kształcenia oraz IPB do efektów uczenia się dla kwalifikacji na poziomie 8 PRK (kryterium 1) i sposób weryfikacji efektów uczenia się (kryterium 2). W wypadku kryterium pierwszego dodatkowo jeszcze niski limit znaków (tylko 5 000) sprawiał, że nie byliśmy pewni, co jest najistotniejsze i jak to syntetycznie opisać. Te trudności można przedstawić następująco:

1. Jak zdefiniować/zmierzyć adekwatność aktywności naukowej doktorantów i upowszechniania jej wyników, określonych w IPB, do efektów 8 PRK? Zagadnienie przeanalizowaliśmy w następujący sposób:

opisaliśmy efekty uczenia w IPB ze względu na wiedzę, umiejętności, kompetencje społeczne;
wpisaliśmy kody efektów 8 PRK;
wskazaliśmy, że w naszej procedurze oceny IPB uczestniczy Rada SD, która formułuje uwagi i opinie, przekazywane następnie doktorantowi i jego promotorowi; składany ostatecznie IPB jest odpowiednio poprawiony.

2. Jak zdefiniować/zmierzyć sposób realizacji programu kształcenia oraz IPB w celu osiągnięcia efektów 8 PRK?

odwołaliśmy się do programu kształcenia i różnych form kształcenia w SD: zajęcia obowiązkowe, zajęcia do wyboru, seminarium doktoranckie, obowiązkowe sesja doktorska na I roku i konferencja doktorantów na II roku, praktyka zawodowa;
wpisaliśmy kody efektów 8PRK.

3. Jak zdefiniować/zmierzyć rzetelność procesu doskonalenia?

przedstawiliśmy analizę i opis zmian pod kątem: ram programu, listy przedmiotów do wyboru, doboru kadry, aktualizacji sylabusów;
wskazaliśmy, kto zgłasza konieczność zmian (doktoranci, wykładowcy, promotorzy).

4. Jak zdefiniować/zmierzyć rzetelność procesu weryfikacji efektów uczenia się do 8 PRK i procesu doskonalenia?

wskazaliśmy na: wyniki ankiet z semestralnej oceny jakości kształcenia, rozkład ocen, współpracę doktorant-promotor, ocenę postępów doktoranta w sprawozdaniach semestralnych;
opisaliśmy zmierzające do doskonalenia procesu zmiany w: sylabusach, programie, ofercie przedmiotów do wyboru, kadrze.

Do kryteriów, które były stosunkowo łatwe do przygotowania, należały: rekrutacja, rzetelność oceny śródokresowej i skuteczność kształcenia. Wynikało to z tego, że były jasno określone elementy i wskaźniki do ich opisu, które są zapisane w aktach wewnętrznych uczelni (regulaminy, zasady rekrutacji) i które odzwierciedlają dane zbierane w procesie rekrutacji i kończenia kształcenia (czyli fakty).

Wizja się sprawdziła

Uwzględniając nasze doświadczenia z pisania raportu samooceny, można sformułować najważniejsze rady dla innych szkół doktorskich przygotowujących się do ewaluacji:

Raport powinny pisać osoby najbardziej zaangażowane i znające SD od początku funkcjonowania, czyli najlepiej władze szkoły (dziekani, dyrektorzy) we współpracy z pracownikami administracji SD. Jest on potem analizowany, konsultowany przez inne osoby, współpracujące z SD. Oficjalne powołanie zespołu ds. ewaluacji przez rektora nadaje wagę pracom nad raportem i wskazuje, że jest to nasza – całej uczelni – wspólna sprawa. Włączenie w prace przedstawiciela doktorantów umożliwia też uwzględnienie perspektywy osób kształcących się w SD.
Przy zbieraniu danych do raportu ważna była współpraca z innymi jednostkami uczelnianymi – pozwoliło to na zawarcie w raporcie danych pokazujących, że Szkoła nie istnieje w oderwaniu od całej uczelni.
Limity znaków to najtrudniejszy wymóg formalny zwłaszcza przy kryterium 1. i 3. Należy więc unikać powtórzeń, pisać syntetycznie, używać skrótów (nie tylko powszechnie stosowanych, skracać nazwy jednostek, powtarzające się wyrazy). Dobrze jest przygotować najpierw opisy w języku polskim, a na końcu tłumaczyć na angielski. Tekst w języku angielskim był dłuższy o ok. 10% i trzeba było go odpowiednio modyfikować, by utrzymać spójność przekazu w obu językach.
Należy sprawdzać dokładnie dane importowane z POL-onu. Niestety zdarzają się w systemie nieścisłości i trzeba to wyjaśniać, nie wszystkie z nich można usunąć na poziomie uczelni.
W systemie SEDok można umieścić tylko ściśle określone załączniki (regulaminy, programy kształcenia, zasady rekrutacji, profile prowadzących zajęcia). My jednak przygotowaliśmy więcej załączników, które udostępniliśmy komisji na miejscu (opis każdego z ośmiu kryterium wraz z różnymi załącznikami został umieszczony w osobnym segregatorze).
W systemie SEDok można zamieścić maksymalnie 5 profili wykładowców z danej dyscypliny. Poprosiliśmy wszystkich naszych wykładowców o przygotowanie swoich profili w wersji polskiej i angielskiej według formularza (to ważne, by przesłać wszystkim odpowiedni schemat), który zawierał m.in.:główne obszary zainteresowań naukowych, 10 najważniejszych publikacji, otrzymane granty naukowe zewnętrzne po 2010 r., doktoraty wypromowane i w trakcie realizacji, aktywność międzynarodową. Wszystkie profile były do wglądu dla komisji.

W naszej Szkole potraktowaliśmy przygotowania do ewaluacji i napisanie raportu jako ogólną refleksję nad pięcioma minionymi latami. Sami zobaczyliśmy, gdzie jesteśmy mocni, gdzie mamy obszary do poprawy. Jest to potrzebny krytyczny namysł, ale towarzyszy mu przekonanie, że wykonaliśmy kawał dobrej roboty. Przyczynił się do tego zespół odpowiedzialny za stworzenie zasad funkcjonowania SD i jej prowadzenia pod względem merytorycznym i administracyjnym, który został powołany pod koniec 2018 r. przez ówczesnego rektora. Dużą rolę odegrała Rada SD, z którą współpraca opiera się na wzajemnym zaufaniu i która zawsze wspierała władze Szkoły i doktorantów. Ważny również był entuzjazm wykładowców, których zaproszono do przygotowania i prowadzenia autorskich zajęć w zupełnie nowym programie kształcenia doktorantów. Mamy przekonanie, że wizja, z jaką tworzyliśmy SD UEP, się sprawdziła.

Na zakończenie ogólna refleksja nad miejscem szkół doktorskich w kształceniu młodych kadr w Polsce. Szkoły doktorskie w zasadniczy sposób zmieniły kształcenie doktorantów w Polsce, wprowadziły nowe instytucje formalne – indywidualny plan badawczy, ocenę śródokresową, poprawiły skuteczność kształcenia (złożone w terminie prace doktorskie). SD dostosowały się do nowej rzeczywistości prawnej i przestrzegają tych zasad. W sposób elastyczny mogą tworzyć programy kształcenia, ofertę zajęć kształtujących umiejętności miękkie dla doktorantów, ułatwiać nawiązywanie współpracy międzynarodowej, wspierać jakość współpracy między doktorantem a promotorem. Należy jednak pamiętać, że za jakość badań, pracy naukowej doktoranta odpowiada w największym stopniu promotor, ale nie można zapominać też o władzach uczelni, mających za zadanie wspierać finansowo i instytucjonalnie badania młodych naukowców, którzy stanowią przyszłość świata, nie tylko akademickiego.

Katarzyna Szarzec

Dyskusja (0 komentarzy)