Program przyczynił się nie tylko
do przetestowania procedur oceny jakości kształcenia,
ale także do tworzenia pozytywnego stosunku
w uczelniach dla przyszłego formalnego
systemu oceny jakości i akredytacji.

Piotr Wach

Zgodnie z założeniem Rady Głównej, z początkiem roku 1998 przystąpiłem do organizacji drugiego programu pilotażowego oceny jakości kształcenia, mającego na celu głębsze przetestowanie procedur oceny. Pozycję startową dla tego programu wyznaczały rezultaty poprzedniego programu, prowadzonego w 1995 roku przez prof. Janusza Kaweckiego z ramienia Rady Głównej na kilku kierunkach studiów i podsumowanego w opracowaniu Systemy oceny jakości kształcenia w szkołach wyższych.

Tym razem zakres programu był węższy, w sensie liczby ocenianych kierunków studiów, gdyż obejmował tylko kierunek budownictwo, natomiast miał być prowadzony bardziej dogłębnie - łącznie z wizytacjami badanych jednostek przez grupy ekspertów (peer visits). Udział w programie miał być dobrowolny, ale generalne wyniki tej oceny mogły być publikowane, łącznie z uzyskanymi przez poszczególne jednostki kategoriami. Wytypowany kierunek studiów budownictwo dobrze nadaje się do tego typu badań, jako że jest prowadzony przez blisko 20 jednostek na terenie całego kraju, głównie politechniki, ale nie wyłącznie, gdyż jest on także prowadzony przez uczelnie typu rolniczego.

Po zwróceniu się w styczniu 1998 do dziekanów wydziałów prowadzących ten kierunek studiów o przystąpienie do programu i wytypowanie po jednym przedstawicielu w charakterze elektora mającego wyłonić zespół oceniający, otrzymano w pierwszej fazie programu 14 zgłoszeń, jednak ostatecznie przystąpiło do niego 16 wydziałów. Zauważalny był brak zgłoszeń ze strony wydziałów należących do dwóch renomowanych politechnik, co wobec dobrowolności udziału w programie nie podlega komentarzom.

ZASADY OGÓLNE

Zebranie elektorów wyłoniło w marcu 1998 Zespół ds. Oceny Jakości Kształcenia na Kierunku Budownictwo w liczbie sześciu osób, w składzie, który ze względu na duże zaangażowanie i wkład pracy warto przedstawić imiennie: prof. Lesław Brunarski (SGGW) - przewodniczący, prof. Andrzej Łapko (PB) - z-ca przewodniczącego, prof. Wojciech Barański (PŁ), prof. Zuzanna Borcz (AR Wrocław), prof. Tadeusz Chmielewski (PO), prof. Romuald Świtka (PZ). Sekretarzem Zespołu została delegowana przez MEN mgr Halina Ciaś.

Zespół przygotował się do przeprowadzenia oceny bardzo starannie. Opracował szczegółowe kryteria oceny wraz z systemem punktowym mającym zapewnić jej wymierny charakter. Ogólne zasady oceny zostały określone w następujący sposób:

	w wyniku oceny jakości kształcenia poszczególne jednostki mają być zakwalifikowane do jednej z czterech kategorii: A, B, C lub D, zgodnie z założeniami Rady Głównej;
	klasyfikacja zostaje dokonana przez Zespół na podstawie raportów szczegółowych z wnioskami, opracowanych przez grupy ekspertów, oraz na postawie analizy ankiet zawierających samoocenę, przygotowanych przez badane jednostki;
	eksperci rekrutują się z grona elektorów wskazanych przez uczestniczące w programie wydziały, uzupełnionych w miarę potrzeby o dodatkowych specjalistów powołanych przez Zespół;
	podstawą merytoryczną oceny jednostek są ustalone przez Zespół kryteria, które dzielą się na kryteria konieczne oraz odpowiednio punktowane, szczegółowo określone kryteria klasyfikacyjne;
	jednostka, która nie spełnia kryteriów koniecznych (opartych na wymaganiach Rady Głównej do prowadzenia kierunku studiów) jest zaliczana do najniższej kategorii D i nie uczestniczy już w dalszej procedurze klasyfikacyjnej;
	kwalifikacja do kategorii wyższych następuje na podstawie sumarycznej liczby uzyskanych przez jednostkę punktów P, będących miarą jakości kształcenia w ostatnich pięciu latach.

Wynik punktowy jest sumą punktów za spełnianie tzw. kryteriów parametrycznych (Pp) i punktów za spełnianie kryteriów uznaniowych (Pu); te ostatnie mogą stanowić co najwyżej 1/4 uzyskanych punktów z zakresu kryteriów parametrycznych.

KRYTERIA KONIECZNE I KLASYFIKACYJNE

W dalszym toku swoich prac Zespół opracował szczegółowe kryteria oraz Instrukcję dla grup eksperckich, a także zestawienie ekspertów wizytujących poszczególne wydziały i w końcu harmonogram ich działań, co nie było łatwe, ze względu na planowany termin ukończenia programu pilotażowego do końca 1998 roku.

Warto, moim zdaniem, krótko omówić i zaprezentować szczegółowe kryteria oceny opracowane przez Zespół, ponieważ są one w znacznej mierze jego oryginalnym dorobkiem, istotnym dla prac przyszłej Akademickiej Komisji Akredytacyjnej, której powstanie w możliwie krótkim terminie uważa się coraz powszechniej za konieczne.

Kryteria konieczne zostały sformułowane zgodnie z wymaganiami Rady Głównej zawartymi w uchwałach dotyczących warunków prowadzenia kierunku studiów, a więc obejmowały: liczebność i kwalifikacje kadry; program studiów spełniający minima programowe (w tym przypadku dla kierunku budownictwo); zapewnienie obsady przedmiotów przez odpowiednio dobraną pod względem specjalności kadrę naukowo-dydaktyczną; istnienie odpowiednio wyposażonych laboratoriów (pracowni) do przeprowadzenia przedmiotów określonych w minimum programowym, a także dostęp do odpowiednich zbiorów bibliotecznych (patrz Tab. 1).

Kryteria dotyczące punktacji uznaniowej. Liczba punktów uznaniowych nie może przekraczać 1/4 liczby punktów parametrycznych uzyskanych przez jednostkę. Są one przyznawane za: istotne nadwyżki w zakresie spełnienia warunków koniecznych (np. liczna kadra ze stopniami i tytułami naukowymi); wysoki standard laboratoriów; kategorię naukową A lub B w klasyfikacji KBN; współpracę z jednostkami zagranicznymi w zakresie dydaktyki; dodatkowe, pozabudżetowe źródła finansowania.

Opracowane przez Zespół kryteria są zapewne dyskusyjne, ale stanowią bardzo dobrą podstawę do ustalania szczegółowej metody oceny jednostek prowadzących kierunki studiów należące do różnych grup kierunków kształcenia wyższego.

INSTRUKCJE DLA EKSPERTÓW

Kolejnym istotnym elementem prac Zespołu było opracowanie instrukcji dla grup eksperckich wizytujących badane jednostki i przedstawiających raporty z propozycjami ocen szczegółowych. Ta część procedury w terminologii anglojęzycznej nazywana jest peer review, a u nas przyjmie się prawdopodobnie zwrot "wizytacja grupy ekspertów". Nie wchodząc w szczegóły tej instrukcji należy zaznaczyć bardzo istotną, a zarazem delikatną rolę ekspertów wizytujących wydziały. Mają oni, ogólnie biorąc, zweryfikować ankiety samooceny przygotowane przez daną jednostkę i zaproponować Zespołowi oceny punktowe, zarówno w zakresie kryteriów parametrycznych, jak i uznaniowych. Podstawowym problemem w przygotowaniu grup ekspertów jest "sprowadzenie do wspólnego mianownika" oczekiwań i indywidualnych wymagań osób stanowiących grupy ekspertów. Jest to o tyle ważne, że w przypadku wielu kierunków studiów, które niewątpliwie wymagają oceny w niedalekiej przyszłości, są kierunki prowadzone przez bardzo dużą liczbę jednostek i do oceny na miejscu będzie zaangażowanych kilka grup ekspertów, które muszą oceniać w bardzo zbliżony sposób.

Akcja wyjazdowa i wizytacje ekspertów, w przypadku omawianego programu pilotażowego, przebiegła bardzo sprawnie, a rezultaty oceny 16 jednostek, ustalone ostatecznie przez Zespół, zawarły się w granicach 166 do 85 punktów na 187 możliwych dla jednostki idealnej.

NIEOFICJALNE WYNIKI

Zespół stanął w tym momencie przed problemem ustalenia przedziałów punktowych odpowiadających kategoriom A, B, C klasyfikacji, jako że kategoria D dla badanego kierunku studiów nie wystąpiła, ponieważ wszystkie jednostki spełniały kryteria konieczne. Raport z programu przedstawia rozważania Zespołu, próby i skutki ustalania różnych przedziałów punktowych dla poszczególnych kategorii. Ostatecznie Zespół ustalił następujące kryterium (patrz Tab. 2), którego podstawą jest maksymalna liczba punktów Pmax równa 166 , uzyskana przez lidera klasyfikacji:

W wyniku takiego kryterium oceny końcowej, do kategorii A jakości kształcenia zaliczono jednostki prowadzące kierunek studiów budownictwo w następujących uczelniach:

Pozostałe jednostki uczestniczące w programie zostały zaliczone do kategorii B. Nie zostały one tu wyszczególnione, pomimo że zgoda na udział w programie pilotażowym obejmowała możliwość publikacji wyników końcowych oceny próbnej, bo na tym etapie wprowadzania oceny jakości za celowe uważam jedynie danie satysfakcji liderom klasyfikacji.

Muszę tu podkreślić, że uzyskane przez jednostki wyniki należy traktować jako nieoficjalne i próbne, stanowiące podstawę do budowy przyszłego systemu oceny jakości i akredytacji. Jest to także moment, aby wyrazić uznanie i gorące podziękowania zarówno władzom dziekańskim badanych jednostek za ich dobrowolny udział i podjęcie trudu samooceny oraz goszczenia ekspertów, jak i członkom Zespołu z prof. prof. Lesławem Brunarskim i Andrzejem Łapko na czele.

WNIOSKI Z PROGRAMU

Istotnym dorobkiem Zespołu i wynikiem programu jest opracowanie punktowego systemu ocen szczegółowych jako podstawy klasyfikacji jednostek spełniających już kryteria konieczne, które należy traktować jako minimum akredytacyjne.

Ważne jest opracowanie instrukcji i przeszkolenie grup ekspertów wizytujących badane jednostki, jako element obiektywizacji oceny w przypadkach, gdy liczba jednostek badanego kierunku studiów przekracza możliwości dokonania wizytacji przez jedną grupę ekspertów.

Dyskusja i przykładowe wyniki utworzenia przedziałów punktowych dla poszczególnych kategorii pokazały trudności w tym zakresie i mogą stanowić podstawę do dalszych prób.

Po przeprowadzeniu tego programu pilotażowego autor skłania się do poglądu, że ocena końcowa powinna być oparta na maksymalnej, teoretycznie możliwej do uzyskania liczbie punktów, a zakresy punktowe dla poszczególnych kategorii A, B, C powinny być ustalane dla grup kierunków studiów przez odpowiednie zespoły komisji akredytacyjnej.

Program przyczynił się nie tylko do przetestowania procedur oceny jakości kształcenia, ale także do tworzenia pozytywnego stosunku w uczelniach dla przyszłego formalnego systemu oceny jakości i akredytacji.

Prof. dr hab. inż. Piotr Wach, elektrotechnik, członek Rady Głównej Szkolnictwa Wyższego, został wybrany nowym rektorem Politechniki Opolskiej.

Uwagi.