05 Kwietnia

Źródło: Akademia WSB

Czy ocena zajęć dydaktycznych ma sens?

W obecnie prowadzonej formie ocena zajęć dydaktycznych nie daje oczekiwanych informacji. Czyli niekoniecznie da się na jej podstawie ewaluować zajęcia lub doskonalić programy kształcenia… a już na pewno nie da się ocenić pracy nauczyciela akademickiego.

Przeprowadzane od 1999 roku ciągłe zmiany w funkcjonowaniu europejskich systemów szkolnictwa wyższego doprowadziły do etapu, w którym opinia studentów ma coraz większe znaczenie. Ostatnio podstawą jej zbierania w Polsce jest konieczność systematycznej ewaluacji zajęć wynikająca z ustawy Prawo o szkolnictwie wyższym (2018). Jej celem jest określenie poziomu realizacji założeń programowych, projektowanie modyfikacji, przeciwdziałanie nieprawidłowościom itd. W jej efekcie powinniśmy móc sprawnie wprowadzać zmiany w programie studiów dostosowane do potrzeb studentów, potencjału nauczycieli akademickich i możliwości uczelni. Powinniśmy móc odpowiednio szybko reagować na pojawiające się niespodziewanie problemy, szczególnie po to, by móc im zapobiegać w przyszłości (czyli w kolejnym cyklu kształcenia).

Głosy studentów liczą się podczas podejmowania decyzji w sprawie nowych kierunków studiów, w sprawie zmian programowych, akredytacji kierunków kształcenia czy awansu nauczycieli akademickich. Brane są pod uwagę podczas oceny okresowej pracowników, a nawet w sprawie nominacji dziekana lub rektora odpowiedzialnych za proces kształcenia. Jednak te opinie oraz sposoby ich zbierania są coraz częściej krytykowane przez wszystkie zainteresowane ich wynikiem strony. Podnoszona jest nie tylko kwestia celu i sensu ankietowania, ale i skutków dla zarządzania procesem kształcenia na uczelniach. Dlatego postawiłam sobie trzy pytania: 1. Po co oceniać zajęcia dydaktyczne? 2. Czy przeprowadzać jedną ocenę: zajęć i prowadzącego je nauczyciela akademickiego? 3. Jak zmienić ocenę zajęć dydaktycznych (OZD)? Przedstawiam perspektywę nauczyciela akademickiego i osoby decydującej o systemie jakości kształcenia na dużym publicznym uniwersytecie oraz zajmującej się zarządzaniem jakością kształcenia od kilku lat. Studenci są rozumiani jako „wszystkie osoby będące w relacji z uczelnią poprzez uczestnictwo w dowolnym programie kształcenia, w dowolnym trybie i formie studiów (także studiów podyplomowych i w szkołach doktorskich)”.

Po co oceniać zajęcia dydaktyczne?

Jest wiele powodów, dla których na różnych etapach studiowania zbieramy na uczelniach opinie studentów. Największe znaczenie mają te, które są związane z wewnętrznymi (uczelnianymi) i krajowymi aktami prawnymi, czyli dotyczącymi systemów jakości kształcenia i ewaluacji przedmiotów/kursów. Sam proces zbierania opinii studentów jest różny na różnych uczelniach i mimo licznych dostępnych dobrych praktyk nie został dotąd zestandaryzowany na poziomie prawnych regulacji krajowych. Stąd na naszych uczelniach funkcjonują różne kwestionariusze ankiet badające opinię studentów z różnym celem, dotyczą różnych kwestii i na różnym etapie ich studiowania. I tak na przykład raporty rekrutacyjne mówią o kompetencjach kandydatów na studia, badanie satysfakcji studentów przedstawia ich opinię najczęściej na temat całej uczelni i jej procesów, Uniwersytecki System Obsługi Studentów (USOS) prezentuje informacje o zaliczeniach, ankieta oceny pracowników administracji mówi o stanie pracy dziekanatów i sekretariatów obsługujących studentów. Do tego jeszcze biura karier zbierają swoje informacje wśród absolwentów i konfrontują je z informacjami z ELA (Ekonomiczne Losy Absolwentów).

Część informacji gromadzonych w ten sposób od studentów służy tworzeniu różnego rodzaju sprawozdań i kreowaniu informacji promocyjnych, część zasila wewnętrzny system jakości kształcenia. Część jest elementem informacji zarządczej dla dziekanów i rektorów, a część uczelnia sprawozdaje dalej, np. poprzez system POLON. Sposób zbierania danych od studentów najczęściej sprowadza się do elektronicznych ankiet (z wykorzystaniem różnych technologii), choć nadal można spotkać papierowe arkusze do wypełnienia.

Sama OZD jest procesem bardzo złożonym i nie powinna się sprowadzać tylko do uproszczonej analizy opinii studentów. Powinna brać pod uwagę przynajmniej:

• analizę możliwości uzyskania efektów uczenia przy zaplanowanych w przedmiocie metodach dydaktycznych;
• weryfikację realizacji efektów uczenia się przy zaplanowanych metodach sprawdzania postępów studentów;
• monitorowanie nakładu pracy studentów, w tym obciążenie ich pracą związaną z danym przedmiotem;
• analizę zaliczeń i ocen końcowych (przynajmniej rok do roku).

Informacje zbierane od studentów w ramach OZD rzeczywiście mogą być źródłem wniosków i rekomendacji dotyczących niezbędnych do wdrożenia zmian w programie kształcenia oraz w treściach przedmiotów lub kursów. W założeniu mają odpowiedzieć na pytanie: czy program kształcenia, który zaplanowaliśmy do realizacji, jest adekwatny, dobry, możliwy itd. Czyli mają służyć ewaluacji danego programu kształcenia oraz przedmiotów/kursów i ich doskonaleniu w przyszłości. Zatem oceniamy zajęcia dydaktyczne, by w kolejnej edycji mogły być równie dobre lub lepsze niż w poprzedniej.

Czy przeprowadzać jedną ocenę: zajęć i prowadzącego je nauczyciela?

Zdecydowanie nie, choć często na naszych uczelniach rzeczywiście OZD ma podwójną rolę. Z jednej strony dotyczy zajęć, z drugiej dotyczy prowadzącego te zajęcia nauczyciela akademickiego. Ma to swoje negatywne konsekwencje.

Po pierwsze, jedno narzędzie nie oceni dobrze dwóch różnych kwestii mających tak odmienne cele. Zajęcia, szczególnie realizowane przez wielu nauczycieli, dużo trudniej ocenić niż te prowadzone przez jedną osobę. Nie tylko dlatego, że pamiętamy najlepiej tylko sytuacje skrajne (np. gdy nam się coś bardzo podoba lub nie podoba). Zajęcia oceniamy m.in. po to, by doskonalić i dostosowywać do grupy treść przedmiotu, doskonalić metody dydaktyczne, sprawdzać trafność metod weryfikacji efektów uczenia się, sprawdzać wartość nakładu czasu pracy studenta, wspierać proces kształcenia innymi sposobami itd. Nauczyciela akademickiego, w zależności od zajmowanego stanowiska na uczelni, oceniamy najczęściej w trzech obszarach: dydaktycznym, naukowo-badawczym oraz organizacyjnym. Tylko w obszarze dydaktycznym kryteriów oceny może być wiele, w tym m.in. poziom umiejętności organizacyjnych, komunikacyjnych i sposobu pracy z grupą studentów. A celem takiej oceny jest doskonalenie umiejętności dydaktycznych nauczyciela akademickiego, czyli tylko pośrednio doskonalenie przedmiotu.

Po drugie, skuteczność ankiety elektronicznej w obu przypadkach nie jest wysoka. Wynika to nie tylko z jej niskiej zwrotności. Ale też wątpliwości dotyczących standaryzacji tego narzędzia jako ewoluującego różne typy zajęć: wykłady, ćwiczenia, laboratoria, seminaria, tutoriale itd. prowadzone w różnych formach i za pomocą różnych technologii wspierających kształcenie zdalne oraz dotyczące nauczycieli akademickich z różnym doświadczeniem (zarówno rozpoczynających karierę akademicką, jak i dojrzałych wykładowców). Czyli by OZD była skuteczna, powinna mieć warianty uwzględniające przynajmniej opisane zmienne, a wtedy musiałaby mieć znacznie więcej wariantów i pytań, przez co jej zwrotność byłaby jeszcze niższa, a odpowiedzi jeszcze mniej rzetelne. Dlatego ujednolicenie kwestionariusza ankiety nie jest dobrym pomysłem. Jednak jest niezbędnym i często stosowanym, by móc porównywać wyniki pracy nauczycieli w skali uczelni i brać je pod uwagę przy awansach czy nagrodach. Dobrze jest zatem posiadać grupę pytań ogólnouczelnianych i umożliwić kierującym jednostkami prowadzącymi kierunki kształcenia dołożenie swoich pytań uwzględniających specyfikę zajęć (i/lub dyscyplin).

Po trzecie, konsekwencje ankietyzacji nie są jasne dla żadnej ze stron: ani studentów, ani nauczycieli akademickich. Studenci prezentujący w komentarzach swoje propozycje i potrzeby zmian w przedmiocie nie są w stanie sprawdzić, czy ich rekomendacje zostały wzięte pod uwagę w kolejnym cyklu kształcenia. Najczęściej nie powtarzają danego przedmiotu, a i z danym nauczycielem nie mają później zajęć (choć w przypadku „małych” zindywidualizowanych kierunków jest to możliwe nawet kilka razy, co dodatkowo negatywnie wpływa na wypełnianie ankiet, bo przecież student nie napisze negatywnej opinii nauczycielowi, z którym w kolejnym semestrze będzie miał znów zajęcia). Nauczyciele, nie widząc konsekwencji w stosowaniu lub niestosowaniu zaleceń z OZD związanych z doskonaleniem zajęć, na wszelki wypadek „robią jak zwykle”. A widząc bezkarność studentów w pisaniu szczególnie obraźliwych komentarzy, albo się nimi bardzo przejmują (co w efekcie wymaga interwencji psychologa), albo w ogóle ich nie czytają. Tylko część nauczycieli akademickich traktuje opinie studentów jako potencjalne źródło informacji o doskonaleniu przedmiotu.

Po czwarte, nasze ankiety dotyczące zajęć dydaktycznych nie oceniają pracy nauczycieli akademickich. Liczne publikacje wskazują, że częściej badają zadowolenie studentów niż elementy związane z zajęciami. Na wyższą ocenę studencką wpływają między innymi charyzma, pasja, entuzjazm, a nawet ekspresja nauczyciela czy sposób jego/jej ubioru (rozumiany jako tradycyjny). Można znaleźć dowody na to, że mimo starań nauczyciela akademickiego OZD może silnie zależeć od składu grupy studentów, ich zachowania, motywacji do nauki a nie umiejętności dydaktycznych nauczyciela akademickiego. Na OZD wpływają także poczucie bezpieczeństwa studentów, warunki uczenia się i studiowania, harmonogram zajęć itd., ale też informacje na temat poprzednich akcji ankietowych i wdrożonych na uczelni ich efektów.

Z tych powodów wynik OZD jest często mocno subiektywny i zależy od zaangażowania samych studentów. W efekcie od tego zależy też sukces ich nauki i uczenia się. A studenci sami nie do końca wierzą w swoją moc sprawczą. Bo owszem, z jednej strony właściwie ciągle są pytani o opinię w sprawach różnych, od pierwszego roku studiów po ostatni, a nawet po ukończeniu studiów jako absolwenci również uczestniczą w wielu różnych aktywnościach na uczelni (np. w radach programowych, stowarzyszeniach absolwenckich itd.). Jednak nie są przekonani o skuteczności swojego głosu i jego roli w doskonaleniu jakości kształcenia programów studiów.

Jest wiele dodatkowych problemów generowanych przez OZD. Np. im więcej ankiet studenci mają do wypełnienia, tym gorzej to robią. Przyznają się do tego, że zdarza im się nie czytać pytań, tylko do razu udzielać odpowiedzi. Czyli zdarza się, że nie wiedzą, kogo lub co oceniają i dlaczego. Z drugiej strony, jeśli wierzą w sens i korzyść płynące z wypełniania ankiet, robią to bardziej rzetelnie. Sprawdza się często powtarzane powiedzenie, że jeśli nauczyciel akademicki dużo wymaga, to oceny bywają niższe, oraz że kursy aktywne, promujące wyzwania mają wyższe oceny w stosunku do pozostałych. Dyskusyjny jest też termin przeprowadzania ankiet – na koniec zajęć, po ich zakończeniu czy w trakcie sesji. Niektóre uczelnie europejskie planują OZD w połowie semestru, po to by właśnie od razu zmienić sposób prowadzenia zajęć, jeśli się coś nie sprawdza.

Inną kwestią są możliwości technologiczne wykorzystywanego na uczelniach oprogramowania. Dotychczas najczęściej generuje się tyle ankiet, ilu jest prowadzących dany przedmiot. Jeśli ankieta ma oceniać zajęcia, to powinna być jedną do zajęć, bez względu na to, jaką formę te zajęcia przyjmują oraz ilu mają prowadzących (wyjątek może stanowić osobna forma do wykładów, ćwiczeń, laboratoriów itd., przy założeniu, że są osobne sylabusy). Jeśli jest wielu prowadzących jeden przedmiot, a ocena jest dokonywana przez studentów raz w semestrze, to jest ona całkiem nieadekwatna, i nie tylko z powodu tego, że student nie może pamiętać, kto prowadził pierwsze czy drugie spotkanie z piętnastu. I niewiele pomaga tutaj ustalenie, że oceny można dokonać w trybie ciągłym, czyli przez cały semestr po każdych zajęciach (tak jest na niektórych kierunkach medycznych).

Czyli ocena zajęć (OZD) i ocena prowadzącego zajęcia nie są tym samym. Dlatego na naszych uczelniach powinniśmy mieć do czynienia przynajmniej z dwoma rodzajami ankiet: osobno dotyczącymi zajęć oraz osobno dotyczącymi oceny pracy nauczycieli akademickich.

Jak zmienić OZD?

Studenci powinni być od pierwszego roku uczeni wyrażania opinii, oceny i ewaluacji różnych sytuacji, także swoich zachowań. Powinni uczyć się poczucia sprawstwa. Szczególnie po to, by potrafili wyrazić swoje zdanie, nie obrażając drugiej strony, asertywnie. Krytyka wobec zachowania lub niezręcznej sytuacji wymaga ćwiczeń i konieczności wypracowania dobrych wzorców procesu oceniania. W efekcie przy OZD nie powinno być wątpliwości dotyczących zarówno anonimowości procesu, jak i informowania studentów o rezultatach poprzedniej oceny, w tym o efektach i zmianach wprowadzonych pod ich wpływem. Studenci powinni znać kryteria i standardy oceniania ustalone na danej uczelni. Na zajęciach prowadzący powinni wskazywać relacje ocenianego przedmiotu z innymi przedmiotami oraz omówić efekty uczenia się w kontekście ich przydatności w życiu zawodowym, w tym z możliwym ich rozwojem i wykorzystaniem na rynku pracy.

Nie sprawdza się system obligowania studentów do wypełniania OZD. Jeżeli się ich zmusza (np. poprzez blokowanie możliwości podglądu ocen z egzaminów, brak wpisu na kolejny semestr mimo zaliczenia wszystkich przedmiotów itd.), to wypełniają ankiety jeszcze mniej rzetelnie. Bardziej skuteczny jest system zachęt (np. drobne nagrody pieniężne, karnety do siłowni, bony na książki), który w połączeniu z zaangażowaniem samorządu studenckiego przynosi wymierne efekty w postaci zwiększonej zwrotności rzetelnie wypełnionych ankiet.

Narzędzia wykorzystywane do OZD powinny być sprawdzone pod kątem rzetelności (a więc mieć m.in. możliwość powtórnego zmierzenia tego samego obiektu w ten sam sposób i przynieść ten sam wynik) i trafności (narzędzie powinno mierzyć to, do czego zostało zaprojektowane). Mimo to często można zauważyć obserwowalne różnice w wynikach OZD między tymi samymi przedmiotami prowadzonymi na różnych wydziałach tej samej uczelni przez tę samą osobę. Stąd systematycznie (raz na kilka lat) powinno się sprawdzać zarówno rzetelność, jak i trafność pytań wykorzystywanych w OZD. Jak również korzystać z innych narzędzi i metod oceny zajęć dydaktycznych.

Jeżeli naszym celem jest sprawdzenie tylko skuteczności lub efektywności uczenia prowadzącego zajęcia i uczenia się wpisanych na zajęcia studentów, to wystarczy przeanalizować wartości ocen końcowych. Badanie zadowolenia studentów powinno mieć swój czas i miejsce oraz swoje narzędzie inne niż OZD. Jeśli z kolei chodzi o ocenę pracy, to lepszymi metodami są np. obserwacja koleżeńska oraz hospitacje zajęć.

W efekcie na wyniki końcowe OZD często ma wpływ cała oferta edukacyjna uczelni, z różnymi jej elementami, takimi jak np. jakość materiałów edukacyjnych, literatura przedmiotu, zaangażowanie nauczycieli i samych studentów, poziom motywacji studentów i nauczycieli, klimat w grupie, infrastruktura techniczna i technologiczna. W komentarzach do OZD pojawiają się uwagi studentów o konieczności wypracowania dobrych wzorców procesu oceniania, by nie było wątpliwości dotyczących zarówno anonimowości procesu, jak i informowania studentów o rezultatach poprzedniej oceny, w tym o efektach i zmianach wprowadzonych pod ich wpływem.

Dlatego OZD powinna odbywać się w trakcie semestru lub kilkakrotnie w ciągu roku akademickiego. Jest wtedy ważnym źródłem informacji dla każdego nauczyciela, pozwalając mu na szybkie wprowadzanie korekt w treściach kształcenia. Również odpowiadający za programy studiów mogą dzięki OZD doskonalić procedury i metody pracy, a w rezultacie doskonalić poziom jakości kształcenia na uczelni. W ten sposób studenci mają wpływ na decyzje dotyczące realizacji programów studiów, wyboru wykładowcy oraz zmniejszenia lub zwiększenia liczby godzin przedmiotu, który jest dla nich szczególnie interesujący itd.

W efekcie oceny zajęć dydaktycznych należy:

• publikować zanonimizowane wyniki lub podsumowania poprzedniej OZD na stronach wydziałowych, zespołów ds. jakości kształcenia, czyli informować o nich na różne sposoby studentów i nauczycieli akademickich;
• przeprowadzać ją jedynie w grupach dużych, najlepiej wykładowych, mając na uwadze to, że oceniane są wyżej kursy opcjonalne niż obligatoryjne, zaawansowane niż wprowadzające;
• zrezygnować z ankiet w małych grupach (poniżej 15 osób) na korzyść innych metod i narzędzi, np. panelu, obserwacji;
• zrezygnować z oceny seminariów dyplomowych, szczególnie w trakcie trwania seminarium;
• zastanowić się nad zmianą narzędzia wykorzystywanego do OZD (w tym zrezygnować z kwestionariusza ankiety na rzecz np. dyskusji ze studentami o zajęciach);
• świadomie wykorzystywać wyniki OZD, mając na uwadze, że związek satysfakcji z jakością nauczania nie jest wcale oczywisty. Student może być usatysfakcjonowany z zajęć marnej jakości i niezadowolony z zajęć naprawdę dobrych. Czyli różnice w ocenach mogą być skutkiem składu osobowego grupy, a nie lepiej lub gorzej prowadzonych zajęć.

Rola OZD cały czas rośnie i coraz częściej jej wyniki mają wpływ na zatrudnienie lub przedłużenie umowy o pracę nauczycielowi akademickiemu szczególnie na uczelniach niepublicznych. Potraktujmy OZD jako element wsparcia w rozwoju kompetencji dydaktycznych nauczyciela akademickiego, a nie element kontroli. Stresu mamy na uczelniach i tak za dużo. Przemyślmy, czy rzeczywiście w tej postaci OZD ma sens. Życzę Państwu i sobie studentów, których ciekawość i pasja będą nas dopingować do pracy i rozwoju nad doskonaleniem prowadzonych przedmiotów.