Poza publikowanym od kilku lat – i krytykowanym za ustalanie kolejności uczelni 
metodą „z kapelusza” – zestawieniem tygodnika „Wprost”, swoje rankingi 
przygotowują w tym roku także „Polityka”, „Rzeczpospolia” i miesięcznik 
edukacyjny „Perspektywy”. Czy będą to rankingi profesjonalne i rzetelne?

Ewa Chmielecka

Fot. Stefan Ciechan

Wiosna to pora rankingów. Pora wybrana nie bez kozery. Egzaminy wstępne niebawem, a więc kandydaci na studia podejmują decyzje dotyczące wyboru uczelni. Czasopisma starają się tę decyzję wspomóc publikując rankingi szkół, programów, kierunków studiów. W Polsce rankingi były prowadzone dotąd w ograniczonym wymiarze, ale na rok bieżący zapowiada się ich prawdziwy urodzaj. Kilka znaczących pism ma zamiar ogłosić w najbliższym czasie ich pierwszą edycję. I choć przed publikacją podmiot, data, zakres i procedury rankingów trzymane są w ścisłej tajemnicy, to ranga czasopism pozwala mieć nadzieję, że sprawa została potraktowana serio, że doceniono społeczną doniosłość rankingów i że doczekaliśmy się sytuacji normalnej w wielu krajach: wielości i różnorodności list. Wielości i różnorodności, które wzmacniają pożytki płynące z rankingów, osłabiają zarzuty kierowane przeciwko nim i pozwalają rozsądnie oceniać, czego od nich oczekiwać możemy, a czego nie.

OD NAJLEPSZEJ DO NAJGORSZEJ

Rankingi zawsze wzbudzały kontrowersje. Sama idea ułożenia listy szkół wedle pewnego porządku jakościowego była podważana. W istocie, każda rzetelna ocena jakości kształcenia musi być tak wieloskładnikowa i tak wewnętrznie zróżnicowana, że ułożenie rankingu mechanicznie, wedle sumy uzyskiwanych przez uczelnię punktów, wydaje się być nadużyciem. Oponenci rankingów podnosili także pytania w rodzaju: „co uczyni czasopismo prowadzące ranking, gdy wiodące uczelnie odmówią w nim udziału?” lub: „co uczyni w sytuacji, gdy żywić będzie podejrzenia, co do rzetelności podawanych przez uczelnie informacji?”. Odpowiedzmy od razu na te wątpliwości: ranking prowadzony profesjonalnie przez czasopismo cieszące się społecznym uznaniem potrafi się z takimi zasadzkami uporać.

Rankingi cieszą się dużym zainteresowaniem czytelników i zaspokajają ich istotną potrzebę uzyskiwania informacji o szkołach, potrzebę niezaspokajaną przez informatory czy przewodniki, a nawet publikowane wyniki ocen (akredytacji) szkół. Czytelnicy chcą porównań. Chcą wiedzieć, kto jest gorszy, a kto lepszy. Toteż warto przyjrzeć się naturze rankingów i zastanowić się, kiedy mogą one odgrywać pożyteczną, a kiedy szkodliwą rolę. Czy mają wpływ na jakość nauczania? Czym różnią się od takich metod zapewniania jakości kształcenia, jak akredytacja? Zaznaczam, będziemy tu mówić tylko o rzetelnie i profesjonalnie prowadzonych rankingach, a nie o ich niedopuszczalnych, nierzetelnych wersjach, przed którymi ostrzega załączony apel EQUAL.

Zestawmy pokrótce kilka cech akredytacji i rankingów uczelni (programów, kierunków studiów), wskazując na dzielące je różnice.

Akredytacja i ranking różnią się co do celu, jaki im przyświeca. W akredytacji idzie o stwierdzenie, czy uczelnia wypełnia kryteria przyjęte przez agencję oceniającą za wystarczające (czasem bardzo wysokie) do uznania dobrej jakości nauczania, a zatem i do przyznania akredytacji. Organ akredytujący podejmuje decyzję „tak–nie” co do udzielenia akredytacji, ze względu na wypełnienie (niewypełnienie) tych warunków, natomiast nie sporządza ilościowych bilansów oceny. Liczy się więc wypełnienie oznaczonego minimum i nie ma mowy o lokowaniu stopnia tego wypełnienia na jakiejś skali. Nawet gdy akredytacja przyjmie postać tzw. kategoryzowanej „oceny jakości” (przypadek rzadki i znikający z praktyk akredytacyjnych), to oceniane uczelnie zaliczane są do przedziałów – kategorii wypełniania rozmaitych kryteriów, podobnie jak w stosowanej w Polsce przez KBN kategoryzacji jednostek badawczych, a nie są układane na liście w kolejności od najlepszej do najgorszej. Drugim podstawowym celem akredytacji jest uruchomienie lub wzmocnienie w uczelni mechanizmów podnoszenia jakości. Ranking ma cel zgoła odmienny – jest nim właśnie porównanie szkół poprzez zsumowanie uzyskanych przez nie ocen i ułożenie listy w kolejności uzyskanych not.

WIODĄCE KRYTERIUM

Także proces dokonywania oceny w obydwu podejściach jest odmienny. Akredytacja realizowana jest za pomocą standardowych procedur i kryteriów, i choć poszczególne agencje mogą proponować oceny różniące się co do szczegółów postępowania, to jednak zasadniczy trzon procesu oceny jest bardzo podobny, bez względu na rodzaj uczelni, kierunek studiów, a nawet kraj, w którym akredytację się prowadzi. (Ku akredytacjom kierowany jest wręcz zarzut, że nie są w stanie docenić waloru różnorodności i oryginalności ofert edukacyjnych, co powoduje stopniowe przejście od akredytacji w stronę tzw. przeglądów akademickich.) Tę jednolitość procedur potwierdza fakt międzynarodowych porozumień agencji akredytacyjnych i powstawanie międzynarodowych standardów akredytacji. Rankingi prowadzone są odmiennie. Nie ma przeszkód, aby każde ze sporządzających ranking mediów czyniło to wedle własnych, swoistych kryteriów. Powinny być one, co oczywiste, dokładnie określone i jawnie podane do wiadomości ocenianej uczelni i czytelników, zatajenie podstawy oceny dyskredytuje ranking. Można wyobrazić sobie ranking bazujący na popularności uczelni wśród kandydatów na studia, na badaniu powodzenia absolwentów na rynku pracy, skupiający się na integracji treści i organizacji nauczania z programami międzynarodowymi bądź odnotowujący okresowy postęp uczelni w wybranych dziedzinach. Ta różnorodność stosowanych kryteriów sprawia, że bezsensowne są wszelkie próby „uśredniania”, kompilacji czy syntezy różnych rankingów. Miejsce na liście zawsze określane jest wedle stopnia wypełnienia wiodącego kryterium rankingu. Ta cecha ma też wpływ na następny aspekt różniący oba procesy, a mianowicie na obszar ocen.

Akredytacja to ocena kompleksowa, obejmująca wszystkie aspekty działalności uczelni mające wpływ na jakość: od badań naukowych i ich związków z dydaktyką, po warunki socjalne zapewniane studentom przez uczelnię, od kwalifikacji i składu kadry, po strukturę i aktualność treści programu nauczania. Jest to ocena żmudna, dogłębna i kosztowna. Czaso- i energochłonna. Daje całościowy obraz uczelni, jej dorobku, dnia bieżącego i strategii rozwoju. Żaden ranking nie ma szans na dokonanie tak kompleksowej oceny. I nie ma potrzeby, aby to czynił, ponieważ z natury swej jest on ukierunkowany na niektóre tylko, wybrane przez prowadzącego aspekty edukacji, a nie na kompleksową jej charakterystykę, o czym wspominaliśmy powyżej. Akredytacja prowadzona jest raz na kilka lat, ranking corocznie. Żadna uczelnia nie zgodziłaby się na tak pracochłonne, jak w przypadku akredytacji, coroczne badanie prowadzone przez kilka mediów w ramach przygotowywania rankingów.

Odmienni są też adresaci akredytacji i rankingów. W przypadku akredytacji jest nim przede wszystkim sama uczelnia, dla której ocena powinna być stymulatorem zmian na lepsze, usunięcia niedociągnięć, poprawienia prestiżu. Dopiero wtórnie z tej oceny korzystają kandydaci na studia, studenci i ich rodzice oraz pracodawcy, dla których posiadanie lub brak akredytacji jest ważną informacją dotyczącą uczelni. Adresatami rankingów są zaś w pierwszej kolejności czytelnicy czasopism – przede wszystkim kandydaci na studia i ich rodzice, zaś w drugiej kolejności uczelnia, która może podjąć starania o zmianę niekorzystnego miejsca na liście rankingowej i poprawić w ten sposób swą rynkową pozycję.

SUBIEKTYWIZM OCEN

Najbardziej znaczącą różnicę zauważamy w kwestii kryteriów służących ocenie. Kryteria akredytacyjne nakierowane są w przeważającej mierze na zbieranie wiedzy faktualnej o uczelni, a nie na gromadzenie opinii na jej temat. Arkusze samooceny uczelni pytają głównie o fakty i liczby obrazujące działalność uczelni, zaś ich wiarygodność jest sprawdzana w trakcie wizytacji zespołu oceniającego. Wprawdzie zespół oceniający wypowiada w raporcie końcowym swą opinię o jakości studiów, ale jest to opinia wyrażona poprzez zbiór faktów i wskaźników. W trakcie procedury akredytacyjnej nie bada się wprost opinii studentów, absolwentów i pracodawców o szkole, nie zadaje się pytań dotyczących np. poziomu satysfakcji uzyskiwanej w czasie studiów i po nich lub przydatności wykształcenia w karierze zawodowej. Bada się, czy oceniana uczelnia takie opinie zbiera i wykorzystuje do formowania swej oferty, uznając to za fakt pozytywnie wpływający na jakość. Jeśli idzie o rankingi, to subiektywne opinie respondentów mogą w nich odgrywać znaczącą rolę, zaś ich przetworzenie we wskaźniki ilościowe odbywa się przez zsumowanie głosów „pozytywnych” i „negatywnych”, ewentualnie z zastosowaniem wag. Sztandarowym przykładem jest tu znane pytanie, zadawane przy tworzeniu rankingu niemieckiego „Der Spiegla”, a mianowicie, którą uczelnię poleciłby respondent swemu synowi bądź córce. Nie znaczy to, że rankingi nie zbierają także „twardych danych” za pomocą ankiet – czynią to z pewnością. Ankiety te najczęściej ograniczają się do pytań, których odpowiedzi mogą znaleźć weryfikację w ogólnie dostępnych źródłach (np. w statystykach publikowanych przez ministerstwa edukacji lub urzędy statystyczne). Jednak, powtórzmy, obok tego rankingi szeroko wykorzystują subiektywne opinie respondentów, często dając im przewagę nad danymi faktualnymi. Nie jest to ich wada, lecz specyfika. Z założenia mają zawierać również informację o opiniach wybranych grup osób w kwestiach, które czytelników interesują. Wadą byłoby, gdyby fakt wykorzystywania opinii ukrywano pod nazwą „wiedzy obiektywnej” o uczelni czy programie. Powtórzmy jeszcze raz: przejrzystość kryteriów i procedur rankingów jest sprawą zasadniczą dla ich wiarygodności. Nie jest ułomnością to, że zbierają opinie o uczelniach. Ułomnością byłoby, gdyby, bazując na opiniach, podawały swe listy tak, jakby były one syntezą wiedzy faktualnej.

Wreszcie, charakterystyka podmiotów prowadzących obydwa rodzaje ocen. Agencje akredytacyjne to ciała najczęściej powołane przez same uczelnie dla zabezpieczenia standardów jakościowych nauczania w toku dobrowolnej oceny. (Akredytacja rzadziej występuje w postaci oceny obligatoryjnej, prowadzonej przez organy władz centralnych lub regionalnych.) Ich statutowe zadania to właśnie potwierdzanie realizacji progowych standardów jakości kształcenia i działania na rzecz jej podwyższenia. Inaczej jest z mediami. Prowadzenie rankingów jest jednym z wielu celów ich działalności, na pewno nie zasadniczym. Jest, z jednej strony, sposobem wypełniania społecznej roli mediów (angażowania się w istotną społecznie sprawę i dostarczania o niej wiadomości), z drugiej zaś, elementem promocji, podnoszenia atrakcyjności czasopisma. Jakość kształcenia musi więc tu być, choćby częściowo, traktowana instrumentalnie. Natomiast zasięg i siła oddziaływania rankingów w kształtowaniu opinii o szkołach są daleko bardziej znaczące niż w przypadku akredytacji.

ŚWIADOMA DECYZJA

Jak widać, akredytacja i ranking to dwie różne sprawy. Błędem byłoby ich utożsamianie, błędem byłoby traktowanie ich jako procesów antagonistycznych. Przeciwnie, akredytacje i rankingi mogą się znakomicie uzupełniać, jak zawsze, gdy na złożone i zróżnicowane wewnętrznie zjawisko, jakim jest jakość nauczania, spojrzy się z różnych punktów widzenia. Dlatego na wstępie wspomniałam, że wielość i różnorodność rankingów sprawia, że lepiej służą społecznym potrzebom i sprawie podnoszenia jakości. Cząstkowość ocen rankingowych i często zakładana subiektywność zostaje tu zrekompensowana przez tę wielość i różnorodność podejść. Im więcej rankingów, im jawniejsza ich odmienność, tym bardziej utrwala się wśród czytelników przekonanie, że nie ma uczelni po prostu „najlepszych” lub „najgorszych” – mogą być lepsze pod pewnym względem, a pod innymi zgoła gorsze. Zarazem jednak permanentne pojawianie się uczelni na wysokich miejscach w rozmaitych rankingach może świadczyć o jej naprawdę dobrej ofercie edukacyjnej. Im bardziej różnorodna informacja na temat szkół, tym większa świadomość, że decyzja o wyborze miejsca studiów jest decyzją indywidualną, którą dzięki tej informacji można podjąć bardziej świadomie.

A więc – czekajmy na rankingi, żądajmy, aby były przygotowywane profesjonalnie i cieszmy się, że kolejna sfera naszego społecznego życia zyskuje na przejrzystości.

Dr Ewa Chmielecka jest członkiem Stowarzyszenia Edukacji Menedżerskiej „Forum”.

Stanowisko członków EQUAL – European Quality Link for Business Schools  and Management Education w sprawie list rankingowych szkół i programów nauczania Wiele gazet i specjalistycznych czasopism przygotowuje i publikuje rankingi uczelni, szkół biznesu czy popularnych programów kształcenia, takich jak MBA. Czasopisma sporządzające rankingi deklarują, że stanowią one odpowiedź na potrzebę wiarygodnej i niezależnej rady, zgłaszaną przez czytelników, wśród których są m.in. kandydaci na studentów (i ich rodzice) oraz menedżerowie i pracodawcy. Rankingi, w zamierzeniu twórców, mają nadawać znak „wysokiego poziomu nauczania” szkołom zajmującym w nich wysokie miejsca.  Zazwyczaj czasopisma podchodzą do sporządzania rankingów bardzo odpowiedzialnie i profesjonalnie, jeśli idzie o sposób zbierania danych, ich analizę i prezentację wyników. Szkoły biznesu chętnie wówczas z nimi współpracują, dostarczając stosownych informacji, danych i umożliwiając kontakt ze studentami oraz absolwentami. Niestety, zdaniem szkół biznesu i EQUAL, zdarzają się także przypadki, że czasopisma nie przestrzegają właściwych standardów zbierania danych, ich analizy i publikacji gotowych list rankingowych. W takich sytuacjach, co oczywiste, szkoły biznesu odmawiają współpracy i udziału w rankingach. Zdarzały się przypadki, w których cała procedura stawała się przez to niemożliwa do przeprowadzenia, a czasopisma nie mogły rankingu sporządzić. Należy pamiętać o możliwych konsekwencjach prawnych publikacji rankingów. Tak włączenie, jak wyłączenie poszczególnych szkół i programów z rankingu może prowadzić do oskarżeń o szkody moralne bądź zniesławienie. Oskarżenia wnoszone przez pojedyncze i zbiorowe podmioty są bardzo prawdopodobne. O ile jednak powód może próbować w oskarżeniu dowodzić swych racji jeśli idzie o skutki publikacji rankingu, o tyle metodologia jego prowadzenia, użyte kryteria, niezależność publikacji i wszystkie czynniki tego rodzaju powinny być na oskarżenia niepodatne, przeciwnie – w pełni jawne i podległe analizom. Należy pamiętać, że w przypadkach procesów o zniesławienie straty dla czasopism są nieobliczalne.  Nie ulega więc wątpliwości, w świetle powyższych stwierdzeń, że wszystkie publikowane rankingi powinny być przygotowywane w wysoce odpowiedzialny i profesjonalny sposób. EQUAL podziela ten punkt widzenia i choć samo w żaden sposób nie uczestniczy w rankingach, to jednak pozwala sobie podać zestaw wybranych kryteriów, które powinny być wzięte pod uwagę przez tych, którzy tworzą rankingi obecnie i chcą to czynić w przyszłości. Oto te kryteria: Metoda badań prowadzących do sporządzenia listy rankingowej powinna być rzetelna i poprawna z naukowego punktu widzenia, a także odpowiednia dla kryteriów, które będą miarami w badaniach. Wagi kryteriów, na podstawie których dokonywane będą porównania pomiędzy szkołami, powinny być szerokie, reprezentatywne i stosowne do oczekiwanych rezultatów. Kryteria te muszą gwarantować, że pomiar jest niezależny i dokładny.  Proces oceny powinien być wiarygodny, apolityczny i przejrzysty. Każda osoba zaangażowana w przygotowanie oceny szkoły czy programu powinna być ekspertem na wszystkich polach, których ranking dotyczy i mieć wysoką osobistą wiarygodność. Eksperci powinni być niezależni, niestronniczy i nie mieć żadnych powiązań (finansowych lub innych) z żadnym z badanych programów albo szkół – tak włączanych, jak wyłączanych z rankingu. Należy unikać wstępnej selekcji szkół i programów, wynikającej z niejawnych dyskryminacji lub subiektywności ocen. Jeśli taka wstępna selekcja się pojawi, wówczas jej uzasadnienie i rezultaty muszą zostać dokładnie omówione i podane do wiadomości publicznej. Jeśli, na przykład, schemat akredytacji jest użyty jako podstawa do selekcji wstępnej, wówczas uprzednia dyskusja o niej i porozumienie ze stosowną agencją akredytacyjną są konieczne. Należy unikać przypisywania wag poszczególnym kryteriom. Jeśli się to czyni, należy to robić explicit? i podać dokładną charakterystykę owych wag. Niedopuszczalne jest powoływanie się na organizacje, które rzekomo mogłyby dawać rankingowi poparcie (explicit? lub implicit?), podczas gdy takiego poparcia faktycznie brak. Niedopuszczalne jest sporządzanie rankingów wyłącznie poprzez kompilację innych list rankingowych. * * * EQUAL zrzesza siedem krajowych i trzy regionalne europejskie stowarzyszenia akredytacyjne, reprezentujące ponad 750 szkół biznesu, które kształcą w zakresie zarządzania ponad milion studentów. WSZYSCY członkowie EQUAL działają na rzecz stałego podnoszenia jakości nauczania. Cel ten jest osiągany na różne sposoby, w tym m.in. poprzez rozwój krajowych standardów i przeglądów jakości i włączanie w nie międzynarodowych schematów akredytacji, takich jak EQUIS. Członkami EQUAL są: Association of Business Schools (ABS) – Wielka Brytania, Asociacion Espanola de Representantes de Escuelas de Direccion de Empresa (AEDDE) – Hiszpania, Associazione per la Formazione alla Direzione Aziendale (ASFOR) – Włochy, Central Eastern European Management Association (CEEMAN), Chapitre des ?coles de Management (CHAPITRE) – Francja, Foundation for International Business Administration Acceditation (FIBAA) – Niemcy, Austria i Szwajcaria, Russian Association of Business Education (RABE) – Rosja, Stowarzyszenie Edukacji Menedżerskiej „Forum” – Polska, Vereniging van Samenwerkende Nederlandse Universiteiten (VSNU) – Holandia.

Uwagi.