Zarówno fakt pojawienia się wielu zróżnicowanych 
rankingów, jak i profesjonalizm ich przeprowadzenia, 
to zjawiska bardzo pozytywne i oby w latach 
przyszłych rozwijały się jak najpomyślniej.

Ewa Chmielecka

Ukazanie się w kilku wiodących polskich czasopismach rankingów szkół wyższych – bądź kierunków wyższego kształcenia – nie zaskoczyło nikogo, komu bliskie są sprawy zapewniania jakości w edukacji akademickiej. Były one zapowiadane, choć do momentu publikacji redakcje starały się utrzymać w dyskrecji metodę i zakres prowadzonych ocen. Dziś są one już znane – leżą przede mną rankingi „Perspektyw”, „Polityki”, „Rzeczpospolitej” i „Wprost”, które obejmują kierunki i uczelnie wielu rodzajów oraz dwa mniejsze rankingi szkół biznesu miesięczników „Home&Market” oraz „Businessman Magazine”.

Nie od rzeczy będzie zatem rozważyć i porównać metody prowadzenia list rankingowych przez te czasopisma. Właśnie metody badań, a nie ich wyniki, bo jeśli idzie o rezultaty, do oceny ich trafności lub nietrafności brak jest jakichkolwiek podstaw. Na czym bowiem mogłaby taka ocena trafności wyników rankingu się zasadzać? Albo na innym rankingu, albo na osobistej opinii intuicyjnej czy też opinii uznawanej za powszechną. Własne przekonanie oraz „powszechne opinie” nie są tu żadną prawomocną miarą, a wprost przeciwnie, to one właśnie potrzebują argumentacji, której mogą dostarczyć procedury oceny jakości – w tym m.in. właśnie rankingi.

Aby wiedzieć, o czym mowa, trzeba rozpocząć od możliwie najkrótszego opisu zasad rankingów podanych przez ogłaszające je redakcje.

Uczelnie i kierunki

W charakterystyce metody rankingowej „Polityki” uderza wysoka i explicit? wyrażona świadomość autorów, że nie ma on charakteru „obiektywnej oceny jakości studiów”, ale jest uszeregowaniem punktacji uzyskanych przez szkoły za wypełnienie wybranych kryteriów (przy innych kryteriach wyniki byłyby odmienne). Wiemy, jaki zespół ekspertów przeprowadzał badania. Ocena dotyczy kierunków studiów: prawa i grupy kierunków w zakresie nauk ekonomicznych i zarządzania. Uczelnie prowadzące tę drugą grupę kierunków zostały podzielone na te, w których takie studia stanowią podstawową ofertę edukacyjną oraz te, w których stanowią one tylko dodatek do oferty innego rodzaju. Bardzo starannie określona została cała metoda badań – opis kryteriów i wag, sposób zbierania informacji i ich interpretacja. Do wyników dodano obszerne omówienie wskazujące na możliwe zasadzki w ich interpretacji (casus selektywności zbyt wielowymiarowej, aby ujęcie ilościowe mogło być bez wątpliwości użyteczne dla czytelnika). Kryteria to: pozycja akademicka, potencjał kadrowy, orientacja na studenta, kontakty z otoczeniem, selekcyjność i infrastruktura. Źródło informacji to dane MEN i KBN, ankieta rektorska i ankieta studencka. Opisy kryteriów wskazują na przewagę danych ilościowych, unikanie ocen czysto jakościowych. Niestety, nie podano, czy w ankietach (np. studenckich) pytano o twarde fakty, czy też o subiektywną opinię, choć zapewne o to drugie.

Tygodnik „Wprost” dokonał podziału uczelni i sporządził osobny ranking dla szkół publicznych w podziałach na uniwersytety, uczelnie techniczne, ekonomiczne etc, zaś szkół niepaństwowych na biznesowe i inne. Najpoważniejsze wątpliwości budzi opis zastosowanej metody badań. Nie wiemy, jak zbierano dane – kogo i w jaki sposób badano. Nie wiemy, kto dokonywał ocen – prócz konstatacji „robiliśmy to własnymi siłami”. A jest to tym ważniejsze, że podane i opisane kryteria obfitowały w kategorie jakościowe, wymagające przedstawienia opinii, a nie faktów. Oto przykłady: ocenialiśmy dostosowanie programów nauczania do wymogów współczesnej gospodarki i społeczeństwa (kto? wedle jakich kryteriów?), otwartość na nowe zjawiska (tzn. na co?), skuteczność nauczania języków obcych (jak?). Punkty można było uzyskać za jakość programów nauczania, umiejętności dydaktyczne kadry (czym jest jakość, kto ją oceniał i jak to czynił?). Braliśmy pod uwagę szanse kariery zawodowej, (...) sprawdzaliśmy popyt na absolwentów różnych szkół na rynku pracy (...), płace absolwentów (...) tempo awansu (każdy, kto choć raz próbował uporać się z badaniami karier absolwenckich, wie, jak trudne i kosztowne są te badania, gdy chce się je przeprowadzić na reprezentatywnej grupie dla choćby jednej czelni. A tu badanie miało dotyczyć wszystkich uczelni w kraju! Jak je przeprowadzono?). Jeśli takiej informacji nie ma, rodzą się uzasadnione wątpliwości przynajmniej co do reprezentatywności badania. Także opis zestawienia uczelni, na których „warto” studiować zawiera charakterystyki tak nieprecyzyjne, jak „wartość programów nauczania”, „adekwatność kształcenia do wymagań rynkowych”. Takie niejasności dyskredytują ranking.

Ponieważ autorka wchodziła w skład grupy doradców pomagających w przygotowaniu zasad rankingu w„Rzeczpospolitej”, pozwoli więc tylko na krótkie ich podanie i uchyli się od komentarza. Ocena prowadzona była tylko dla studiów magisterskich i tylko na kierunkach studiów. Nie oceniano całych szkół, tak jak i w przypadku rankingu „Polityki”. W roku bieżącym objęto badaniem 11 kierunków. Badania prowadziła Pracownia Badań Społecznych z Sopotu posługując się dwoma ankietami. Pierwsza skierowana była do samodzielnych pracowników naukowych i uzyskiwano w niej opinię badanego o poziomie dydaktyki i badań naukowych oraz sile dyplomu na rynku pracy. Za pomocą drugiej ankiety uzyskiwano od władz uczelni dane liczbowe dotyczące 12 wskaźników, charakteryzujących przede wszystkim potencjał naukowy i dydaktyczny uczelni lub jej jednostki prowadzącej kierunek studiów.

„Perspektywy” przedstawiają ranking najbardziej rozbudowany zakresem badań i wyrafinowany metodą, imponujący dokładnym opisem metodologii. Trudno je streścić w skrócie – generalnie ranking łączy elementy ilościowe i jakościowe. Te pierwsze uzyskiwano na podstawie danych GUS, MEN i KBN, te drugie na podstawie ankiet badających opinie. Podano listy osób i instytucji, które odpowiedziały na ankiety dotyczące „prestiżu” Wyniki na „liście 75 najlepszych uczelni” są średnią ważoną z wyników cząstkowych („podrankingów”). Podstawowe grupy kryteriów to: prestiż uczelni, jej siła naukowa, warunki studiowania rozpisane na 17 kryteriów szczegółowych. Oprócz wspomnianego rankingu głównego podawane są rankingi w typach szkół (uniwersytety, uczelnie techniczne, pedagogiczne itd.) i wedle grup kierunków studiów (technologie klasyczne, medycyna, prawo, kierunki ekonomiczne itd.). Dodatkowego splendoru dodawała rankingowi kapituła, składająca się z wybitnych osobistości.

Szkoły biznesu

I wreszcie dwa rankingi dotyczące wyłącznie szkół biznesu, prowadzone przez czasopisma związane z biznesową problematyką i kręgami pracodawców.

„Home&Market” sporządza ranking wyłącznie niepublicznych wyższych szkół biznesu i podaje listę 20 najlepszych, uszeregowanych wedle sumy punktów uzyskanych wg kryteriów cząstkowych, oznaczonych hasłami: dostęp do wiedzy (kadra, księgozbiór, praktyki), życie szkoły (samorząd studencki, sport, koła naukowe i inne, kontakt z absolwentami), warunki studiowania (powierzchnia, komputeryzacja, stołówka, stypendia), opór przed komercją (relacja studiów dziennych do innych, formy rekrutacji) oraz akredytacja SEM „Forum”. Dane zbierane są za pomocą ankiety, którą poprawnie wypełniło 60 szkół. Przy tabelach wyników podane są zasady punktacji i sposób ich ważenia. Warto zwrócić uwagę, że dwa kryteria (opór przed komercją i akredytacja) premiują wysiłki szkoły zmierzające do zapewniania jakości studiów, co należy docenić w rankingu szkół niepublicznych, narażonych na szczególne niebezpieczeństwo w opisanych kryteriami obszarach.

„Businessman” proponuje 4 tabele: „najlepsze szkoły licencjackie”, „najlepsze studia magisterskie”, „najlepsze programy MBA” i „najlepsze studia podyplomowe”. Pomimo różnych nagłówków w tabelach znajdujemy wyłącznie nazwy szkół uszeregowanych w kolejności od 1 do 15 i od 1 do 10. Z opisu metody badań dowiadujemy się, że podstawą oceny była ankieta rozesłana do 100 czołowych polskich pracodawców i ponad 150 szkół biznesu, zaś ocena dotyczyła jakości oferty programowej, liczebności i kwalifikacji kadry, dostępności, wiarygodności, przyjazności i popularności szkoły oraz opinii rynku pracy o uczelni. Najwyższe noty przyznano liście referencyjnej pracodawców. Nie podano ani punktacji uzyskanej przez szkoły w poszczególnych punktach ankiet, ani też punktacji zbiorczej, nie wiadomo, jakie różnice punktowe dzielą miejsca na liście. Nie wiemy, do kogo wysłano ankiety, jakie wagi przyznano jej punktom ani kto prowadził badania. Słowem, metodologia, poza stwierdzeniami ogólnikowymi, jest nieznana i przypisane szkołom numery na liście nie mają żadnego uzasadnienia, podanego do wiadomości czytelników w postaci wyników badań.

W zgodzie ze zdrowym rozsądkiem

Nawet tak krótki opis metod pokazuje kilka problemów, z którymi musieli się uporać twórcy rankingów, dla których podano metodę badań. Pierwszym z nich było napięcie pomiędzy jednolitością kryteriów służących porównaniom a zasadniczą niejednolitością badanych szkół. Zestawianie na jednej liście i wedle identycznych kryteriów uczelni o wielkich tradycjach akademickich i niewielkich wyspecjalizowanych uczelni zawodowych mija się z celem, jeśli ranking miałby być tylko „listą najlepszych”. Dlatego niektóre redakcje zrezygnowały w ogóle z rankingu szkół, a inne uzupełniły go podrankingami wg rodzajów szkół czy kierunków studiów. Jeśli ranking ma służyć klientom uczelni do lepszej orientacji w tym, co która może mu zaoferować, to lista wszystkich szkół w kraju, sporządzona wedle jednakowych kryteriów, nie jest dlań instruktywna, w tym sensie, że nie wskaże mu, która uczelnia najlepiej odpowiada jego potrzebom. Ma jednak inną zaletę: jeśli podana jest w tak rozbudowanej postaci, jak w rankingu „Perspektyw” czy „Polityki”, to, po pierwsze, pozwala się zorientować w cechach rankingu, a po drugie, zachęca do samodzielnych ocen i eksploracji na podstawie podanych informacji, czasem wręcz intrygujących i sprzecznych z potocznymi opiniami.

Bardzo cenne jest włączanie w rankingi grup uczelni ważnych i specyficznych dla nich charakterystyk czy wręcz problemów, z jakimi się borykają. „H&M” przyznaje dużą wagę akredytacjom i opieraniu się komercjalizacji przy ocenie szkół niepaństwowych. Taka lista ma swoje szczególne uzasadnienie w zagrożeniach dla jakości, typowych dla tej grupy szkół.

Problem drugi: czy ma sens ocena „całej” uczelni, zwłaszcza dużej i bardzo zróżnicowanej wewnętrznie? Wiadomo, że mają one swoje mocne i słabe kierunki edukacyjne. Zapewne z tego powodu te redakcje, które przeprowadziły oceny całych uczelni, starają się je uzupełniać charakterystykami dodatkowymi, typu „co i gdzie warto studiować?”.

Problem trzeci to znalezienie równowagi pomiędzy wyrafinowaną metodologią badań operujących wskaźnikami ilościowymi a zdrowym rozsądkiem i opiniami środowiskowymi. Właściwie żaden z rankingów nie gwałci drastycznie potocznych opinii środowiska. Popatrzmy na tabelę „Perspektyw”, jakie zabawne bywają w niej wyniki cząstkowe: dalekie miejsce UJ w działce „możliwości rozwijania zainteresowań naukowych i społeczno-kulturalnych” i najwyższe miejsca uczelni artystycznych w działce „potencjał naukowy wg KBN”. Jednak, jak wspomniałam, cała lista zbiorcza nie gwałci zdrowego rozsądku (bez względu na to, co oznaczają wyniki cząstkowe). Stać się tak może, dzięki przypisaniu grupom kryteriów wag i przyznaniu najwyższej z nich głosowi środowiska, czyli kryteriom opiniującym, a nie ilościowym. Skutek to samej metodologii czy też metodę dobrano tak, aby nie gwałciła zdrowego rozsądku?

To kieruje nas w stronę problemu ocen „obiektywnych” i „subiektywnych”. Tak bardzo pożądana w rankingach „obiektywność”, realizowana głównie przez wskaźniki ilościowe (np. liczebność kadr, woluminów, komputerów i powierzchni na studenta), ma swoje słabe strony, bowiem właśnie nie uwzględnia jakości, profesorowie bywają różni, woluminy także. Toteż same dane liczbowe są niemal obowiązkowo okraszane interpretacjami wskazującymi na ich jednostronny charakter. Typowym przykładem jest tu kryterium popularności uczelni, determinowanej zbyt wieloma czynnikami, aby sam wskaźnik liczby kandydatów był instruktywny bez dodatkowego komentarza. Pisałam już (Forum Akademickie, nr 4/2000, s. 29-31), że cechą specyficzną rankingów jest to, iż wykorzystują opinie (czego nie wolno czynić np. w procedurach akredytacyjnych), czyli wskaźniki „subiektywne” i nie obniża to w niczym ważności rankingu – jego celem jest także pokazanie pozycji uczelni w świadomości odbiorców jej usług. Pytanie tylko, jak zbilansować, ustalić wagi przypisywane wskaźnikom ilościowym i opiniom, jeśli budujemy ranking o mieszanych kryteriach.

Warto wreszcie odnotować, że w niektórych rankingach pojawiają się punkty za poddanie się procesowi akredytacji. To, moim zdaniem (osoby zaangażowanej i popierającej ruch akredytacji środowiskowych), ważny symptom, bo ustanawia przykład dobrej współpracy pomiędzy dwoma ruchami na rzecz poprawy jakości edukacji wyższej w naszym kraju. Zapewne w miarę jego upowszechniania i rosnącej różnorodności akredytacji będzie to punkt coraz ważniejszy w rankingach. Liczba i rodzaj akredytacji, które uzyska uczelnia, będą potwierdzać jakość oferowanej przez nią edukacji i to w rozmaitych aspektach.

Optymistyczny profesjonalizm

Rankingi mają swych przeciwników, lecz opór przeciwko nim płynie raczej z niezrozumienia idei rankingów i przypisywania im zadań, których nie chcą i nie mogą wypełniać (choćby żądanie pełnej „obiektywności” oceny). Dlatego tak ważny jest dokładny opis metody – rozwiewa od razu roszczenia i iluzje. Jedna nieprzychylna rankingom opinia wybiega poza ten stereotyp. Mówi ona o „niepotrzebności” rankingów, o tym, że nie wnoszą nic nowego do wiedzy o czołówce uczelni, bowiem to, która z nich jest dobra, wie się i bez rankingów. Zauważmy, że jeśli występuje owa zbieżność potocznej opinii z wynikami rankingów, to przecież rankingi dostarczają twardych argumentów, której sama opinia nie ma. Mają ponadto ogromną siłę kształtowania i zmiany tej opinii. Rozwój rankingów to następny krok w kierunku przejrzystości życia uczelni w Polsce, a to zawsze sprzyja jakości studiów. 

Opublikowane rankingi są różnorodne – to ich zaleta. Rozbija się w ten sposób mit jedynej obiektywnej oceny, pokazuje, że wielość opinii w tak wieloczynnikowym obiekcie badań, jakim jest jakość studiów i uczelni, jest potrzebna i cenna.

Nie ulega wątpliwości, że rankingi mają wady, które często wynikają z ich natury, a nie tylko zaniedbań w metodzie badania. Będą się więc z pewnością zmieniać i doskonalić, sami twórcy to zapowiadają. Te stwierdzenia napawają optymizmem. Zarówno fakt pojawienia się wielu zróżnicowanych rankingów, jak i profesjonalizm ich przeprowadzenia (o zastrzeżeniach i wyjątkach pamiętając), to zjawiska bardzo pozytywne i oby w latach przyszłych rozwijały się jak najpomyślniej.

Dr Ewa Chmielecka jest pracownikiem SGH i członkiem Stowarzyszenia Edukacji Menedżerskiej „Forum”. Brała udział w przygotowaniu rankingu „Rzeczpospolitej”.

Uwagi.