|
|
|
Rankingi powinny charakteryzować się przejrzystymi kryteriami, Marek Rocki W 1992 roku tygodnik „Wprost” opublikował pierwszy polski ranking uczelni wyższych. Został on przyjęty przez środowisko akademickie z mieszanymi uczuciami. Zasadom jego tworzenia nie oszczędzano krytyki, ale stał się faktem, o którym dyskutowano i który przysporzył gazecie popularności. Już wtedy, choć było to zaledwie w dwa lata od zapoczątkowania ustrojowej transformacji, okazało się, że takie przedsięwzięcie znajduje swojego rodzaju zapotrzebowanie społeczne. Od tamtego czasu, dzięki ustawie o szkolnictwie wyższym z 1990 roku, znakomicie i znamiennie zmieniła się liczba uczelni, a więc studiujących. Znakomicie, bo ze 112 w 1990 roku do blisko 300 w 2000, znamiennie – bo powstały przede wszystkim szkoły wyższe o profilu ekonomicznym. Ten imponujący wzrost liczby szkół wyższych, według niektórych opiniotwórczych środowisk, stał się możliwy na skutek inicjatywy i przedsiębiorczości ich założycieli. Moim jednak zdaniem, prawdziwe przyczyny tego zjawiska leżą w rozpowszechniającym się przekonaniu, że rynek pracy preferuje osoby posiadające wyższe wykształcenie. To – ze wszech miar słuszne – przekonanie o konieczności podwyższania wykształcenia jest przyczyną wzrostu zapotrzebowania na usługi edukacyjne świadczone przez uczelnie wyższe. Jednym z podstawowych, praktycznych problemów, ściśle wiążących się ze wzrostem liczby uczelni jest to, że wykształcenie nauczycieli akademickich wymaga wielu lat. Powstające jak przysłowiowe grzyby po deszczu szkoły wyższe wykorzystują z konieczności istniejący zasób pracowników naukowo-dydaktycznych. To powoduje tak zwaną wieloetatowość (piszę „tak zwaną” bo w wielu przypadkach nie ma mowy o żadnych etatach, jest tylko prowadzenie zajęć na podstawie umów o dzieło), która polega na prowadzeniu przez danego nauczyciela zajęć w wielu uczelniach. Wzrost popytu na usługi edukacyjne świadczone przez szkoły wyższe niejako wymusza powstawanie równolegle rynku informacji z zakresu ofert dydaktycznych. Jednym z elementów tego rynku są rankingi. Powinny one zastępować obiegowe i intuicyjne oceny jakości poszczególnych szkół wyższych oraz powinny być pomocne przy wyborze miejsca dalszej nauki. W tym roku w kwietniu i w maju, a więc w okresie szczególnego zainteresowania edukacją na poziomie wyższym, opublikowano pięć obszernych, różnie usystematyzowanych wykazów najlepszych szkół wyższych. Jako pierwszy ukazał się ranking Miesięcznika Edukacyjnego „Perspektywy”, który do tej pory specjalizował się – w zasadzie jako jedyny – w sporządzaniu rankingów szkół średnich. Ranking wyższych uczelni „Perspektyw” obejmuje uczelnie wszystkich typów oprócz uczelni wojskowych. W ostatnim tygodniu kwietnia swój pierwszy ranking wyższych uczelni opublikował tygodnik „Polityka”, który wcześniej także kilka razy formułował ranking liceów. Ranking „Polityki” dotyczy uczelni, które prowadzą kierunki określone przez redakcję hasłem „ekonomia, zarządzanie, prawo”. W tym roku po raz drugi ranking szkół biznesu podał w majowym numerze miesięcznik „Businessman”. Ogranicza się on tylko do szkół biznesu, prezentując zestawienia programów magisterskich, licencjackich, podyplomowych i programów MBA, czego nie znajdziemy w innych rankingach. Tradycyjnie w maju ukazał się także ranking szkół wyższych tygodnika „Wprost”. Ten ranking zawiera wszystkie typy uczelni (bez wojskowych) i niektóre grupy kierunków studiów. Dziennik „Rzeczpospolita” rozpoczął 22 maja publikację swych rankingów uczelni według kierunków studiów od prezentacji wydziałów prawa. Interesujące jest to, że – w zakresie, w jakim można porównywać wyniki tych rankingów – mają one zasadniczo tych samych zwycięzców. To dobrze, bo zestawienie kryteriów omawianych rankingów tylko częściowo daje podstawy do oceny ich wiarygodności. Trudno porównać metodologię przyjętą przez autorów poszczególnych rankingów, bo i objętość publikacji i ich szczegółowość są znacznie zróżnicowane. Jest to istotne szczególnie z punktu widzenia potencjalnych odbiorców rankingów. Są one adresowane przede wszystkim do kandydatów na studia. Wyniki rankingów są także analizowane przez pracodawców planujących zwiększanie zatrudnienia. Zestawienia tego typu interesują też pracowników uczelni wyższych, którzy poszukują informacji dających podstawy do porównywania się z innymi i do tworzenia wzorców, do których można odnosić sytuację własnej uczelni. Jednak uważna lektura rankingów i ich opisów nie w każdym z przypadków daje racjonalne podstawy do wyboru oraz oceny uczelni i oferowanych przez nią programów. Niektóre zestawienia wydają się być niedopracowane nawet merytorycznie, inne przeładowane treścią. Najuboższy jest opis kryteriów, który podaje miesięcznik „Businessman”. Autorzy piszą bowiem, że „oceniali między innymi” – co oznacza, że oceniali także inne czynniki ponad te wymienione w tekście prezentującym ranking. Nie przedstawiają wartości stosowanych not. Podają jedynie, że najwyższe noty przypisali liście referencyjnej pracodawców oraz opinii samych szkół o ich najpoważniejszych rywalach. Obok niejasno przedstawionych zasad stosowanych przy opracowywaniu rankingu, również i analiza jego wyników rodzi wiele wątpliwości. Na przykład: w rankingu programów MBA na pierwszym miejscu znajduje się Szkoła Główna Handlowa. Z tekstu omawiającego nie wynika jednak, który program MBA był oceniany. SGH prowadzi bowiem (pomijając europejskie odpowiedniki MBA) trzy programy studiów kończące się dyplomami Master of Business Administration wydawanymi przez University of Minnesota, University of Calgary i Universit? du Quebec ? Montreal. Czy „Businessman” oceniał wszystkie trzy naraz, czy jeden z nich – nie wiadomo. Następnie: niewłaściwe jest też to, że autorzy porównują instytucje z założenia nieporównywalne. Na liście występują bowiem jako równoprawne programy akredytowane przez AACBS – The International Association for Management Education, najstarszą, bo istniejącą od 1916 roku agencję akredytującą programy w zakresie zarządzania (warto wiedzieć, że w listopadzie 1999 roku akredytację AACBS posiadało tylko 359 spośród ponad 1000 programów MBA prowadzonych przez północnoamerykańskie uniwersytety) oraz programy, które mają akredytację działającego w Polsce od 1994 roku Stowarzyszenia Edukacji Menedżerskiej FORUM. Ponadto „Businessman” podaje jedynie pozycje w rankingu, nie podając punktacji, jaką otrzymały poszczególne programy. Pozorna jawność kryteriówZnacznie więcej informacji uzyskać można z lektury rankingu „Polityki”. Jednakże za mało, aby uznać je za wyczerpujące. Podobnie jak w przypadku „Businessmana”, w rankingu „Polityki” nie ujawniono wszystkich branych pod uwagę wskaźników, które posłużyły do oceniania. Świadczy o tym zwrot stosowany w opisie wyników rankingu. W każdym z sześciu cząstkowych kryteriów brano pod uwagę „między innymi” dane wymienione w tekście tegoż artykułu. Tak więc pozorna jest jawność kryteriów, o której pisze „Polityka”, gdy podkreśla przejrzystość zasad swego zestawienia. Ponadto, nie podano wag dla poszczególnych wskaźników, informując ogólnie, że wynosiły od 2 do 25. Nie wiadomo więc, które ze wskaźników zostały przez autorów uznane za najważniejsze w ocenie uczelni. Jednakże najistotniejszym mankamentem rankingu „Polityki” jest brak informacji o maksymalnej liczbie punktów, jaką mogła uzyskać szkoła wyższa w poszczególnych kryteriach. Nie pozwala to na porównanie klasyfikowanych uczelni ze wzorową (zdaniem autorów) uczelnią tego rankingu. Można więc powiedzieć, że „Polityka” proponuje uczelniom wyższym dążenie do sobie tylko znanego wzorca. Twórcy rankingu również nie podają, jakie są, ich zdaniem, optymalne wartości wskaźników. Na przykład: czy „idealny”, proponowany przez „Politykę”, stosunek liczby nauczycieli na pierwszym etacie do ogółu studentów ma być optymalny z punktu widzenia kosztów czy z punktu widzenia walorów dydaktycznych? Ranking „Wprost”, w odróżnieniu od zestawienia z „Polityki”, podaje maksymalną liczbę punktów, jaką powinna uzyskać wzorowa szkoła wyższa. Dzięki temu można ocenić słabe – zdaniem „Wprost” – strony poszczególnych uczelni. Autorzy z „Wprost” podali pełną listę kryteriów, jest ona jednak, moim zdaniem, niejasna i niewiarygodna. Z niewiadomych przyczyn pominięto dwie kategorie w klasyfikacji KBN, który ocenia polskie uczelnie według skali od 1 do 5, biorąc tylko kategorie od 1 do 3. Moje zastrzeżenia budzą też kryteria, które dotyczą płac i tempa awansu absolwentów uczelni. Ponieważ GUS nie podaje danych o płacach i karierach zawodowych według ukończonej uczelni, to należy sądzić, że redakcja samodzielnie przeprowadziła badania szacujące wartości stosowanych mierników (zgodnie z deklaracjami zawartymi w artykule: żelazną zasadą było opracowanie rankingu własnymi siłami). Autorzy rankingu jednak nie przedstawiają metody i zakresu badań, za pomocą których oceniali uczelnie pod tym względem. A szkoda, bo temat jest ciekawy sam w sobie i myślę, że należało podać, jaki wykorzystano schemat losowania próby i operat losowania oraz wynikającą z tego wiarygodność wnioskowania statystycznego dotyczącego całej populacji absolwentów. Niestety, autorzy rankingu „Wprost” piszą jedynie o stosowaniu pewnych tajemniczych „algorytmów”. Nadmiar informacjiRedakcja „Wprost” stawia zarzut konkurencyjnym rankingom (z kontekstu wynika, że dotyczy to rankingu „Perspektyw”), iż ich wyniki były zależne „od doboru próby”. Wobec zastrzeżeń, jakie niesie ze sobą ranking „Wprost”, zarzut ten wydaje się być cyniczny. W przypadku „Perspektyw” podano nie tylko, kogo pytano, ale nawet imienną listę tych osób i instytucji, które udzieliły odpowiedzi. Autorzy rankingu „Wprost” nawet nie ujawniają, skąd brali dane. W stosunku do „Perspektyw” pada też zarzut o to, że pytano różne firmy o różne typy szkół. Czyżby autorzy rankingu „Wprost” sądzili, że w banku pracują tylko bankowcy i nie ma tam na przykład informatyków? W ankietach nadesłanych do „Perspektyw” absolwenci, na przykład uczelni ekonomicznych, oceniani byli przez dyrektorów szpitali, szefów działów kadr hut i elektrowni. A jednocześnie ci sami dyrektorzy i szefowie oceniali absolwentów uczelni swoich branż. Ranking „Perspektyw” ukazał się jako pierwszy i uzyskał szeroki oddźwięk w mediach. W stosunku do innych rankingów ta publikacja miała nadmiar informacji: listy rektorów i członków PAN, którzy oceniali uczelnie; lista firm, których szefowie działów kadr odpowiedzieli na ankiety; listy rankingowe według typów uczelni i według grup kierunków studiów; lista rankingowa uczelni niepublicznych; lista ogólna zawierająca 75 najlepszych uczelni. I to, jak się okazało, w pewnym sensie zaszkodziło rankingowi „Perspektyw”. Prasa i telewizja podały bowiem tylko wyniki tego ostatniego zestawienia. W tabelach opublikowanych w miesięczniku „Perspektywy” zestawiono szczegółowe wyniki rankingów według poszczególnych kryteriów, ale nie to było przedmiotem komentarzy. Nikt nie zwrócił uwagi na przykład na to, że pod względem kategorii KBN na pierwszym miejscu wśród wszystkich uczelni są Akademie Muzyczne z Warszawy i Krakowa, że Uniwersytet Warmińsko-Mazurski jest na drugim miejscu pod względem liczby słuchaczy studiów podyplomowych i doktoranckich, że największy udział studentów obcokrajowców ma Akademia Medyczna w Warszawie, oraz że najlepsza z uczelni niepublicznych (na 35 pozycji w rankingu) zebrała tylko nieco ponad 20 proc. punktów uczelni najlepszej. Nawiasem mówiąc, w tym rankingu „uczelnią idealną” byłaby ta, która we wszystkich kryteriach zajmowałaby pierwsze miejsce. Nie ma takiej uczelni. Najlepsza polska szkoła wyższa, Uniwersytet Jagielloński, osiąga zróżnicowane wyniki w poszczególnych kryteriach: od pierwszego miejsca, według liczby woluminów w bibliotece, poprzez 32. miejsce w rankingu, według liczby studentów przypadających na jedno miejsce w domach studenckich, po 113. miejsce w rankingu, według liczby kół naukowych i organizacji studenckich. Błędy serialuNajdłuższy serial rankingowy przygotowała „Rzeczpospolita”. Codziennie publikowane było zestawienie dotyczące uczelni prowadzących jeden z popularnych kierunków studiów. Uczelnie były oceniane na podstawie jasno sformułowanych kryteriów i systemów punktowania. Autorzy wykorzystali profesjonalną firmę, która zajmuje się badaniami społecznymi, wykorzystano ankiety nadesłane przez uczelnie, a w przypadku rankingu wydziałów prawa ankietowano także studentów. Niestety, i w tym rankingu nie uniknięto błędów. Na przykład: według kryterium, które wykorzystuje opinie o „sile dyplomu na rynku pracy”, w rankingu „wydziałów prawa” na 9. miejscu – wyprzedzając m.in. KUL i Uniwersytet Śląski – znalazła się uczelnia, której najstarsi studenci są dopiero na piątym semestrze. Wydaje się oczywiste, że uczelnię można oceniać wówczas, gdy ma ona chociaż kilka roczników absolwentów, a w szczególności dotyczyć to powinno rynkowej oceny wartości dyplomu. W ankietowaniu pracowników uczelni i studentów przyjęto stałą liczbę osób udzielających odpowiedzi. Właściwsze byłoby ankietowanie proporcjonalne do liczby pracowników i studentów, bo oceniane wydziały nie są sobie ilościowo równe. Na przykład, na Wydziale Prawa Europejskiej Wyższej Szkoły Prawa i Administracji studiuje 850 studentów, a na Wydziale Prawa i Administracji Uniwersytetu Warszawskiego blisko 2500, natomiast w obu przypadkach ankietowano 100 studentów. Kolejną usterką rankingu „Rzeczpospolitej” jest ujęcie w zestawieniu obejmującym kierunek informatyka jedynie politechnik i części uniwersytetów. W praktyce – zgodnie z tekstem zamieszczonym w „Rzeczpospolitej” – informatyka ukrywa dwie różne dziedziny nauki. Jedna związana jest z elektroniką i dotyczy konstrukcji komputerów, a druga ich wykorzystywania, na przykład (jak pisze „Rzeczpospolita”) do przygotowywania oprogramowania do różnych dziedzin życia, przygotowywania symulacji zjawisk. Dlatego też błędem jest pominięcie w tym zestawieniu uczelni, które prowadzą kierunek informatyka i ekonometria. W tych to bowiem uczelniach zasadniczą specjalnością jest informatyka gospodarcza. Klarowność i uczciwośćOczywiście, każdy ranking jest subiektywny: mierzy to, co chcieli zmierzyć jego autorzy. Jeśli jednak autorzy chcą, by ranking służył jego odbiorcom, to sposób podania informacji musi być kompletny. Najprościej jest ułożyć listę wykorzystując jedno, klarowne kryterium (na przykład: liczbę kandydatów na jedno miejsce). Ale takie zestawienie może prowadzić do paradoksów: uczelnie powszechnie uważane za najlepsze mogą wypaść słabo ze względu na opisany w „Polityce” mechanizm autoselekcji kandydatów. Prowadzi to także do uproszczonych komentarzy, na przykład: najpopularniejszy w Polsce jest kierunek reżyseria, bo na jedno miejsce przypada kilkudziesięciu kandydatów – nie podaje się w takiej informacji jednak tego, że miejsca są cztery, a kandydatów stu. I jak można tę sytuację porównywać z liczbą trzech i pół tysiąca kandydatów na tysiąc miejsc? Która z tych dwu sytuacji wskazuje na bardziej popularny kierunek studiów? Dobry ranking musi więc uwzględniać szereg czynników, ale tu wchodzimy na grunt statystyki. Bez gruntownej jej znajomości także można sporządzić ranking, ale jego wiarygodność będzie ograniczona. Także dla tych, którzy w nim wygrywają. Wskazywanie poprzez rankingi najlepszych i dobrze kształcących szkół wyższych ma, wydaje mi się, znaczenie nie do przecenienia. Pod pewnymi jednak warunkami. Otóż, rankingi powinny charakteryzować się przejrzystymi kryteriami, prawidłowym zebraniem danych oraz uczciwym ich opracowaniem. Ich autorzy winni być profesjonalistami w tej materii, odrzucającymi wszelki koniunkturalizm, a ponadto przygotowując zestawienia szkół wyższych powinni pamiętać, że wybór uczelni jest kluczowym momentem dla młodych ludzi, którzy poszukują swojej dalszej drogi życiowej, kończąc edukację w szkole średniej, a ranking ma być im w tym pomocny. Dr hab. Marek Rocki, prof. SGH, ekonomista, ekonometra, jest rektorem Szkoły Głównej Handlowej w Warszawie. Był głównym autorem rankingu miesięcznika „Perspektywy”. |
|
|