|
Rankingi są na ogół oparte na kryteriach ilościowych,
co nie jest w pełni tożsame z oceną jakości.
Nie można więc wysnuwać prostych wniosków
jednoznacznie identyfikujących wyższą pozycję w rankingu
z lepszą jakością edukacji w danej uczelni.
Marek Ratajczak
Swego rodzaju wysyp rankingów dotyczących różnych obszarów szkolnictwa wyższego skłania do sformułowania uwag zarówno o charakterze bardziej ogólnym, jak i tych, które są konsekwencją doświadczeń związanych ze współuczestnictwem w przygotowaniu jednego z rankingów. Uwagi te sprowadzić można do czterech problemów: dlaczego budowane są rankingi, komu mają one służyć, jak rankingi budować i wreszcie, jak je prezentować, czyli upowszechniać?
Dlaczego rankingi?
Wielość rankingów jest niewątpliwie pochodną kilku zjawisk. Pierwsze, to zdecydowany w ostatnich latach wzrost wskaźnika skolaryzacji na poziomie wyższym. Studia wyższe stały się zjawiskiem znacznie bardziej masowym niż to miało miejsce w przeszłości, a co za tym idzie wszelkie informacje o oferentach tego rodzaju usług edukacyjnych nabrały wagi dla znacznie większej części społeczeństwa.
Druga przesłanka rozwoju rankingów, to tworzenie się w obrębie niektórych kierunków studiów coraz szerszego rynku edukacyjnego. Nieprzypadkowo rankingi są szczególnie popularne w odniesieniu do ekonomii i zarządzania, w tym bowiem obszarze mamy do czynienia z najwyraźniejszymi znamionami powstawania prawdziwego rynku usług edukacyjnych.
Trzecią przyczyną wyjątkowej obfitości rankingów jest niewątpliwie moda, a także występowanie, z jednej strony, efektu naśladownictwa, a z drugiej, konkurencji między poszczególnymi czasopismami.
Czwarta przyczyna związana jest z generalnym dążeniem do mierzenia i klasyfikowania różnych zjawisk, w tym i tych, które zabiegom takim poddają się wyjątkowo trudno. Niewątpliwie edukacja jest właśnie obszarem aktywności społecznej, w ramach którego pomiar nie jest zadaniem łatwym.
Piąta przyczyna – ściśle związana z pierwszą i drugą – to społeczne zapotrzebowanie na informacje, które nie byłyby ograniczone wyłącznie do prezentacji jednej instytucji edukacyjnej, a na dodatek, nie miały charakteru autoprezentacji.
Dla kogo?
Podstawowe grupy odbiorców rankingów, to kandydaci na studia i ich rodziny, pracownicy, a zwłaszcza kierownictwo szkół objętych rankingiem, studenci ocenianych szkół, reprezentanci instytucji centralnych (MEN, KBN, Rada Główna), pracodawcy. Każda z wymienionych grup ma trochę inne oczekiwania dotyczące rankingów, a także trochę różny obraz tego, co to znaczy dobra uczelnia. W efekcie bardzo trudne, jeśli nie wręcz niemożliwe, jest skonstruowanie rankingu, który w takim samym stopniu satysfakcjonowałby wszystkie wymienione grupy odbiorców.
W dyskusjach dotyczących rankingów na ogół eksponuje się trzy spośród wymienionych wyżej głównych grup odbiorców. Pierwsza, to kandydaci na studia. Nieprzypadkowo rankingi publikowane są głównie w okresie bezpośrednio poprzedzającym czas podejmowania decyzji o wyborze przyszłej uczelni, a miejsca zajmowane w rankingach przez poszczególne szkoły kojarzone są z ich możliwością przyciągania kandydatów. Należy jednak zauważyć, że sprawa jest znacznie bardziej złożona, a rankingom nie trzeba przypisywać większej roli niż mają one w rzeczywistości.
Pierwsze ograniczenie roli rankingów jako czynnika wpływającego na liczbę kandydatów na daną uczelnię czy kierunek, to skala rynku. Jeżeli jest to (tak, jak np. w przypadku prawa) kilkanaście uczelni, na dodatek w zdecydowanej większości o ograniczonej wzajemnej konkurencyjności, chociażby z powodu lokalizacji, to trudno byłoby założyć, że trochę wyższa lub niższa pozycja w tym czy innym rankingu wpłynie istotnie na liczbę kandydatów. Drugie ograniczenie wynika z popularności poszczególnych kierunków studiów. Ci, którzy oferują studia na kierunkach mało popularnych, nawet jeśli będą bardzo wysoko w odpowiednich rankingach, nie odczują specjalnie wpływu tego faktu na liczbę kandydatów. Trzecie ograniczenie to uwarunkowania z zakresu szeroko rozumianej sfery bytowej (SGH jest najlepszą uczelnią ekonomiczną, ale Warszawa jest najdroższym miejscem studiowania). I wreszcie, po czwarte: rankingi nierzadko służą raczej utwierdzeniu się w przekonaniu co do już dokonanego wyboru niż wybór ten determinują. Trzeba także wspomnieć i o tym (ku pociesze tych, którzy w rankingach nie wypadają najlepiej), że wyższe miejsce w rankingu może także oznaczać utratę części (acz zapewne niezbyt istotnej) potencjalnych kandydatów. Działa bowiem mechanizm autoselekcji, który powoduje, że kandydaci, niezbyt przekonani co do możliwości pokonania wysokich barier wejścia do szkół najlepszych, poprzez rankingi utwierdzają się w przeświadczeniu, że jest to dla nich zbyt ambitny cel i szukają innego rozwiązania.
Kwestia prestiżu
Szczególnie wrażliwą grupę odbiorców rankingów stanowią pracownicy poszczególnych szkół, a zwłaszcza ich grona kierownicze. Miejsca zajmowane w rankingach są nierzadko traktowane prestiżowo, przy czym często większe emocje budzi porównanie z lokalnymi konkurentami (szkoły z tego samego miasta czy województwa) niż pozycja zajmowana na ogólnopolskiej mapie edukacyjnej. Wyczulenie gremiów kierowniczych na wyniki rankingów jest zrozumiałe. Ranking, chociażby poprzez swój hierarchiczny układ, stanowi element oceny danej szkoły, a co za tym idzie – przynajmniej pośrednio – może być odbierany jako pewna forma oceny osób szczególnie z daną szkołą związanych. W tym kontekście należy zauważyć, że od autorów rankingów oraz osób decydujących o ostatecznym kształcie materiałów publikowanych należy oczekiwać szczególnej ostrożności w formułowaniu różnego rodzaju wniosków i opinii, mogą być one bowiem brzemienne w skutki nie tyle dla szkół jako instytucji, co dla konkretnych osób, których jakość pracy nie musi pozostawać w prostej zależności od wyników osiąganych przez szkołę w rankingach. Z kolei, od przedstawicieli poszczególnych szkół można by oczekiwać niekiedy bardziej wnikliwego zaznajamiania się z wynikami rankingów, przede wszystkim pod kątem szukania odpowiedzi na pytanie, co jeszcze można udoskonalić w swym działaniu? Pytanie takie powinni sobie stawiać zarówno ci, którzy zajmują niższe miejsca w rankingach, jak i ci, którzy znajdują się na ich szczytach, gdyż proces doskonalenia jakości nigdy nie powinien mieć końca, a na dodatek określona hierarchia szkół nie jest dana raz na zawsze.
Niestety, w praktyce miejsce zajęte w rankingu nierzadko przesłania całą resztę obrazu. Wyrazem tego mogą być uwagi kierowane pod adresem rankingu „Polityki”, w szczególności dotyczące wspólnego ujęcia w zakresie ekonomii i zarządzania szkół państwowych i niepaństwowych. Takie podejście zostało krytycznie przyjęte przez część środowiska, przede wszystkim związanego ze szkołami niepaństwowymi, nie tyle w kategoriach uwag co do prawdziwości obrazu (dystans dzielący różne szkoły), co z punktu widzenia zajętego miejsca (miejsce x, zajęte przez daną uczelnię na osobnej liście szkół niepaństwowych, brzmiałoby lepiej niż zajęte przez nią – generalnie niższe – miejsce y na łącznej liście szkół państwowych i niepaństwowych).
Trzecia grupa szczególnie eksponowanych odbiorców rankingów to pracodawcy. Grupie tej, a raczej jej przedstawicielom, powierza się niekiedy rolę bądź to swego rodzaju recenzentów rankingów, bądź też włącza się do rankingu jako jedną z grup oceniających badane szkoły.
Maksymalnie szerokie uwzględnianie opinii pracodawców wydaje się w pełni zasadne, biorąc pod uwagę to, że właśnie pracodawcy są odbiorcą produktu szkół wyższych w postaci absolwentów. Tyle tylko, że po pierwsze: znajomość rynku edukacyjnego ze strony pracodawców jest dość ograniczona (kilka najbardziej znanych szkół w Polsce, plus ewentualnie szkoły z najbliższego otoczenia lub te, z których głównie wywodzą się kandydaci do pracy). Po drugie: wiedza pracodawców o szkołach wyższych i ich ocena są często pochodną informacji zawartych m.in. w rankingach („Uważam, że szkoła jest dobra, bo piszą, że jest dobra”). Wreszcie po trzecie: pracodawcy, zwłaszcza ci, którzy rekrutują wielu pracowników, a zarazem stosują bardziej złożone procedury naboru, mają pełną świadomość tego, że wysoka pozycja danej szkoły w rankingach nie jest tożsama z gwarancją, że każdy absolwent danej szkoły jest lepszy niż jego odpowiednik ze szkoły znacznie niżej klasyfikowanej.
Jak przygotowywać
rankingi?
Kolejna istotna kwestia związana z rankingami dotyczy tego, jak je przygotowywać, w rozumieniu zarówno szczegółowej metodologii, jak i pewnej szerszej filozofii. Punktem wyjścia do zaprezentowania uwag związanych z tą kwestią jest stwierdzenie, że nie ma idealnej metody budowy rankingów i że każde z wybranych w tej materii rozwiązań może być przedmiotem dyskusji.
Brak idealnej metody sporządzania rankingów w zakresie szkolnictwa wyższego wiąże się w dużym stopniu z jakościowym charakterem zjawiska, które tylko w przybliżony sposób może być odzwierciedlone przez różne wskaźniki ilościowe. Dlatego, w sferze ogólnej filozofii sporządzania rankingów, ich autorom powinna przyświecać zasada ostrożności w formułowaniu wniosków i opinii. Przyjąć należy także, że ranking można uznać za rzetelny, jeśli jego autorzy są w stanie jednoznacznie określić i udokumentować źródła, z których czerpali informacje, zaprezentować algorytm postępowania zastosowany w budowie rankingu oraz przedstawić założenia metodologiczne. Tych wszystkich postulatów nie należy przy tym utożsamiać z koniecznością publikowania zbyt wielu szczegółów dotyczących tzw. „kuchni”, bo poza wąskim gronem niektórych odbiorców, pozostali czytelnicy nie są tym aż tak zainteresowani. Rzetelność w sporządzeniu rankingu nie jest oczywiście tożsama z wykluczeniem dyskusji na temat zalet i wad zastosowanego rozwiązania czy też szczegółów uzyskanych wyników.
W przypadku rankingu przygotowanego na zlecenie „Polityki”, postanowiono oprzeć się na czterech źródłach informacji: danych pozyskanych z Ministerstwa Edukacji Narodowej, z Komitetu Badań Naukowych, ankietach adresowanych do rektorów i wypełnianych przez przedstawicieli poszczególnych wydziałów i kierunków oraz na ankietach studenckich. Założono przy tym, że podstawową rolę w rankingu miały odgrywać dane pozyskane z trzeciego z tych źródeł.
W odniesieniu do ankiet studenckich założono ograniczony charakter ankietyzacji (nie więcej niż 50 osób w ramach każdej objętej rankingiem jednostki) oraz, że pozyskane w ten sposób dane będą wykorzystane jako uzupełnienie rankingu, a nie jego integralny element w przypadku każdej z objętych rankingiem uczelni. Założono także, że ankiety rektorskie będą przekazane do każdej z uczelni drogą pocztową, natomiast ich odbiór miał nastąpić w uzgodnionym z daną uczelnią terminie, poprzez wydelegowanego ankietera, który miał za zadanie przeprowadzić zarazem ankietyzację studentów.
Kryteria i wagi
Oparcie się w rankingu „Polityki” głównie na danych endogenicznych wzbudziło u niektórych odbiorców wątpliwości wynikające z przekonania, że dane egzogeniczne są bardziej wiarygodne. Problem polega jednak na tym, że, po pierwsze, tzw. dane egzogeniczne mają bardziej historyczny charakter, związany z czasem niezbędnym na ich pozyskanie, przetworzenie i udostępnienie. Po drugie – i to chyba najistotniejsze – dane egzogeniczne mają w istocie rzeczy endogeniczny charakter, bo są konsekwencją danych pozyskiwanych np. przez MEN ze szkół i co najwyżej można zadać pytanie, która ankieta, ta wypełniona dla potrzeb MEN, czy ta przygotowana na użytek rankingu, zawiera dane bliższe rzeczywistości. Oczywiście, pytanie takie ma sens, jeśli założyć – acz twórcy rankingu „Polityki” tak nie czynili – że przedstawiciele szkół świadomie i nagminnie tworzą odmienny obraz swych instytucji na potrzeby różnych grup odbiorców informacji.
W konstruowaniu rankingu przesądzono, że o ostatecznym wyniku powinna decydować wielość kryteriów, za które przyjęto sześć następujących: pozycja akademicka (waga 25 proc. w wyniku końcowym), potencjał kadrowy (20 proc.), orientacja na studenta (20 proc.), kontakty z otoczeniem (15 proc.), selekcyjność (10 proc.), infrastruktura (10 proc.). W ramach każdego kryterium dokonano klasyfikacji poszczególnych uczelni, nadając punkty miernikom cząstkowym tworzącym bazę analityczną. Przy tym uczelnia, która dla danego miernika cząstkowego uzyskała wielkość maksymalną (tam gdzie przyjęto, że możliwe jest uznanie, iż tym lepiej, im więcej, np. liczba profesorów w relacji do liczby studentów) lub która w ramach danego miernika cząstkowego uzyskała rezultat zbieżny z założoną wielkością wzorcową (np. dopuszczalna liczba osób w grupie seminaryjnej) otrzymywała 100 punktów, a wszystkie pozostałe uczelnie były porównywane z tak określonym wzorcem, otrzymując odpowiednią liczbę punktów w skali od 0 do 100. Następnie, tak określone wskaźniki cząstkowe, poprzez uwzględnienie systemu wag, były wykorzystywane do określenia wielkości wynikowej w ramach danego kryterium (np. infrastruktura), a kolejny system wag pozwalał na określenie wskaźnika syntetycznego będącego ostatecznym rezultatem rankingu. Reguły zastosowanej metody obliczania wyników końcowych powodują, że nawet uczelnia zajmująca pierwsze miejsce w rankingu nie uzyskuje jako wielkości ostatecznej (syntetycznej) 100 punktów. Byłoby tak jedynie wtedy, gdyby, co w praktyce się nie zdarza, uczelnia ta w zakresie każdego z mierników cząstkowych znajdowała się na poziomie wielkości progowych.
Odmienność wag przypisanych poszczególnym kryteriom odzwierciedla przekonanie autorów rankingu o szczególnej roli trzech elementów w funkcjonowaniu szkoły wyższej, a zwłaszcza tej, która ma charakter akademicki lub do takiego miana aspirującej. Są to: pozycja akademicka, potencjał kadrowy oraz orientacja na studenta. Pozostałe kryteria, choć oczywiście również bardzo istotne, pełnią rolę uzupełniającą wobec tych trzech podstawowych.
Należy także zwrócić uwagę na fakt, że wyniki rankingu, zarówno ogólne, jak i w ramach poszczególnych kryteriów, mogą niekiedy mniej lub bardziej różnić się od opinii środowiskowej. Ta odmienność ocen wynikających z rankingu i opinii środowiskowych może mieć swoje źródło w kilku przyczynach. Po pierwsze, odmienna interpretacja pewnych pojęć. Najbardziej wyraźne jest to w przypadku potencjału kadrowego. Popularnie utożsamiany jest on z miarami bezwzględnymi, takimi jak wielkość kadry dydaktycznej, a zwłaszcza liczba osób, które osiągnęły określony status akademicki (doktorzy habilitowani i profesorowie). W rankingu te bezwzględne wielkości były zrelatywizowane poprzez porównanie ich z liczbą studentów. Po drugie, rozbieżność wyników rankingu i opinii środowiskowych może wynikać z różnej interpretacji zakresu pewnych wielkości. Najlepszym przykładem jest w tym przypadku infrastruktura, popularnie i głównie utożsamiana z budynkami dydaktycznymi i stopniem ich nowoczesności. Wreszcie po trzecie, każdy ranking ma charakter autorski. Co za tym idzie, pewne autorskie decyzje, zwłaszcza dotyczące wag poszczególnych wskaźników, mogą w rezultacie wpłynąć na uzyskane rezultaty końcowe, nie w pełni zbieżne z opiniami środowiskowymi.
Jak prezentować
wyniki?
Należy zwrócić uwagę na podkreślaną już kilkakrotnie potrzebę zachowania przez autorów rankingów, a także osoby decydujące o ostatecznym kształcie publikowanych materiałów, daleko idącej rozwagi i konieczności dążenia do równowagi pomiędzy rozwiązaniami pożądanymi w kategoriach medialnych a utrzymaniem niezbędnych standardów naukowych.
Trzeba mieć także świadomość (i uczciwie o tym informować odbiorców) różnych ograniczeń, związanych z zastosowanym rozwiązaniem. W tym kontekście bardzo ostrożnie należy używać określeń typu najlepszy, gorszy czy zły. Należy także zwracać uwagę odbiorcom na niejednoznaczność interpretacyjną niektórych wielkości, takich jak np. liczba kandydatów na jedno miejsce i wspomniany mechanizm autoselekcji. Pożądany jest także umiar w eksponowaniu autorów rankingu, bo, z różnych względów, nie oni są w tym przypadku najważniejsi.
Tak więc dokonując oceny i porównania wyników różnych rankingów należy pamiętać, że ranking to nie tworzenie bezdyskusyjnej listy referencyjnej, bo tak naprawdę nie da się w pełni ocenić każdego aspektu funkcjonowania instytucji dydaktycznych, a na dodatek sprowadzić to do jednej wielkości wynikowej. Rankingi są na ogół oparte głównie na kryteriach ilościowych, co nie jest w pełni tożsame z oceną jakości. Nie można więc wysnuwać prostych wniosków jednoznacznie identyfikujących wyższą pozycję w rankingu z lepszą jakością edukacji w danej uczelni. Trzeba pogodzić się z tym, że różne rankingi, przygotowywane przez różne zespoły, mogą niekiedy prowadzić do odmiennych wyników, chociażby ze względu na dobór kryteriów oceny, przypisywane im wagi, źródła i sposoby pozyskiwania informacji.
W Polsce, jeszcze mniej niż w krajach zachodnich, przy ocenie uczelni można się opierać na danych egzogenicznych, zwłaszcza ilustrujących efekty kształcenia. Wynika to z wielu powodów, m.in. ze stosunkowo małej przejrzystości rynku kadr, stosunkowo krótkiego okresu istnienia większości uczelni i ich głównie lokalnego charakteru, braku możliwości oceny opartej na obserwacjach długookresowych (np. spektakularne sukcesy absolwentów tuż po ukończeniu uczelni nie muszą być tożsame z ich sukcesami w dłuższym okresie).
Ranking należy traktować jako pewną autorską wizję sytuacji, którą próbowano zrealizować maksymalnie rzetelnie i obiektywnie. Różnice między wieloma szkołami są na tyle małe (rzędu 1-5 punktów w skali 100), że trudno twierdzić, iż przypisane tym uczelniom miejsca są rzeczywistym odpowiednikiem relacji lepszy-gorszy.
Rankingi będą kontynuowane, choć zapewne wraz z upływem czasu część z nich przestanie się ukazywać, a niektóre będą mniej lub bardziej wyraźnie ewoluować. Należy także mieć nadzieję, że w miarę tego, jak rankingi będą się stawały czymś coraz bardziej naturalnym, będzie zarazem rosło ich znaczenie jako jednego ze źródeł informacji wykorzystywanych w procesie doskonalenia jakości edukacji, a zarazem mniej emocji będzie towarzyszyło temu, co niewątpliwie jest najbardziej nośne w kategoriach medialno-marketingowych, czyli miejscu zajmowanemu przez poszczególne szkoły.
Prof. dr hab. Marek Ratajczak, specjalista makroekonomii, pracuje w Katedrze Makroekonomii AE w Poznaniu.
Autor współuczestniczył w przygotowaniu rankingu „Polityki”, opublikowanym w dodatku specjalnym do nr 18 (2249) z 29 kwietnia 2000 r. Poglądy zawarte w prezentowanym opracowaniu nie muszą być w pełni tożsame ani z poglądami wszystkich współwykonawców wymienionego rankingu, ani ze stanowiskiem jego zleceniodawcy.
|