Sprawy nauki

13 Czerwca

Źródło: Politechnika Świętokrzyska

Ewaluacja do resetu

Koncepcja ewaluacji dyscyplin jest oderwana od rzeczywistości i daje wyniki nieprzystające do społecznych oczekiwań. To wydziały dają ramy organizacyjne działalności naukowej, nie abstrakcyjne dyscypliny. To na wydziałach pracują uczeni, nie w dyscyplinach. Kandydaci na studia nie wybierają dyscypliny, lecz wydział.

Dyskusje nad zmianami w Konstytucji dla Nauki oraz zasadach ewaluacji mają jedną wspólną cechę: sprowadzają się do proponowania mniejszych lub większych poprawek, w gruncie rzeczy akceptując status quo. Ustawa z dnia 20 lipca 2018 roku Prawo o szkolnictwie wyższym i nauce jest tworem niekoniecznie zupełnie nieudanym i podejrzewam, że nikt w środowisku nie jest nastawiony entuzjastycznie do pomysłu pisania nowego aktu prawnego od początku. Zupełnie inaczej jednak, moim zdaniem, ma się sprawa z zasadami ewaluacji nauki. Te powinny zostać skasowane i zastąpione nowymi: klarownymi, niepodatnymi na kombinowanie i różnorakie mniej lub bardziej cwaniackie sposoby i sposobiki, a przede wszystkim zasadami efektywnymi. Przez efektywność rozumiem tu efektywność informacyjną: zdolność podania takiej sumarycznej oceny, która w ramach pewnej przestrzeni strategicznej jest miarodajna i sprawiedliwa.

Strategia ewaluacji

Jest oczywiście truizmem stwierdzenie, że ewaluacja działalności naukowej powinna być przyporządkowana pewnej strategii. Co właściwie chcemy osiągnąć? Jakie wymierne korzyści miałyby w jej wyniku uzyskać społeczeństwo oraz państwo? Może się to wydawać zaskakujące, ale na żadne z tych pytań nie daje odpowiedzi ustawa w obecnym kształcie. Ewaluacja ma być prowadzona i tyle – czyli Słowacki wielkim poetą był. Tymczasem od właściwie sformułowanych odpowiedzi zależy konstrukcja całego procesu ewaluacyjnego. Ośmielam się twierdzić, że prawie całe aktualne zasady ewaluacji zostały opracowane nieracjonalnie i bez brania pod uwagę jakiejkolwiek strategii. To tylko anegdota, ale mam wielką ochotę ją tutaj przytoczyć. Około roku 2017, w czasie ogólnopolskiej dyskusji nad Konstytucją dla Nauki jako prorektor pojechałem z moim ówczesnym szefem na spotkanie z ministrem do Lublina. Tam przedstawiono nam – przedstawicielom uczelni z regionu południowo-wschodniego – wstępne zasady ewaluacji. Widząc wagi poszczególnych kryteriów, zadałem pytanie, skąd wynikają ich konkretne wartości w odniesieniu do różnych typów uczelni. Odpowiedź ministra wbiła mnie w fotel: „wymyśliliśmy je w samochodzie w drodze na to spotkanie”. Gdzie by nie zostały wymyślone, z niewielkimi zmianami weszły później do rozporządzenia i wszyscy posłusznie i pilnie zaczęliśmy się do nich stosować.

Po co więc ewaluować naukę? Powody można podać dwa zasadnicze, z nich wynikają liczne powody pochodne. Powód pierwszy: z troski o szeroko rozumiany prestiż i dobrobyt Polski. Nazwijmy to celem strategicznym nr 1. Ewaluujemy naukę dla tych samych mniej więcej powodów, dla których cieszylibyśmy się, że Polak dostał nagrodę Nobla z fizyki lub chemii. Bylibyśmy dumni tylko trochę mniej, gdyby się okazało, że najlepsze polskie uczelnie przestały wegetować gdzieś w piątej setce i znalazły się na miejscach dwucyfrowych. Ponadto wiadomo, że wysoki poziom nauki przekłada się w jakimś stopniu na stopę życiową społeczeństwa, poprzez promowanie innowacyjności i postępu, a także ze względu na znany fakt, iż zakup know how słono kosztuje. Socjologia, ekonomia i psychologia stymulują te procesy poprzez dostarczanie odpowiednich analiz i wskazując istnienie uwarunkowań społecznych. Wreszcie, jako naród, czujemy się w jakimś sensie bezpieczniejsi, gdy jego dzieje, język, rozwój duchowy, kulturę wyższą i sztukę analizują nauki humanistyczne.

Cel strategiczny nr 2 ma charakter lokalny. Społeczeństwo potrzebuje godnych zaufania danych o jakości prowadzonych badań oraz kształcenia na uczelniach i wydziałach. Takich informacji oczekują kandydaci na studia, przedsiębiorcy i władze samorządowe. Wreszcie – takich informacji o sobie nawzajem potrzebują same jednostki naukowe. Nie jest natomiast i nie powinno być celem strategicznym ewaluacji tworzenie miejsc pracy dla rzesz ekspertów, recenzentów, kierowników departamentów, organizatorów drogich szkoleń, członków komisji itp., a także absorbowanie samych pracowników uczelni, którzy zamiast ewaluacją powinni się zajmować tym, do czego zostali powołani: nauką i dydaktyką.

Zanim przejdę do meritum, czyli propozycji „nowej ewaluacji”, przedstawię konieczne moim zdaniem zmiany w samej ustawie, mniej lub bardziej bezpośrednio powiązane z indukowaniem zmian projakościowych. Mają one na celu zwiększenie prestiżu zawodu naukowca i zwiększenie presji ustawowej na jakość działalności naukowej. Zdając sobie sprawę, że pomysły te mogą przez niektórych czytelników tego artykułu zostać uznane za bulwersujące, pozwolę sobie zwrócić uwagę na fakt, że prawie wszystko to już było i bynajmniej nigdy się nie skompromitowało.

Precyzyjne kryteria awansów

Przywrócenie bardziej precyzyjnych kryteriów przyznawania stopnia doktora habilitowanego i tytułu profesora jest niezbędne. W obecnym kształcie kryteria te są rozmyte i mało konkretne, co otwiera potencjalne i praktyczne możliwości awansowania osobom, które w ocenie większości środowiska akademickiego na to nie zasługują. W szczególności kwestią bardzo istotną jest powrót do zasady „profesor to naukowiec promujący doktorantów” oraz „profesor co do zasady publikuje książki – monografie specjalistyczne lub popularyzujące i propagujące naukę”. Popularyzacja nauki i, szerzej, naukowego światopoglądu, nabiera wyjątkowego znaczenia w świecie internetowych szarlatanów i pseudonaukowców, oferujących proste rozwiązania skomplikowanych problemów. Jak groźne mogą być tego rodzaju oddziaływania społeczne, obserwowaliśmy ostatnio w okresie pandemii.

Kryteria awansowania do stopnia doktora habilitowanego powinny być precyzyjne i uniemożliwiające stosowanie coraz bardziej popularnych „rozwiązań”, w szczególności dotyczących współpracy międzynarodowej i międzyuczelnianej. Wzajemne „pobyty” młodych naukowców stanowią kpinę z postulatu rzeczywistej, efektywnej współpracy między ośrodkami badawczymi.

Zarówno w przypadku stopnia doktora habilitowanego jak i tytułu profesorskiego zasadne wydaje się wprowadzenie konkretnych, minimalnych wymogów dotyczących wybranych wskaźników naukometrycznych. Powszechna w Polsce fobia cytowalności jest dla mnie zupełnie niezrozumiała, tym bardziej że w światowych rankingach nauka polska nie sytuuje się pod tym względem jakoś beznadziejnie. Natomiast recenzenci powinni zostać zobowiązani do rezygnacji z „punktozy”, odnoszącej się tu do „punktów za publikacje”. W dobie trwających latami ingerencji w system punktowy, ten ostatni został ostatecznie skompromitowany i może stanowić co najwyżej pomocnicze kryterium oceny indywidualnego dorobku naukowego. Istnieje wiele lepszych i bardziej obiektywnych wskaźników wagi periodyku naukowego, w tym oczywiście indeks cytowań (impact factor IF). Podnoszony często argument, że tego rodzaju podejście dyskryminuje krajowe periodyki pozbawione IF, nie powinien mieć racji bytu. Strategią ustawy o nauce powinna być poprawa jakości polskiej nauki na tle nauki światowej. Marne pozycje polskich uczelni w światowych rankingach nie zmienią się, póki będzie egzystowała „lista B” jako pełnoprawny z „listą A” wykaz periodyków. Pełnoprawny, tylko niżej punktowany, co oznacza w domyśle istnienie równania typu: n publikacji na liście B = jedna publikacja na liście A. Należy zdać sobie sprawę z faktu, że równanie powyższe nie ma rozwiązań dla żadnego n rzeczywistego (pomińmy jakże powszechne rozwiązania urojone).

Profesor tylko z tytułem

Istniejąca obecnie sytuacja w oczywisty sposób deprecjonuje tytuł profesora. Jeżeli zdecydowano się na jego zachowanie w polskim systemie szkolnictwa wyższego, należy dbać o jego prestiż i szeroko rozumianą atrakcyjność. Nie można zjeść ciastka i mieć ciastka; w tym przypadku – wprowadzić paraamerykański system stanowiska profesora kontraktowego (który nigdy i nigdzie nie będzie jednak rozliczany z postępów i swój tytuł zawodowy otrzymuje w zasadzie dożywotnio) i utrzymywać tytuł naukowy cieszący się wciąż, mimo wszystko, znaczącym prestiżem społecznym. Usunięcie tytułu docenta nastąpiło oczywiście ze względu na jego zdeprecjonowanie w latach po 1968 roku, kiedy to otrzymywali go „wierni, ale mierni” pracownicy bez habilitacji. Tymczasem prostą drogą zmierzamy w tym kierunku, tym razem na celownik biorąc tytuł profesora (rozmyto wymogi wobec habilitacji i umożliwiono zatrudnianie na stanowisku profesora natychmiast po jej otrzymaniu).

Obligatoryjna rotacja

Koncepcja zagwarantowania bezpiecznego zatrudnienia na czas nieokreślony pracownikom ze swego wyboru wyłącznie dydaktycznym jest ewidentnie szkodliwa dla nauki. Postuluję likwidację podziału na grupy pracowników dydaktycznych i badawczo-dydaktycznych i powrót do określonego precyzyjnie maksymalnego czasu na obronę doktoratu i uzyskanie habilitacji. Taki system działał przez lata i nigdy nie był kontestowany jako niesprawiedliwy. Dla osób, które nie podołały trudom kariery naukowej, a równocześnie wykazały ponadprzeciętne predyspozycje do prowadzenia dydaktyki, istniały „furtki” w postaci stanowisk wykładowcy i starszego wykładowcy.

Sytuacja, w której w „radzie doskonałości” mogą zasiadać i zasiadają osoby, których dorobek naukowy od rzeczonej doskonałości jest daleki, należy uznać za absurdalną. Tymczasem ustawa wymaga, aby kandydat na członka RDN posiadał w dorobku „jedną monografię naukową” i „trzy artykuły naukowe”! No comments.

Cytowalność po pierwsze, po drugie i po trzecie

Jest trudne do wytłumaczenia, dlaczego ustawa deklaratywnie dbająca o stan polskiej nauki zupełnie pomija wskaźniki cytowań jako kryteria oceny indywidualnej lub zbiorowej. O liczbie cytowań i/lub wskaźniku Hirscha nie ma mowy ani przy kryteriach branych pod uwagę przy wnioskach habilitacyjnych i profesorskich, ani przy zarysowanych ogólnie podstawach ewaluacji jednostek, ani przy wspomnianych wymaganiach wobec członków RDN. Tymczasem światowe rankingi uczonych i uczelni opierają się głównie lub wyłącznie na cytowaniach. Prawdopodobnie ta jaskrawa rozbieżność stanowi największą wadę ustawy jako ewentualnego narzędzia poprawy stanu polskiej nauki.

Oczywiście wiem, co mówią przeciwnicy cytowań: „te straszne spółdzielnie!”. Gdy usłyszałem to ostatnio od dziekana zaprzyjaźnionego wydziału, odparłem: „Słuchaj, zgłasza się do ciebie naukowiec z zagranicy z h=50. Co sobie myślisz w pierwszej chwili? Że wybitny, czy że należy do spółdzielni?”. Czy naprawdę akurat Polacy i tylko oni wymyślili cwaniactwo? A czy „spółdzielnie” nie mają jeszcze szerszego pola do popisu przy obecnych zasadach ewaluacji dotyczących systemu uwzględniania współautorstwa, na który na dodatek nałożono dziwaczny i niepotrzebny system „punktów” przyznawanych czasopismom? Natomiast istnieje jeden szczegół, o którym koniecznie należałoby zawczasu pomyśleć: liczą się tylko cytowania bez autocytowań i cytowań ze strony byłych współautorów. Również tylko tak powinien być określany i podawany indeks Hirscha. Nie ma cudów: bez nacisku na cytowania prestiż polskiej nauki pozostanie tam, gdzie jest (to znaczy nie na jakimś szarym końcu, ale jednak daleko poza czołówką). Zmarnowano 5 lat.

Ewaluujmy wydziały, nie dyscypliny

Biorąc pod uwagę powyższe, postuluję całkowitą zmianę zakresu i sposobu prowadzenia ewaluacji jednostek naukowych. Koncepcja ewaluacji dyscyplin jest oderwana od rzeczywistości i daje wyniki nieprzystające do społecznych oczekiwań. Po pierwsze, zasada oceny dyscyplin zamiast wydziałów prowadzi do chaosu w sytuacji, gdy naukowcy z danej dyscypliny zatrudnieni są na różnych wydziałach lub gdy prowadzą badania interdyscyplinarne. Po drugie, tworzenie listy dyscyplin było procesem w dużej mierze arbitralnym (inżynieria środowiska z górnictwem!). Po trzecie, podstawową jednostką strukturalną uczelni powinien pozostać wydział. Ewaluacja w obecnym kształcie idzie niejako „pod prąd” oczekiwaniom społecznym, nastawionym na klarowne wskaźniki jakości wydziałów, a nie dyscyplin. Gwarantem rozwoju naukowego dyscypliny byłyby jednoznaczne kryteria oceny i wynagradzania naukowców je reprezentujących, przedstawione w skrócie powyżej. Ewaluacja wydziałów stanowiłaby wyartykułowanie faktycznego stanu rzeczy, bo ewaluowane są tak naprawdę wydziały, a nazywanie tego ewaluacją dyscyplin niczego nie upraszcza, wręcz przeciwnie. To wydziały finalnie ogłaszają, ile mają A, a ile B+. To wydziały dają ramy organizacyjne działalności naukowej, nie abstrakcyjne dyscypliny. To na wydziałach pracują uczeni, nie w dyscyplinach. Kandydaci na studia nie wybierają dyscypliny, lecz wydział. Podobnie firmy z zewnątrz nie szukają partnerów pośród dyscyplin, lecz wydziałów.

Zrezygnujmy z liczby N

Naturalną konsekwencją rezygnacji z wyodrębniania grupy pracowników czysto dydaktycznych byłaby rezygnacja z „enki”. Korzyści wydają się oczywiste: koniec z nonsensowną „polityką” kadrową, z corocznymi transferami z grupy do grupy – to po pierwsze. Po drugie, mobilizacja grup pracowniczych, które od pięciu lat nie prowadzą żadnej działalności naukowej lub prowadzą ją w stopniu szczątkowym. Czy da się ewaluować bez liczby n? Oczywiście! Gdy ewaluacji podlega wydział, bierze się pod uwagę dorobek wszystkich jego pracowników biorących udział w procesie dydaktycznym i/lub badawczym. Im większy procent dydaktyków nie uprawia nauki, tym gorzej dla wydziału, tym jest on słabszy z naukowego punktu widzenia. Taki system ewaluacji mobilizowałby władze uczelni, wydziałów i samych pracowników do pracy badawczej. Tymczasem dostajemy kategorie dotyczące starannie wyselekcjonowanej części pracowników. Stanowi to narzędzie zaciemniania rzeczywistego stanu rzeczy w kwestii realnego poziomu naukowego wydziału.

Uprośćmy kryteria

Proponuję rezygnację ze sztucznie układanej listy punktacji czasopism. W jej miejsce wprowadźmy listę punktów automatycznie zależnych od aktualnego IF. Wprowadźmy całkowity zakaz manipulacji listą przez wszelkiej maści polityków i „organizatorów nauki”. Usuńmy skomplikowane kryteria dotyczące uwzględniania współautorstwa, niech rządzi prosta zasada: wartość udziału równa się [wartość punktowa publikacji] / [liczba współautorów]. Nieważne, skąd kto przychodzi: wydział dostaje swój udział od współautorów na nim zatrudnionych lub studiujących; reszta udziałów idzie do innych jednostek lub jest tracona. Dołóżmy punkty za wzrost liczby cytowań bez autocytowań w okresie ewaluacyjnym. Przedmiotem dyskusji mogłaby być kwestia, czy zrobić to indywidualnie dla wszystkich pracowników, a potem normalizować dla nowego n, czy może wprowadzić wskaźniki typu „ogólny wskaźnik Hirscha wydziału bez autocytowań” oraz [całkowita liczba cytowań bez autocytowań] / [liczba dydaktyków na wydziale].

Kryterium B jest silnie uzależnione od uwarunkowań regionalnych i szczególnie krzywdzi uczelnie w mniejszych ośrodkach akademickich, gdzie siłą rzeczy istnieje mniejsza liczba podmiotów gospodarczych potencjalnie oferujących współpracę. Sytuacja, w której karze się uczelnię z 200-tysięcznego miasta X za to, że nie wykazała „aktywności w pozyskiwaniu środków” na poziomie uczelni z milionowego miasta Y, jest kuriozalna. Ponadto wiadomo, że propozycje projektów badawczych, składane przez naukowców z mniejszych ośrodków, już na starcie mają mniejsze szanse uzyskania dofinansowania, co potwierdzają statystyki. Kryterium B powinno, w miejsce szczegółowo rozliczanych kwot pozyskanych na wydziale (no właśnie, nikt nie podpisuje umowy z dyscypliną, ani prezes firmy, ani NCN lub NCBR), wprowadzić kryterium liczbowe pokazujące aktywność w obszarze umów komercyjnych z podmiotami gospodarczymi. W tym ujęciu wiele umów o małej wartości złotowej jest więcej warte niż jedna umowa milionowa. Ta ostatnia może być bowiem efektem układów lub zbiegu okoliczności. Ponadto naprawdę nie bardzo wiadomo jak uzasadnić tezę, że naukowo lepszy jest ten, kto zarobił więcej pieniędzy (może więc tytuł naukowca roku powinien przyznawać „Forbes”?).

Zamiast kryterium C, z jego nielicznymi, wybranymi osiągnięciami bardzo szczegółowo charakteryzowanymi, a następnie arbitralnie i zupełnie niejasno ocenianymi przez anonimowych recenzentów, miałby sens powrót do praktykowanej kiedyś listy 10 najważniejszych osiągnięć wydziału. Każda pozycja z listy byłaby oceniana w pewnej skali punktowej przez trzech niezależnych recenzentów – bez podawania skomplikowanych uzasadnień. Oceny recenzenta najbardziej odbiegające od średniej (in plus lub in minus) byłyby odrzucane. Tego rodzaju system byłby zarówno bardziej miarodajny (wobec 10, a nie 1–3 przedstawianych do oceny osiągnięć), jak i bardziej sprawiedliwy (ze względu na wykluczenie ocen recenzenta potencjalnie najmniej obiektywnego).

Pozbądźmy się kategorii

Kategorie są kolejnym czynnikiem wprowadzającym chaos do procesu ewaluacji. Progi, przewyższenia, porównania, manipulacje itd. Efektem ewaluacji może być po prostu liczba uzyskanych punktów (odpowiednio standaryzowana z uwzględnieniem trzech kryteriów). Ta liczba działałaby zarówno jako „wizytówka” wydziału, jak i służyłaby do obliczania dotacji/subwencji w odpowiednim algorytmie. Nie mogłaby natomiast stanowić podstawy do nadawania uprawnień akademickich, podobnie jak nie powinny być w tym celu używane obecne kategorie. Jak wiadomo, kategoryzacja spowodowała w wielu przypadkach stan „nieskonsumowania uprawnień” ze względu na niedostateczny stan kadrowy. Uprawnienia do nadawania stopni powinny zależeć wyłącznie od minimalnych liczb pracowników w grupach profesorów, doktorów habilitowanych itd. W prawidłowym systemie kryteriów awansowych stan kadrowy sam przez się powinien stanowić dostateczną gwarancję potencjału awansowego jednostki. Natomiast spodziewane znaczące różnice punktowe między na przykład wydziałami humanistycznymi a technicznymi nie miałyby znaczenia; nikt nie dokonuje tego typu porównań. Byłoby natomiast istotne, ile punktów zdobył wydział humanistyczny X w stosunku do wydziału humanistycznego Y.