Nie zmienialiśmy pod dyktando ewaluacji swoich planów badawczych i publikacyjnych, nierzadko nastawionych na dziedzictwo narodowe i kulturowe. Nie rzuciliśmy się konformistycznie w objęcia podejrzanych baz danych, zaś nasze liczne publikacje w językach kongresowych były immanentnie powiązane z rozwojem naukowym placówki i zakorzenioną w nim tradycją współpracy międzynarodowej. Postępowaliśmy zgodnie ze staroświeckim przekonaniem, że niezależnie od zmiennych mód, jakość się obroni – pisze prof. Grzegorz Marzec, dyrektor Instytutu badań Literackich Polskiej Akademii Nauk.
Zachęcony interesującym wywiadem z ministrą Karoliną Zioło-Pużuk w „Forum Akademickim” (nr 2/2025), pozwalam sobie dorzucić trzy grosze do dyskusji o ewaluacji – od strony, która nie była dotąd przedmiotem debaty głównego nurtu.
Zgodnie z § 28 rozporządzenia w sprawie ewaluacji jakości działalności naukowej, kategorię A+ przyznaje się w wyniku dodatkowej oceny eksperckiej. By zostać do niej dopuszczonym, trzeba spełnić łącznie dwa warunki: (1) działalność podmiotu w danej dyscyplinie została zaliczona do kat. A oraz (2) podmiot uzyskał w pierwszym kryterium ewaluacji ocenę o wartości nie niższej niż próg procentowy ustalony przez Komisję Ewaluacji Nauki w stosunku do najwyższej oceny w danej dyscyplinie.
O ile warunek pierwszy jest zrozumiały (kat. A+ mogą uzyskać wyłącznie dyscypliny z kat. A), o tyle drugi to esencja parametrozy i punktozy. Ujmując rzecz skrótowo: w danej dyscyplinie, w przeliczeniu na 1 N, najwyżej notowany podmiot uzyskuje w K1 określoną liczbę punktów. Podmiot ten, o ile uzyskał kat. A, może być poddany ocenie eksperckiej uprawniającej do uzyskania A+. Ale i inne podmioty mają szansę przejść podobną procedurę, o ile mają kat. A oraz osiągną lub przekroczą próg procentowy ustalony przez KEN, liczony od wyniku tego najwyżej notowanego podmiotu; próg ten nie może być niższy niż 80%. Wszystkie progi w ramach poszczególnych dyscyplin wyznacza KEN „na podstawie wskaźników bibliometrycznych w międzynarodowych bazach o największym zasięgu, w ten sposób, że wyższa pozycja w bazie skutkuje niższą wartością progu procentowego” (§ 28 ust. 3).
Jedną z praktycznych, a jednocześnie dość osobliwych konsekwencji tego rozwiązania może być sytuacja, w jakiej podmiot z najwyższą punktacją w K1, ale ze względu na wyniki w K2 i K3 bez szans na plusa, blokuje możliwość uzyskania tej kategorii podmiotom, które w całościowej ocenie wypadają lepiej, mianowicie gdy nie pokonają one w K1 progu wyznaczonego przez KEN. Wedle mojej wiedzy takie przypadki się zdarzały i nie były jednostkowe.
Szczegółowe warunki określenia progów procentowych rozporządzenie pozostawia w wyłącznej gestii Komisji Ewaluacji Nauki. Znamy dwie jej uchwały, które pozwalają, w połączeniu z ogólnie dostępnymi wypowiedziami przedstawicieli Komisji, zrekonstruować procedurę, jaką zastosowano w minionej ewaluacji: uchwałę nr 15/2022 z 27 kwietnia 2022 r. oraz nr 17/2022 z 9 maja 2022 r. W pierwszej kolejności – a trzeba przyznać, że ten język daje wiele do myślenia – Komisja „przystąpiła do określenia pozycji nauki polskiej w skali międzynarodowej w poszczególnych dyscyplinach naukowych i artystycznych”. Zadanie niełatwe i wypada się cieszyć, że udało się to raz na zawsze i bezdyskusyjnie ustalić. Ponieważ jednak rozporządzenie ministerialne nakazuje, by poczynić to ustalenie na podstawie „międzynarodowych baz o największym zasięgu”, zdecydowano – co znamienne: tym razem w liczbie pojedynczej – o wyborze bazy Scimago Journal and Country Rank (SJR), która co do zasady raportuje dane ze Scopus. Jak później tłumaczono, wybór padł na SJR ze względu na jej powszechną dostępność, otwartość i możliwość samodzielnej weryfikacji danych.
Tu pojawiła się jednak zawiłość następująca: oto ewaluacja odbywa się w dyscyplinach naukowych i artystycznych (wskazanych, obecnie zmienionym, rozporządzeniem ministra „w sprawie dziedzin nauki i dyscyplin naukowych i artystycznych” z 20 września 2018 r.), natomiast baza SJR, za co raczej nie można jej winić, za nic ma wymogi naszej ewaluacji i podział na dyscypliny, który wynika z rozporządzenia. Jakby tego było mało, SJR nie posługuje się w ogóle pojęciem „dyscypliny”, grupując rekordy w dwóch zupełnie innych klasach – bardziej ogólnej Subject area (SA) i bardziej szczegółowej Subject category (SC).
Ponieważ nijak nie pasuje to do specyfiki ewaluacji, szczególnie wobec faktu, że niektóre dyscypliny w ogóle nie mają swoich odpowiedników w SJR, KEN uznała, iż należy wprowadzić podział na „dyscypliny” i „subdyscypliny”, utożsamić je z SA i SC, a następnie pozycję jakiejś grupy dyscyplin określić na podstawie subdyscyplin. Jak informowano, wyodrębniono blisko 200 subdyscyplin; dla porównania rozporządzenie uwzględnia zaledwie 47 dyscyplin naukowych i artystycznych w 8 dziedzinach nauki i sztuki. Tak czy inaczej, poniższa wypowiedź prof. Zbigniewa Kąkola, członka KEN, opublikowana w „Forum Akademickim” (5/2022), niezbicie dowodzi, że dokonano tu pewnego arbitralnego utożsamienia semantycznego, które następnie uznano za zgodne z porządkiem ewaluacji i prawnie wiążące: „W bazie Scimago dane są przedstawiane według dyscyplin (Subject areas) i subdyscyplin (Subject categories) wchodzących w skład dyscyplin”.
Szczególnie istotny wydaje się fakt, że zasadniczy porządek prawny, na którym opiera się ewaluacja, nie przewiduje w ogóle czegoś takiego jak „subdyscypliny”. Nie ma tego pojęcia ani w ustawie, ani w żadnym rozporządzeniu wykonawczym; jak królik z kapelusza wyskakuje dopiero w uchwałach KEN.
Diabeł tkwi w szczegółach
Nie wykluczam, że są dyscypliny, szczególnie z zakresu nauk ścisłych, eksperymentalnych i technicznych, w których to utożsamienie z SA czy SC jest pełne lub w miarę pełne, choć podpowiada mi intuicja, że w każdym przypadku są to raczej dość grube przybliżenia.
Podam przykład. Mój Instytut Badań Literackich PAN był ewaluowany w dyscyplinie „literaturoznawstwo”, ale nie ma w SJR nic takiego, co bezpośrednio tej dyscyplinie mogłoby odpowiadać: wśród SA są bardzo ogólne Arts and Humanities, podczas gdy wśród SC takie, które wydają się zbyt wąskie (np. Literature and Literary Theory; Arts and Humanities (miscellaneous); Classics), i nie ma nawet pewności, które z nich zostały przyjęte jako należące do literaturoznawstwa. Jeśli zaś w ramach SA wybierzemy Social Sciences, to odkryjemy, że są tam również SC częściowo obejmujące literaturoznawstwo, np. Cultural Studies oraz Linguistics and Language. Potwierdzeniem jest fakt, że w tych rzekomych „subdyscyplinach” odnotowane są czasopisma dobrze literaturoznawcom znane.
Zachodzi tu jeszcze okoliczność inna, którą mimo jej wagi jedynie sygnalizuję: mianowicie SJR nie raportuje monografii, które w literaturoznawstwie nadal uchodzą za główny kanał komunikacji naukowej; ustalanie pozycji tej dyscypliny bez uwzględnienia monografii wydaje się przedsięwzięciem cokolwiek karkołomnym.
Najciekawsze bodaj rzeczy dzieją się tymczasem pod powierzchnią, wewnątrz poszczególnych SA i SC. Raz jeszcze zawierzam intuicji, która mówi mi, że literaturoznawstwo, dyscyplina z dziedziny nauk humanistycznych, musi uwzględniać podkategorię Literatura i teoria literatury, jakkolwiek dla każdego literaturoznawcy jest oczywiste, że ograniczenie literaturoznawstwa do tych wyłącznie aspektów jest dalece niewystarczające. Dla celów analizy wybrałem rok 2021, tj. ostatni rok minionej ewaluacji. W związku z faktem, że dane zawarte w SJR obejmują niekiedy ponad 1000 pozycji dla poszczególnych SA i SC, przeanalizowałem pierwszą pięćdziesiątkę czasopism w zakresie rzeczonej podkategorii.
Wykres nr 1 pokazuje, że w pierwszej pięćdziesiątce najwyżej notowanych periodyków istnieje znacząca liczba (20) tych, które według ministerialnego wykazu nie są rozpoznawane jako reprezentujące dyscyplinę „literaturoznawstwo”, a niekiedy wręcz nie należą w ogóle do dziedziny nauk humanistycznych (3 z 20); należy dodać, że jedno z tych czasopism nie jest też odnotowane w ministerialnym wykazie.
Innymi słowy, gdyby tę pięćdziesiątkę uznać za próbę w miarę reprezentatywną, to należałoby dojść do wniosku, że wykaz w SJR zawiera 40% czasopism nieliteraturoznawczych, a niekiedy nawet spoza dziedziny nauk humanistycznych, które jednak zostały użyte przez KEN do ustalenia pozycji dyscypliny „literaturoznawstwo”.
Należy też zauważyć, że aż 7 czasopism nieliteraturoznawczych jest w pierwszej piętnastce zestawienia, a zatem wśród czasopism uznawanych przez SJR/Scopus za najbardziej wpływowe. Dość powiedzieć, że na pierwszym miejscu znajduje się „Criminology and Public Policy”, które według rozporządzenia wychodzi swoją tematyką nawet poza dziedzinę nauk humanistycznych. Użytkownicy SJR już kilka lat temu zgłaszali błąd w przypisaniu czasopisma do Literature and Literary Theory; zamieszczona na stronie odpowiedź SJR głosi, że wszystkie metadane, w tym kategoria, są dostarczane przez Scopus/Elsevier, który jest ich wyłącznym właścicielem i Scimago nie ma uprawnień do ich korygowania.
Zwracam ponadto uwagę na fakt, że aż 24 spośród tych czasopism, a zatem niemal 50%, ma w ministerialnym wykazie 2021 punktację niższą niż najlepsze polskie czasopisma literaturoznawcze, w tym wydawane przez IBL „Teksty Drugie” i „Pamiętnik Literacki” (oba mają po 100 pkt i są obecne w Scopus), które ze względu na swój polonistyczny charakter nie zawsze są w sposób regularny raportowane w bazie, ale przez KEN i ministra słusznie zostały uznane za pisma bardziej renomowane. Nie jest jasne, dlaczego badanie doniosłości dyscypliny miałoby się dokonać bez ich udziału.
Należy podkreślić, że podobne statystyki SJR odnotowuje dla innych lat ewaluacji, a także dla lat późniejszych, np. w roku 2022, pośród 50 najwyżej notowanych czasopism 18 nie reprezentuje dyscypliny literaturoznawstwo, z czego w pierwszej dwunastce jest aż 8 czasopism spoza tej dyscypliny, w tym na pozycjach 1 i 2.
Wykres nr 2 przedstawia SA Arts and Humanities, ale bez określania jakiejkolwiek konkretnej SC. Jak widać, aż 15 z 50, tj. 30% najwyżej notowanych czasopism rzekomo humanistycznych nie jest rozpoznawanych w wykazie ministerialnym jako powiązane z jakąkolwiek dyscypliną należącą do dziedziny nauk humanistycznych. Dla porównania, w 2022 r. tych czasopism jest już 17, w tym jedno spoza ministerialnego wykazu. Gdy natomiast zawęzimy poszukiwania i wprowadzimy SC Arts and Humanities (miscellaneous), wyniki będą jak na wykresie 3.
W tym przypadku 22 tytuły (44%) nie są powiązane z żadną dyscypliną z dziedziny nauk humanistycznych, a jednocześnie wśród 28 czasopism, które ten związek wykazują, jest aż 10, w których opiera się on na 1 tylko dyscyplinie, mimo że do czasopisma jest niekiedy przypisanych 4-5 dyscyplin. Przykładowo, czasopismo znajdujące się na czele listy zostało w ministerialnym wykazie powiązane z dyscyplinami „nauki o kulturze i religii”, „nauki o polityce i administracji”, „nauki o zarządzaniu i jakości” oraz „nauki socjologiczne” – tylko pierwsza z nich należy do dziedziny nauk humanistycznych, a pozostałe trzy do dziedziny nauk społecznych. Powiedzmy, że nie ma tu jeszcze znacznej rozbieżności, skoro nauki humanistyczno-społeczne często występują łącznie. Kiedy jednak weźmiemy pod uwagę, że są tutaj liczne tytuły z dziedziny nauk ścisłych i przyrodniczych (m.in. nauki biologiczne, matematyka, nauki o Ziemi i środowisku), z dziedziny nauk inżynieryjno-technicznych (m.in. architektura i urbanistyka, automatyka, elektronika i elektrotechnika, informatyka techniczna i telekomunikacja, inżynieria biomedyczna, inżynieria lądowa, geodezja i transport), z dziedziny nauk medycznych i nauk o zdrowiu (m.in. nauki o zdrowiu, nauki farmaceutyczne, nauki medyczne), z dziedziny nauk rolniczych (rolnictwo i ogrodnictwo) to każdemu powinna zapalić się czerwona lampka.
Jestem gorącym orędownikiem interdyscyplinarności. Jej wyrazem jest choćby to, że w IBL powstają prace wchodzące na terytoria takie, jak językoznawstwo, historia, nauki o sztuce i historia sztuki, filozofia, wiedza o kulturze i mediach, a także, głównie ze względu na działalność Centrum Humanistyki Cyfrowej, odnotowujemy recenzowane materiały w konferencjach informatycznych za 200 pkt. Ewaluacja ma wszakże swoje rygory, których jawnym zaprzeczeniem jest sposób, w jaki KEN określiła „pozycję nauki polskiej w skali międzynarodowej w poszczególnych dyscyplinach naukowych i artystycznych”.
Postulaty i rekomendacje
Rozporządzenie z 2019 r. postawiło przed Komisją zadanie niewykonalne, z którym wszelako KEN, zamiast powiadomić ministerstwo o niewykonalności zadania oraz konieczności zmiany rozporządzenia, postanowiła się brawurowo zmierzyć i zrobiła to… w sposób wyżej opisany. W sytuacji, w jakiej nawet drobne fluktuacje punktowe mogą decydować o wyniku ewaluacji, oparcie całej procedury na tak wątpliwych podstawach musi budzić najwyższe zdumienie. Jednocześnie, wobec toczącej się żywo dyskusji na temat praktyk publikacyjnych, drapieżnych czasopism, paper mills, fałszowania wskaźników cytowań i wpływu te podstawy wydają się już całkiem skompromitowane. Ktoś bardziej ode mnie zgryźliwy mógłby powiedzieć, że przecież kryterium dostępności i wygody spełniają też czasopisma innych wydawców, np. czteroliterowe.
Jako że pani ministra Karolina Zioło-Pużuk informuje, że przewidywane są jeszcze w tym roku jakieś zmiany w rozporządzeniu, ośmielam się w związku z tym postulować:
Co istotne, modyfikacja wyżej wymienionych przepisów nie może być traktowana jako „zmiana reguł w trakcie gry”, nie będzie zatem zmianą rewolucyjną, a takich zmian, jak wynika z wywiadu w FA, ministerstwo chce uniknąć. Proponowane regulacje nie wpłyną bowiem na wyniki podmiotodyscyplin, a jedynie na nowo określą warunki wyłaniania tych z kategorią najwyższą.
To wszystko nie zmienia mojej oceny, że w szerszej perspektywie wyniki ewaluacji za lata 2022–25, podobnie jak poprzedniej, nie będą traktowane jako zbyt wiarygodne. Pozostaje mi apelować o poważną reformę tego systemu przynajmniej w odniesieniu do nauk humanistycznych. Szczęściem mój instytut podchodził do obecnych zasad z dużą rezerwą i ostrożnością. Nie zmienialiśmy pod dyktando ewaluacji swoich planów badawczych i publikacyjnych, nierzadko nastawionych na dziedzictwo narodowe i kulturowe. Nie rzuciliśmy się konformistycznie w objęcia podejrzanych baz danych, zaś nasze liczne publikacje w językach kongresowych były immanentnie powiązane z rozwojem naukowym placówki i zakorzenioną w nim tradycją współpracy międzynarodowej.
Postępowaliśmy zgodnie ze staroświeckim przekonaniem, że niezależnie od zmiennych mód, jakość się obroni.
Grzegorz Marzec
Tekst powstał przed opublikowaniem projektu rozporządzenia dotyczącego ewaluacji jakości działalności naukowej, zawierającego jedno z proponowanych przez autora rozwiązań.
W nawiązaniu do tytułu, polecam ŚWIETNY skecz pt. "Szachy personalne" z legendarnego kabaretu "Pod Egidą", czyli pojedynek: Fronczewski-Pietrzak. :=) Ten skecz w większości (jeśli nie cały), jest nadal aktualny. :=[