Czy, zamiast oceniać zdolność do publikowania, nie lepiej byłoby oceniać efekty publikacji, czyli ilość cytowań prac danej jednostki opublikowanych w ocenianym okresie? – zastanawia się nad korektą systemu ewaluacji prof. dr hab. Grzegorz Bartosz z Instytutu Technologii Żywności i Żywienia Uniwersytetu Rzeszowskiego.
Ewaluacja działalności naukowej to kwestia, która od kilku lat spędza sen z powiek najpierw ekspertom wypracowującym optymalne zasady takiej ewaluacji, a następnie dyrektorom instytutów, dziekanom i rektorom żywo zainteresowanym maksymalizacją tradycyjnie już skromnego finansowania ich wydziałów, uczelni i instytutów przez ministerstwo.
Obowiązujący system ewaluacji niewątpliwie przyniósł wiele pozytywnych efektów. Wymusił bardziej zdecydowaną politykę kadrową wobec pracowników mało aktywnych naukowo. Przypisanie „ministerialnych” punktów czasopismom naukowym i wymuszona kryteriami ewaluacji presja na publikowanie w najlepiej punktowanych czasopismach skłoniły badaczy ze wszystkich ośrodków do lepszego pisania publikacji (niekiedy nie bez udziału wyspecjalizowanych w takiej działalności firm zewnętrznych) i publikowania w lepiej punktowanych czasopismach naukowych. Włączenie do kryteriów oceny praktycznych zastosowań badań, patentów i wpływu działalności jednostki na funkcjonowanie społeczeństwa i gospodarki, jakkolwiek kłopotliwe dla wielu badaczy uprawiających „czystą” naukę, wymusza konieczność uwzględnienia translacji wyników badań na praktykę, co zawsze winno być ważnym aspektem funkcjonowania nauki.
Mankamenty systemu
Czy można coś zasadniczo nowego wnieść do tego tematu, któremu kompetentne grona eksperckie poświęciły tyle uwagi i pracy? Nasuwa się odpowiedź negatywna, ale mimo wszystko także kilka uwag i propozycji. Dotyczą one głównie nauk przyrodniczych, o funkcjonowaniu których mam niejakie pojęcie.
Czy ewaluacja musi mieć w odniesieniu do najważniejszego, pierwszego kryterium (oceny poziomu naukowego prowadzonej działalności naukowej) charakter ilościowy, oparty na sumowaniu punktów? Obawiam się, że nie ma odwrotu od takiego rozwiązania. Można dyskutować, czy ewaluacja ekspercka dorobku naukowego instytucji naukowych nie byłaby bardziej miarodajna. Mam ogromne uznanie dla systemu oceny instytutów PAN przez Radę Kuratorów (przynajmniej w trybie znanym mi z Wydziału II PAN), który wprawdzie nie dotyczy przyznawania funduszy, ale obejmuje kompleksową ocenę działalności instytutów. Uwzględnia ona główne osiągnięcia badawcze, sytuację kadrową, lokalową i aparaturową, stopień umiędzynarodowienia i plany działalności. Na podstawie takiej oceny komisja formułuje zalecenia w moim przekonaniu dobrze służące rozwojowi instytutów, których wykonanie jest oceniane po czterech latach, a w skrajnych przypadkach zaleca wręcz likwidację instytutu czy połączenie go z innym. Taka pogłębiona ocena przydałaby się każdej instytucji, jeśli przedmiotem troski miałby być racjonalny rozwój działalności naukowej we wszystkich polskich ośrodkach. Zebranie gron ekspertów na tyle obiektywnych i mądrych, by taką wnikliwą ocenę przeprowadzić, byłoby jednak trudne i zajęłoby długie miesiące najlepszym naukowcom, którzy (właśnie oni) powinni raczej zajmować się intensywną działalnością naukową niż oceniającą. Pozostaje zatem porównywanie punktów – tylko jakich?
Warto jednak zwrócić uwagę na mankamenty obecnego systemu ewaluacji, bo żaden system nie jest idealny i każdy można udoskonalić. Polepszenie jakości pisania i publikacji prac (których ograniczona liczba podlega ewaluacji) doprowadziło do osłabienia kryterium roli dyskryminacyjnej kryterium punktowego, gdyż w większości ewaluowanych jednostek lista ewaluowanych publikacji kończy się na poziomie 100–140 punktów ministerialnych. Punktacja czasopism jest spłaszczona. Najlepsze czasopisma, takie jak np. „Science”, „Nature” czy „Cell”, mają 200 punktów, a taką samą, najwyższą wycenę punktową, mają czasopisma o niewątpliwie niższej randze i niższych wymaganiach. Taka punktowa ocena publikacji nie skłania do włożenia (dużo) większego wysiłku badawczego w przygotowanie publikacji, które mogłyby przebić się do czasopism naprawdę wybitnych. Można więc powiedzieć, że publikacyjnie równamy raczej do górnej części półki czasopism średnich niż do czasopism z najwyższej półki.
Obowiązujący system nie rozróżnia oryginalnych artykułów doświadczalnych od artykułów przeglądowych. To nie jest słuszne, jeśli celem ewaluacji jest ocena badań prowadzonych w jednostce, a nie zdolności pisania artykułów przez jej pracowników. Nie można negować przydatności artykułów przeglądowych, ale to działalność wtórna, a celem ewaluacji winna być ocena oryginalnego wkładu badań jednostki w rozwój nauki.
Honorowanie pełną punktacją współautorstwa dobrze punktowanego artykułu powstałego w wyniku współpracy między różnymi ośrodkami promuje współpracę między różnymi ośrodkami. To słuszna zachęta, ale czy w jakiś sposób nie należałoby wyżej punktować publikacji, w których oceniany ośrodek pełni rolę wiodącą (inicjującą i koordynującą badania) lub też współwiodącą, w stosunku do publikacji, w których pracownik danego ośrodka jest tylko jednym z wielu uczestników badania kierowanego przez inną instytucję?
Oceniać oryginalne
Moja główna propozycja dotyczy jednak innej kwestii. Czy, zamiast oceniać zdolność do publikowania, nie lepiej byłoby oceniać efekty publikacji, czyli ilość cytowań prac danej jednostki opublikowanych w ocenianym okresie? To uniezależniłoby ocenę od mniej czy bardziej arbitralnej punktacji czasopism i jej administracyjnych zmian i byłoby bardziej miarodajne, odzwierciedlając raczej oddźwięk środowiska naukowego na publikacje niż umiejętność „sprzedania” wyników redakcjom czasopism (co oczywiście samo w sobie też jest cenne, ale mniej cenne niż wartość prac mierzona ich cytowalnością). Proponowałbym wyłączenie prac przeglądowych z takiego indeksu cytowań, by oceniać rolę jedynie prac oryginalnych. Można mieć obiekcję, że cytowanie prac nie jest natychmiastowe (w przeciwieństwie do listy prac opublikowanych), nic nie stoi jednak na przeszkodzie uwzględnieniu cytowań prac opublikowanych w okresie przesuniętym w stosunku do ocenianego okresu o rok czy dwa lata. Moim zdaniem optymalne byłoby kryterium cytowalności prac opublikowanych w (nieco antydatowanym) okresie kategoryzacji, bo oceniałoby w miarę bieżącą działalność badawczą jednostki (cytowalność wszystkich prac jednostki stawiałaby na przegranej pozycji jednostki o krótszej historii wartościowych badań, a chodzi przecież o ocenę badań prowadzonych ostatnio).
Czy warto w ogóle roztrząsać jeszcze problem kryteriów ewaluacji? Wiadomo, że gdzie dwóch Polaków, tam co najmniej trzy różne opinie. Zawsze warto jednak przed podjęciem jakiejkolwiek decyzji rozważyć jak największą liczbę opcji.
Grzegorz Bartosz
Nic nie stoi na przeszkodzie, aby uczelnie stawały się lepsze poprzez realizację zaleceń formułowanych w sposób zbliżony do Rady Kuratorów PAN. W takim przypadku można zlecać wykonanie analizy potencjału i przygotowanie listy szeroko zakrojonych i rozumianych zaleceń/rekomendacji oraz poznać perspektywę czasową osiągnięcia celów.
Nazywa się to audyt zewnętrzy i pomaga w zarządzaniu jakością. Cieszę się, że mogłem pomóc.
Brawo. Zgadzam się. Od dawna uważam, że obecny system jest niesprawiedliwy i zmusza nas naukowców do uprawiania polityki publikacyjnej: liczenia punktów, dobierania współautorów, pracy na ilość i czas. Takie podejście nie służy jakości nauki. Wręcz przeciwnie. Jeśli tekst jest potrzebny i dobry, to będzie cytowany. Natomiast nie rozróżniałabym treści artykułów. Praca to praca.
Zgadzam się ze stwierdzeniem: Praca to praca. Publikuję wyniki swoich badań w bardzo lokalnym roczniku. Kocham regionalistykę i realizuję się w niej. Niestety, moje publikacje nie przynoszą ŻADNYCH punktów. Czy to znaczy, że moja ciężka praca w archiwach, "odcyfrowywanie" gotyckich tekstów, tłumaczenie z niemieckiego na polski są nic nie warte naukowo??? Moim zdaniem punktoza jest wrzodem na organizmie nauki...
Nauka opiera sie na budowniu wiedzy. Nie mozna budowac wiedzy, jesli brakuje etapu komunikaji wynikow swojej pracy z innymi naukowcami, i wymiany informacji. Zyby zapewnic ta komunikacje, nalezy publikowac. Srodowisko naukowe oceni, czy Panskie " "odcyfrowywanie" gotyckich tekstów, tłumaczenie z niemieckiego na polski" sa cos warte naukowo, ale najpierw musi Pan o tym srodowisko naukowe poinformowac.
Jak widze nie tylko minister nauki nie wie, jak dziala nauka.
Autor myli dwa podstawowe pojęcia: oryginalność artykułu i jego nowatorstwo. Oryginalność odnosi się do tego, czy praca lub twórczość jest unikalna i nie jest kopią lub plagiatem innych prac. Oryginalność oznacza, że praca została stworzona przez autora od podstaw, bez wykorzystywania cudzych pomysłów, tekstów lub dzieł jako źródła bez odpowiedniego cytowania. W tym sensie artykuł przeglądowy – o ile ma odpowiednie przypisy – nie jest wtórny i jest tak samo oryginalny, jak artykuł doświadczalny.
Nowatorstwo odnosi się do stopnia, w jakim praca lub twórczość wprowadza coś nowego lub innowacyjnego. Nowatorstwo jest związane z tworzeniem czegoś, czego wcześniej nie było lub czegoś, co wnosi istotną zmianę lub udoskonalenie w istniejących rozwiązaniach. Nowatorstwo może przejawiać się w różnych formach, takich jak nowe pomysły, technologie, podejścia lub style, które przyczyniają się do rozwoju danej dziedziny.
Obecny trend do odchodzenia od oceny poprzez IF pisma, w ktorym sie publikuje jest jak najbardziej sluszny. Ale ta tendencja dziala dobrze tam, gdzie nauka jest na pewnym poziomie. Nauka polska nie dojrzala jeszcze wystarczajaco. Na obecnym etapie, w Polsce ocenianie poprzez porownywanie wartosci IF (ktore powinny zastapic puntky ministerialne, obecnie nie odzwierciedlajace kompletnie niczego) wydaje sie byc najlepsza opcja. Tylko wtedy praca tych, ktorzy publikuja swietne prace bedzie doceniona. Skala IFs rozciaga sie od wartosci ponizej 1 do przynajmniej kilkudziesieciu (Nature ma 65), i to daje spektrum, ktore pozwoli dobrze zroznicowac i porownac trendy publikacyjne danych osrodkow naukowych.
Jesli ocenie ma podlegac postep naukowy, ktorego publikacje sa odzwierciedleniem (do pewnego stopnia), prace przegladowe NIE powinny byc oceniane. Zas ocenie powinni podlegac wszyscy naukowcy z danego osrodka, a nie wybrancy.
I jeszcze jedna sprawa: Impact Factors powinny byc oceniane biorac pod uwage konkretna dyscypline naukowa. IFs pism w dziedzinie historii sa o rzedy wielkosci nizsze, nic w biologii molekularnej; to oczywiscie powinno byc brane pod uwage.
Dlaczego zależy umniejszać rolę prac typu review? Obecnie DOBRE review to już nie jest "ping pong" typu: X et. al. wykazał to, a Y stwierdził tamto. Powiedzmy sobie szczerze, żeby napisać DOBRE review potrzeba to umieć zrobić. Nie każdy badacz do tego się obecnie nadaje i... zresztą zdaje sobie z tego sprawę, więc i tak prace oryginalne traktuje jako swoje jedyne pole naukowe a tworzenia review unika (choć bardzo chętnie z nich korzysta!). Oczywiście mam na myśli dyscypliny niehumanistyczne. Napisanie obecnie DOBREGO review jest tym trudniejsze, że trzeba odnaleźć się w dużym gąszczu źródeł, publikacji itp. i przeprowadzić dogłębną analizę problemu. Zaznaczam, że mam na myśli tylko prace przeglądowe w czasopismach z IF.
Dlatego, ze artykuly przegladowe nie odzwierceidlaja postepu naukowego, ktory jest tutaj oceniany. Nie podlega ocenie sama zdolnosc publikowania, tylko - jak pisze slusznie Autor - "celem ewaluacji jest ocena badań prowadzonych w jednostce".
W ten sposób popierani będą cwaniacy pracujący w hurtowniach cytowań - panowie wzajemnie siebie cytują handlując cytowaniami.
He, śróddzidzie śróddzidza zadzidzia przeddzidzia. Nie jest źle.
Pewnie 50:50 - punkty I cytowania (tylko którego systemu) może plus jakiś prywatnej firmy IF. To razem trzy techniki pomiaru. Lepiej niż jedna, bo wtedy można łatwo "optymalizować" wyniki. Pożyjemy, zobaczymy, może emerytura nas chwyci? Tylko ilu wytrzyma w utrzymaniu światowego kierunku badań i nie ulegnie presji mody tematykę (z COVID niejeden z med. zrobił prof). A umieramy na trywialny zawał.
Proponowane rozwiązanie zawiera wiele problemów, które nie zostały omówione. Mianowicie, praca opublikowana w bardziej popularnym czasopiśmie będzie częściej cytowana. Ponadto, praca na temat np. onkologii, będzie zawsze bardziej cytowana niż praca o np. ewolucji bezkręgowców. Jedynym rozwiązaniem na uczciwą ewaluację byłoby utworzenie wskaźnika uwzględniającego sumaryczną ilość Impact Factor publikacji z danego okresu, z uwzględnieniem dodatkowych punktów za prestiż czasopisma. Łatwiej jest opublikować 3 prace po 5 IF niż jedną za 15). Niestety brakuje przede wszystkim motywacji dla naukowców - głównie pieniężnych - aby opublikować jedną pracę prestiżową, aktualnie niestety korzystniej jest opublikować kilka mniej wartościowych prac - wyjdzie nawet punktowo lepiej...
Z niektórych dyscyplin, np. Automatyka Elektronika... publikacje bardzo często są wykorzystywane przez przemysł a przemysł nie cytuje. I teraz pytanie, czy wazniejsza jest publikacja mająca 5 cytatów i 0 wdrożenia, czy może 0 cytatów i wdrożenie w 10 produktach w 3 firmach?
Ocena ekspercka? To są jakieś żarty? Obliczyć sumę punktów publikacji oraz cytowania to może licealista a nie profesor. Nie róbcie jaj. W Polsce nigdy nie będzie profesjonalnej oceny działalności naukowej.
Taki system stawiałby na równi cytowanie badań w "Gościu Niedzielnym" z cytowaniem w "Nature". Łatwo sprawdzić jakie prace trafiaja do bibliografii w jednym, a jakie w drugim periodyku i jakie mają znaczenie w nauce. Ta propozycja to kuriozum i celowa dewaluacja wiodących ośrodków badawczych.
To byłby straszny pomysł, chociażby ze względu na sytuację w której wysokiej jakości badania nad choroba rzadka, która z założenia będzie miała mniejsza ilość cytowań nagle okażą się być "nisko punktowane" w porównaniu do prac niskiej jakości, a prezentującej populistyczny temat. Powinno się po raczej poprawić jakość punktacji ministerialnej i zgrać ja z IF czasopism
Są zagadnienia w dyscyplinie popularne i mniej popularne. Ocena cytowań - wg mnie przekreśla rozwój badań w niszowych obszarach, w obrębie dyscypliny.
Całkowicie się zgadzam. Cytowania pokazują tylko i wyłącznie jaki temat wśród naukowców jest modny. Dodatkowo wiele nauki się rozwija w ciszy laboratorium bez publikacji żadnej.
Z liczbą cytowań jest taki problem, że są pisma, w których można w zasadzie wykupić publikację. Można w ten sposób puścić tekst, którego jakość nie musi być dobra. I teraz: inni badacze czytają taki tekst, mają wobec niego uwagi, odnoszą się do tego tekstu w swoich pracach i w ten sposób podnoszą cytowalność słabej pracy. To też jest pewna pułapka. Ocena powinna chyba jednak dotyczyć przede wszystkim merytorycznej wartości publikacji. Często zdarza się, że bardzo ciekawe teksty ukazują się w mniej znanych periodykach, ponieważ czołowe tytuły są zapchane na lata, a presja jest taka, że trzeba publikować. Natomiast najgorsze rozwiązanie to faktycznie ocena na podstawie ministerialnych fanaberii i listy czasopism punktowanych.
W przypadku nauk humanistycznych to "przesunięcie" musiałoby wynosić minimum 5 do 10 lat. Gdy weźmiemy pod uwagę tylko okres ewaluacyjny (4 lata), to otrzymamy dane o pojedynczych cytowaniach, co nie pozwoli na rzetelną ewaluację.