Jak powinien wyglądać system oceny jakości działalności naukowej? Odpowiedzi na to pytanie poszukamy wraz z gośćmi wtorkowej debaty o ewaluacji. Wydarzenie organizują „Forum Akademickie” i Polska Akademia Nauk.
Zgodnie z ustawą Prawo o szkolnictwie wyższym i nauce, co cztery lata przeprowadzana jest ewaluacja dyscyplin uprawianych w danej instytucji: uczelni, instytucie PAN bądź międzynarodowym instytucie naukowym, instytucie badawczym czy innej jednostce prowadzącej działalność naukową (o ile zatrudnia na koniec okresu oceny co najmniej 12 pracowników naukowych w dyscyplinie). Ocenie poddawane są indywidualne osiągnięcia, które stanowią podstawę przyznania podmiotowi w danej dyscyplinie jednej z kategorii: A+, A, B+, B i C. Od tego zależy wielkość subwencji, a także uprawnienia do nadawania stopni i tytułów naukowych czy możliwość udziału przedstawicieli instytucji w niektórych organach otoczenia nauki. Po ostatniej (zakończonej w 2021 roku) ewaluacji mamy 119 dyscyplin kategorii A+ (10,5%), 418 dyscyplin kategorii A (36,9%), 526 dyscyplin kategorii B+ (46,4%), 47 dyscyplin kategorii B (4,1%) i 23 dyscypliny kategorii C (2%).
Środowisko akademickie zdecydowanie negatywnie ocenia ewaluację okresu 2017–21, mimo że była przygotowana i przeprowadzona przez samych naukowców – zarówno Komisja Ewaluacji Nauki, jak i zespoły dyscyplinowe ds. oceny czasopism oraz ponad ośmiuset ekspertów to naukowcy. Nie zróżnicowała ona podmiotów nauki, mieliśmy do czynienia z manipulacjami liczbą N (ocenianych pracowników), poddawaniem ocenie kłopotliwych z etycznego punktu widzenia publikacji (a jednak dobrze punktowanych), no i wreszcie z bardzo dużym wpływem ewaluacji na jednostki naukowe (na ich finanse, uprawnienia akademickie, możliwość udziału przedstawicieli w różnych gremiach) – wylicza Piotr Kieraciński, redaktor naczelny „Forum Akademickiego”.
Zasady kolejnej oceny miała przygotować nowa już Komisja Ewaluacji Nauki. Jednak wyniki jej pracy nie zostały wzięte pod uwagę przez ministerstwo i nie zostały zaakceptowane przez środowisko. Podobnie jak nowy system oceny i punktacji czasopism, oparty na grupach kwartylowych i decylowych ze względu na cytowalność. Tymczasem jesteśmy w ostatnim roku okresu oceny i wciąż nie wiadomo, jak będzie wyglądała ewaluacja za lata 2022–25.
Środowisko czeka na decyzję ministerstwa. Pojawiła się też propozycja, aby nie przeprowadzać w ogóle ewaluacji (co wymagałoby zmiany ustawy Prawo o szkolnictwie wyższym i nauce), bądź też przeprowadzić według dotychczasowych zasad, ale nie wyciągać negatywnych konsekwencji oceny – żaden podmiot nie dostałby kategorii niższej niż w wyniku poprzedniej oceny, za to może dostać wyższą. W związku z całym mnóstwem wątpliwości dotyczących oceny działalności naukowej postanowiliśmy zorganizować debatę na ten temat – tłumaczy red. Piotr Kieraciński.
Osobną kwestią pozostaje następny okres rozliczeniowy, rozpoczynający się już za niecałe 10 miesięcy. Jakie kryterium przyjąć: ocenę ekspercką, liczbę publikacji, a może ich wpływ? Oceniać jednostki czy dyscypliny? Co uwzględniać, a co bezwzględnie porzucić przy ocenie? Jak ułożyć na nowo listę czasopism i ich punktację? Czy utrzymać czteroletni cykl ewaluacji? Wreszcie, na co powinny oddziaływać jej wyniki? Pytań jest bez liku, odpowiedzi na razie niewiele.
Spróbujemy ich poszukać wspólnie z gośćmi wtorkowej debaty online. Do udziału w niej zaprosiliśmy:
W trakcie debaty przeprowadzimy ankietę: „Czy ewaluację okresu 2022–25 należy przeprowadzić na obecnych zasadach?”.
Debata odbędzie się we wtorek, 11 marca, początek o godzinie 18:00. Poprowadzą ją: prof. Dariusz Jemielniak – wiceprezes Polskiej Akademii Nauk i red. Piotr Kieraciński – redaktor naczelny „Forum Akademickiego”. Transmisja na kanale YouTube, na Facebooku i na LinkedIn. Widzowie również będą mogli zadawać pytania. Zapraszamy!
MK
Jako przykład do poprzedniej wypowiedzi o ocenie stworzonych warunków, chodzi o wywołanie lepszych efektów i jakości poprzez działania na rzecz np. efektywności pracy (poprawa organizacji i warunków pracy, zapewnianie narzędzi zwiększajacych efektywność itp), stworzenie warunków dla nowych odkryć (np. nowoczesne urządzenia na to pozwalające) a nie zastraszanie które jest najprostsze i w odróżnieniu do inwestycji i budowaniu warunków daje szybkie (ale pozorne z punktu widzenia nauki) efekty. Tzw. "punktoza" zawsze będzie do tego prowadzić, bo najłatwiej zastraszyć pracownika by dostarczył punkty - nie ważne jak i nie ważne jakim kosztem. Nauka to nie fabryka długopisów czy handel.
Ewaluacja uczelni i instytutów tylko na podstawie publikacji, w tylko tak, czy inaczej wybranych czasopismach to dewaluacja istoty ich działania, o czym już pisałem. Gdzie ocena jakości nauczania, gdzie ocena warsztatu?
Ocena łatwa nie jest oceną rzetelną, a ocena nierzetelna może być tylko szkodliwa. Może lepiej nic nie robić, niż wykonywać pracę nieprzemyślaną i szkodliwą dla innych?
Proszę nie mylić pojęć: ewaluacja (czy parametryzacja) dotyczy działalność naukowej, od oceny dydaktyki jest PKA.
Poruszona została ważna kwestia pracowników naukowo-dydaktycznych. Takie osoby mają pensum w wysokości 2/3 maksymalnego na stanowisku dydaktycznym. Dodatkowo w wyjątkowych wypadkach można je obciążyć 1/4 tego pensum - w praktyce jest to norma. W kontekście ewaluacji - takie osoby są wykazywane jako 100% N, zapełnienie 4 slotów staje się wymaganiem - tak jak na stanowiskach naukowych. Mamy zatem zapełnione 2/3 etatu plus nadgodziny dydaktyką, a wymaga się jednocześnie efektów dla 100% etatu naukowego. Warto poczytać do czego to prowadzi- są opracowania o wypaleniu zawodowym osób na takich stanowiskach. Ewaluacja ten efekt potęguje. Poziomu nauki to nie polepszy.
Ewaluacja w obecnej formie jest bardzo szkodliwa. Naukowcy są przymuszani do zdobywania punktów zamiast prowadzenia wartościowych badań, do inwestycji czasu w przygotowywania do ewaluacji, tworzy się toksyczną atmosferę, tragiczną dla pracy twórczej. Wymagania punktowe dla uczelni przekładają sie na zarządzanie przez zastraszanie. Pieniądze wydawane są na publikacje open access w czasopismach o szybszym procesie recenzyjnym zamiast na naukę... Para idzie w gwizdek. Osiągnięcia naukowców i ich realny wkład są poddawane ocenie eksperckiej przy awansach, zaangażowanie w pracę - przy ocenie okresowej. Ewaluacja powinna dotyczyć nie zebranych razem osiągnięć pracowników, a tego jak uczelnia jest zarządzana, jakie warunki są tworzone dla badań itp., ale to jest trudniejsze. Stworzenie odpowiednich warunków daje postęp, przyciąga talenty i daje owoce. W obecnej sytuacji najczęściej wybieraną drogą jest zastraszenie pracowników, zmuszanie do generowania marnych publikacji, zbierania punktów, wydatkowanie pieniędzy na publikację zamiast badania, na doradztwo jak lepiej wypaść w ewaluacji itp. Spora rzesza młodych ludzi nie chce mieć z tym nic wspólnego - taka przyszłość uczelni.
W pełni się zgadzam.! Ewaluacja w obecnym zakresie jest wypatrzona, co do jej założeń. Praca naukowa stała się odtwórcza a nie twórcza! Dowodem tego jest korupcja i mobbing panujący na uczelnach, ba nawet stosowanie odpowiedzialności zbiorowej (jak za okupacji) w przypadku zadłużonej uczeln i planowanych zwolnień ... Chyba czas na rewolucję: 1. zero dotowania z budżetu uczelni prywatnych i kontrola podyplomówek... cdn...
Kto, kogo i gdzie ,,wypatrzył''?
Ach, ,,naukawiec'': to wszystko tłumaczy...
Pozwoliłem sobie specjalnie wypaczyć tekst, bo jak się ma tyle tęgich głów w nauce, to aż dziw bierze, że postępu (vide awansu) w rankingach nie ma ... i nie będzie
PS
W parametryzacji praca naukowca w jednostce od 100 pkt wzwyż to 100% o ile jest jedyny z tej jednostki. Cóż, no to się zbiera pięciu z 5 miast i produkuje 100% czyli 1 chleb. Pytanie brzmi: ile z tego chleba zje każdy z nich? Nawet jeśli, co po niektórzy mądrale sądzą, że algorytmy tak nie icza , to ja się pytam: po co byty mnożyć? .... No no to niech będzie i te 300% normy, rodem z głębokiej komuny :-(
To ludzie posuwają się do oszustw, system im tego nie nakazuje (nawet, jeśli pozwala). Skoro więc ludzie tworzą patologie, to proszę mieć pretensje do nich, a nie do systemu.
Za ten system i za te patologie odpowiadają ludzie nauki , w tym stricte grono ekspertów szufladkujących czasopisma i tworzących luki prawne .... I tyle w temacie powyższym. Bez ludzi
systemu by nie było!
Pełna zgoda.
Bardzo dziękuję za debatę - taak organizatorom, jak i wszystkim uczestnikom. W szczególności zgadzam się z głosem prof. Chacińskiej, dzięki któremu zmienił się na bardziej życzliwy mój stosunek do oceny eksperckiej. Tj. zgadzam się, że to najlepszy dostępny mechanizm i że absolutnie kluczowe jest zachowanie wspomnianych 2 warunków (eliminacja konfliktu interesów i utrzymanie jakości, tj. żeby oceniającymi nie byli koledzy ocenianych i żeby byli to światowej klasy eksperci ).
Zaniepokoiły mnie głosy dotyczące tzw. 'humanistyki' potrzebującej publikowania po polsku. Nauka z definicji polega na odkrywaniu czegoś nowego. Nowego, więc czegoś, czego jeszcze nikt nie odkrył - nikt na świecie, nie tylko w Polsce. Wzięcie czegoś, kto odkrył ktoś za granicą i opisanie tego po polsku to nie jest nauka. To jest popularyzacja. Owszem jest ona bardzo cenna, ale do popularyzacji nawet niespecjalnie potrzebny jest naukowiec - wystarczy dobry tłumacz. A jednak z jakichś względów wszystkie cywilizowane państwa na świecie uznały, że popularyzacja im nie wystarczy i że warto inwestować we własną naukę.
Co do języka, jest dla mnie niezrozumiałe, czemu polski humanista musi publikować po polsku, skoro np. można badać polską przyrodę, gospodarkę, społeczeństwo, itd. i publikować międzynarodowo. Propozycja, żeby np. o języku polskim pisać tylko po polsku jest dziwaczna. Jedne z najważniejszych odkryć w całym językoznawstwie w ostatnich latach dotyczą języka piraha - gdyby konsekwentnie zastosować ten postulat, to nic by o nich nie napisano, bo ten język w ogóle nie ma pisma.
I jeszcze co do "wpływu" nauki. Zgodzę się, że należy próbować go mierzyć i premiować, ale nie każdy wpływ jest natychmiastowy i namacalny. Nauka nie zawsze działa tu jakoś drastycznie inaczej od np. policji czy szkół podstawowych, których wpływ jest albo pośredni, albo wywierany dopiero po latach.
A cóż to dzisiaj za różnica w jakim języku ktoś publikuje? Może być polski, może być i mandaryński. Dlaczego nie?
@Przemo
Jak Pan przekona do tej idei redaktorow pisma "Nature", to moze reszta swiata sie zastanowi. Jak na razie, w nauce swiatowej nikt od jezyka angielskiego nie odchodzi, i - na przyklad - te respektowane pisma hinskie (z wysokimi IF) sa po angielsku.
Tak wiec roznica jest i to bardzo duza.
Z moja ortografia zawsze bylo kiepsko, ale to , ze chinskie pisze sie z "ch", to jeszcze wiem. Przepraszam Chinczykow za ta pomylke.
@Sławomir Wacewicz
Ku mojemu zdziwieniu, pani wiceministra mieszala w tym temacie publikowanie naukowe i publikowanie popularnonaukowe; swiadczyly o tym przyklady, ktore podawala. Swoj komentarz o tym zostawilem na LinkedIn, na stronie debaty. Jednak juz teraz widze, ze to sa sprawy bardzo trudne do "przepchniecia", jako ze duzy odsetek naukowcow woli pisac po polsku ("woli", czy nie umie inaczej, to juz oddzielny temat) i w zwiazku z tym beda chcieli podnosic sztucznie wage publikacji/czasopism wydawanych w jezyku polskim.
Co do oceny eksperckiej, to jest to zdecydowanie najlepszy sposob, ale wydaje mi sie, ze z powodu kosztow i skomplikowamnej organizacji calej ewaluacji nie mozna oczekiwac calkowicie miedzynarodowej grupy eksperckiej, a bez tego moze byc jednak trudno o pelna obiektywnosc i rzetelnosc. Co wtedy?
Ja już chyba panów nie przekonam co do pisania po polsku, ale mam zebranych panów tu trzech, to powiem, że teza o absolutnej konieczności dzielenia się odkryciami naukowymi z całym światem upadnie w czasach gdy ludzkość zacznie kolonizować kosmos i posunie się w tej kolonizacji dalej niż na sto kilkadziesiąt lat świetlnych. Wtedy, uwzględniając długość ludzkiego życia, proliferacja odkryć na cały świat będzie niemożliwa, przynajmniej w rozsądnej perspektywie życia jednego człowieka. Ja takich czasów nie dożyję, ale kiedyś one nastąpią :)
Podkreślę, że kwestia języka publikacji jest nawet wtórna w stosunku do hermetyczności dziedziny, która - będę się jednak upierał - jest czasem naturalna. Po prostu mało kto na świecie będzie zainteresowany niektórymi niuansami polszczyzny czy literatury polskiej, na tyle mało, żeby jakiś konkretny polski badacz na dialogu ze światem nie mógł spędzić choćby istotną część czasu swej działalności (a już tym bardziej ewaluowanej). Natomiast można oczywiście wymagać, żeby Polacy między sobą komunikowali się po angielsku, choć byłoby dziwaczne. A z nieumiejętności publikowania po angielsku też nie śmiałbym się nadmiernie, wiadomo, skąd się wzięła i już się kończy. Mówiono mi np., że swojego czasu hamowała bardzo polską filozofię. Niedługo językiem nauki stanie się chiński i wtedy każdy będzie na początku żółtodziobem.
Natomiast o to, żeby wystąpił paradoks kłamcy, trzeba się chyba postarać. Nie starczy napisać zdanie po polsku, które mówi o języku polskim. Paradoks kłamcy wyjaśnia się wprawdzie mieszaniem języka z metajęzykiem, ale tam jednak jest istotne coś więcej, że zdanie odnosi się samo do siebie. Czy można napisać podręcznik do gramatyki języka niemieckiego po niemiecku? Chyba tak.
@Fidelio
Da sie "napisać podręcznik do gramatyki języka niemieckiego po niemiecku", ale to nie jest przekazywaniu swiatu nowego odkrycia lub obserwacji. Podobnie jak encyklopedia czy slownik, to sa prace na uzytek szeroko rozumianego spoleczenstwa, czyli powinny byc pisane w jezyku lokalnym; to nie sa prace stricte naukowe.
Nie trzeba czekac, az " ludzkość zacznie kolonizować kosmos i posunie się w tej kolonizacji dalej niż na sto kilkadziesiąt lat świetlnych". Wystarczy poczekac jak oparte na IA translatory beda tlumaczyc na biezaco wszystkie tekty mowione i pisane, z kazdego jezyka na dowolny inny. Wtedy zapewne dominacja jednego jezyka sie skonczy, nie trzeba czekac na szeroko zakrojony podboj kosmosu. :-)
Ale do tego czasu , zanim to nie nastapi, rzeczywiscie, "nie przekonam sie do pisania po polsku" tekstow naukowych, i bede uwazal, ze w kazdej dziedzinie nauki wlasnie ten jezyk powinien byc stosowany.
Nie ma tym zadnego braku szacunku, ani sztucznej internacjonalizacji. Po prostu, nauka to predsiewziecie ogolnoswiatowe i nasza wiedza rosnie miedzy innymi dlatego, ze naukowcy moga sie porozumiewac bez przeszkod.
Jest argument, że o języku polskim NIE NALEŻY pisać po polsku, i wspiera się on paradoksem Eubulidesa.
Prof. Konarzewski powiedział, że znakomicie wie, które to są czasopisma drapieżne. Nie mogę się doczekać, kiedy się z nami tą wiedzą podzieli.
wszystkie płatne zawiadowane przez konxerny i niezależnie czy są post czy pre-open access
Intrygujące. Patrząc na praktyki wszystkich dużych wydawnictw, albo płacisz za publikację, albo płacisz za dostęp. I tak płacisz. Zaraz wyjdzie, że wszystkie są drapieżne.
Szkoda, że dyskusja o tzw. "ewaluacji" nie odróżnia ją od parametryzacji, bo to zwróciłoby uwagę na zasadnicze różnice i całkowicie pomięty problem różnorodności kryteriów wartościowania bez którego nie da się wypracować rozsądnych reguł, a jedynie kanony kontroli i biurokratycznego równania wszystkiego ze wszystkim.
Dyskusja bardzo ciekawa , ale wnioski ??? Pani Minister chyba umknęła . Zasadne wnioski pana Prof.Konarzewskiego.
Działalność naukową w danej dyscyplinie podlega ocenie parametrycznej na podstawie osiągnięć pracowników zatrudnionych na etatach badawczych (B) i badawczo-dydaktycznych (B-D) w przeliczeniu na pełny wymiar czasu pracy związanej z prowadzeniem działalności naukowej w tej dyscyplinie (zapisy prawa o szkolnictwie wyższym i nauce art. 265.4 i rozporządzenia MNiSW w sprawie ewaluacji jakości działalności naukowej § 7. 1. ).
Nie jest dla mnie zrozumiałe dlaczego w praktyce udział tych dwóch grup pracowniczych w ewaluacji jest identyczny, szczególnie że wymiar czasu pracy poświęconej na badania naukowe w grupie B-D jest mniejszy niż 50% w przeliczeniu na pełny etat (uwzględniając aktywność w zakresie kształcenia studentów, najczęściej jest to górna granica ustawowa 180 i 240 godz. pensum, co stanowi ok. 50-67% pensum pracowników dydaktycznych, oraz prace administracyjne z obu obszarów).
Zatem zgodnie z obowiązującymi przepisami w okresie 4-letnim pracownikom B-D powinien być przypisany właśnie taki udział tj. do 50%, a nie 100% jak pracownikom na etatach badawczych, którzy 100% czasu pracy w ramach pełnego etatu poświęcają badaniom naukowym i sprawom administracyjnym związanym z tymi badaniami (nie uczestniczą w kształceniu i wychowywaniu studentów!). Przekłada się to na mniejszą liczbę N, 3N i slotów. Z prostego rachunku wynika, że pracownik B-D zatrudniony na pełen etat i poświęcający na badania naukowe mniej niż 50% pełnego wymiaru czasu pracy winien dostarczać maksymalnie 2, a nie 4 sloty.
Takie ujęcie uczestnictwa pracowników B-D i B w ewaluacji rozwiązuje również problem zbyt dużej liczby N uczelni akademickich w odniesieniu do instytutów naukowych oraz niweluje nierówności w ocenie parametrycznej uczelni vs instytuty naukowe.
Należy podkreślić, że praktyki pracodawców/uczelni wynikające z obecnych przepisów prawa w zakresie nauki powodują nierówności w warunkach pracy i nadmierne obciążanie osób z grupy B-D obowiązkami pracowniczymi. Stanowią także narzędzie wywierania presji powiązanej z groźbą zwolnienia z powodu niespełnienia oczekiwań pracodawcy.
Proponuję podyskutować na temat INNEGO ważnego procesu. Jego nazwę otrzymamy po zamianie litery "l" na "k" w słowie "ewaluacja"... ;=) Patrząc na te wszystkie wypowiedzi, jak jest źle w polskim systemie nauki i szkolnictwa wyższego (ja też dołożyłem swoje "trzy grosze" do dotychczasowych dyskusji), można mieć wrażenie, że na ewaluację, jako taką, może być już trochę za późno... ;=)
Tezy do dzisiejszej dyskusji o ewaluacji. Dla przypomnienia, ewaluacja (dawniej – parametryzacja) została wprowadzona w roku 1998. Dopiero za Gowina (połowa okresu poprzedniej ewaluacji, rok 2018) wprowadzono do niej wiele radykalnych zmian na niekorzyść. Są to: 1) sloty, 2) rady dyscyplin (dawniej ewaluowano wydziały), 3) listy czasopism dla dyscyplin, 4) strasznie nierównomierną ich punktację, 5 – ręczne sterowanie punktacją, co pozwala „ekspertom’ zmieniać ją o ± dwa poziomy, 6) kryterium III, 7) związek pomiędzy uprawnieniami magisterskimi i doktoryzowaniem z kategoriami. Jest tam (w Ustawie Gowina) jeszcze wiele bzdur. Gdyby ktoś zechciał zapoznać się z moją negatywną opinią na temat zmian, dotyczących ewaluacji, proszę o przeczytanie moich komentarzy w poprzednich dyskusjach.
Co do wielokrotnie powtarzanej przez Pana ~kk 10.03.2025 12:34 propozycji dzielenia liczby punktów przez wszystkich współautorów. Dla przypomnienia, w ewaluacjach przed rokiem 2018 nie było żadnego dzielenia na współautorów. Były listy A (czasopisma z IF) oraz B (przeważnie krajowe bez IF). Wydział przedkładał do ewaluacji artykuły z punktacją od największej w liczbie, proporcjonalnej ( chyba 4 krotność) do liczby pracowników naukowo – dydaktycznych. Jak zbrakło z listy A, to dorzucano z listy B. I nikt nie protestował! Protesty zaczęły się po reformie Gowina, która doprowadziła do prawie nieograniczonej władzy ekspertów.
Co do planowanej na dzisiaj dyskusji. Pisałem już o jej przewidywanych przeze mnie skutkach. Pani wiceministra jest za tym, żeby wyeliminować uznaniowość. Brawo! Co do niektórych pozostałych dyskutantów - nie mam zdania. Zakładam, że niektórzy z nich będą optowali za dużym, a może nawet decydującym udziałem ekspertów w ewaluacji. O „osiągnięciach ekspertów” również pisałem. Eksperci na początku roku 2024 zobowiązali się do opracowania do końca roku nowej listy czasopism. Jest marzec 2025 r. I gdzie ta nowa lista? Mój wniosek – dopóki nie zostaną wyeliminowane możliwości uznaniowości praktycznie w każdej z wyżej wymienionych powyżej pozycji od 1 do 6, ewaluacja będzie krytykowana przez wszystkich. Gdyby to zostanło zrobione – również będzie krytykowana, tym razem przez tych, którzy by chcieli powrotu do sterowania ręcznego i uznaniowości w przydzielaniu środków na naukę.
Jeżeli ewaluacja będzie nadal pociągała za sobą tak znaczące konsekwencje to będziemy krytykowali algorytm; to że jest on taki a nie inny jest oczywiście uznaniowe. Nie istnieje nieuznaniowa ocena osiągnięć naukowych (jedynym aspektem systemu, który to uwzględnia to awase naukowe).
Jeśli chodzi o ocenę pracownika naukowo-badawczego, to od zawsze powtarzam. Brać tylko pod uwagę prace ktore on/ona pisał(a), a nie współchałtórzył(a). To wywali w końcu z systemu manipulantów i specjalistów (często -stki) z umiejętnościami miękkimi przy braku kompetencji twardych - na których prawdziwa nauka powinna się opierać. Ale, za chwile gwiazdy rankingów współchałtórzenia ; oburzenie za 3,2,1, ...... start :)
Rozumiem, że to ostatnie zdanie to jest takie a la trolowanie?
Co do pozostałych kwestii to nie wie Pan chyba jak się działa w światowej nauce, proszę zobaczyć na listy autorów w Nature, przecież to czasami jest najważniejsze osiągnięcie naukowe całego życia, a nie 20 publikacji w IF 0,5. Lepiej mieć jedną publikację wieloautorską w Nature niż 20 publikacji jednoautorskich w czasopiśmie z IF 0.5. bezwzględnie musi to być premiowane i nagradzane niezależnie od ilości autorów.
Co co dzielenia na autorów - musimy wspierać mechanizm promowania interdyscyplinarności, no na przykład na styku IT i medycyny mogą ciekawe projekty wyjść, które będą rzutować na społeczeństwo, np. algorytmy sztucznej inteligencji do pomocy dla radiologów. Więc uważam, że nie powinno się dzielić. Bo nie będziemy premiować interdyscyplinarności czy międzynarodowych badań. Proszę rzucić okiem ile autorów jest czasem w publikacjach z Czerny.
I kto tylko mył próbówki, jest autorem tego wiekopomnego osiągnięcia. Bardzo to wygodne.
Argumentację, którą słyszę od pana, rozciąga się niestety nie na rzadki przypadek Nature, ale na dowolny periodyk, nawet w dyscyplinach, które nie wymagają współpracy. Opowiem panu, jak to wygląda w praktyce. Po prostu niedzielenie punktów wprost prowadzi do patologii. Artykuł, który można napisać samemu, powiedzmy w bardziej teoretyzujących naukach technicznych, jeden napisze rzeczywiście sam a drugi w ośmiu autorów ze spółdzielni międzyuczelnianej. Oczywiście w tym drugim przypadku pomysłodawcą jest, jeśli nawet nie papiernia, to za każdym razem inny z tych ośmiu współautorów. W ten sposób ów drugi ma ośmiokrotnie większy dorobek, niż pierwszy. Skrajna niesprawiedliwość, którą beneficjent takiej punktacji oczywiście uzasadni "promocją współpracy", choć ta współpraca jest założona wyłącznie we wskazanym wyżej celu. Nie można przejść do porządku dziennego nad tym, że system nie jest prawidłowo wyskalowany - względem liczby autorów i właściwie zadziwia, jak ktoś mógł coś takiego zaakceptować.
Dlatego bardzo irytujące jest, gdy jakiś specjalista widzi tylko czubek własnego nosa i własną dziedzinę. Ja rozumiem - i tak z zastrzeżeniami - pańską argumentację, ale ona nie odnosi się do wszystkich dziedzin. Osobiście jestem zdania, że nie da się wymyślić systemu punkcikowego, który byłby sprawiedliwy dla wszystkich. Ale proszę też zauważyć, że przez lata wahadło było przechylone w jedną stronę - dyscyplin (czy nawet specjalności, bo podziały potrafią tu przebiegać bardzo gęsto) istotnie wieloautorskich. Proszę sobie wyobrazić, jak byli traktowani specjaliści "samotni" - przecież zupełnie niesprawiedliwie odpadali w przedbiegach. Nie dziwię się chęci przełożenia tego wahadła w drugą stronę.
PS. W ewaluacji nie wolno promować współpracy. Współpraca, jeśli rzeczywiście jest korzystna, powinna zaowocować lepszymi osiągnięciami, natomiast same osiągnięcia powinny być oceniane równo. A podwójne płacenie za współpracę, które ma miejsce obecnie, jest niesprawiedliwe nawet przy braku innych patologii.
Proszę Pana, wszystko w porządku, tak jak Pan napisał należy posłuchać reprezentantów różnych dyscyplin naukowych, nie tylko biologii czy chemi. Pełna zgoda. Natomiast podstawa sprawa jeśli chodzi o uznane czasopisma jest taka, że podaje się authors' contributions i wtedy widać czarno na białym, kto jaki miał wkład. Tam, gdzie publikuje to raczej normalna sprawa. W związku z tym nie ma mowy o jakimś czyszczeniu sprzętu i byciu dopisanym. Chyba że mówimy o naruszeniu zasad etyki i podawaniu nieprawdy. Ale to żaden system nie będzie w stanie wychwycić, bo ludzie to tylko ludzie. Natomiast nadal uważam, że 10 publikacji jednoautorskich publikacji w czasopismach o niskim oddziaływaniu na świat nauki nie można porównać do jednej prestiżowej publikacji w Lancet czy Nature.
Ciężko mi wyobrazić sobie znaczące osiągnięcia naukowe jeśli chodzi o badania podstawowe czy też aplikacyjne, a więc efekty prac B+R w pojedynkę bez współpracy, Pan może takie wskazać? Nie działałem w projekcie, w którym byłbym kierownikiem projektu, a jednocześnie wykonawcą i specjalistą w każdej dziedzinie.
Cieszę się, że się zgadzamy w wielu kwestiach. Np. ja też jestem skłonny do oceniania kariery człowieka przez pryzmat jego największego osiągnięcia. Tylko chodzi o rzeczywistą wartość tego osiągnięcia, nie gdzie zostało opublikowane.
Czy o te jednoosobowe odkrycia pyta pan poważnie?
To tak: niejaki Einstein sformułował szczególną i ogólną teorię względności. Miał też inne osiągnięcia, w termodynamice, wyjaśnieniu efektu fotoelektrycznego, cóś tu nawet dostał Nobla. Nowsze odkrycia - np. przewidzenie istnienia bozonu Higgsa. W matematyce: choćby wałkowany na tym forum dowód hipotezy Poincarego (Perelman), dowód wielkiego twierdzenia Fermata (Wiles). Teraz słówko o naukach technicznych, które są czym innym niż B+R. Mnie w poprzednim wpisie chodziło o specjalności techniczne z pogranicza matematyki, np. teoria sterowania, optymalizacja (programowanie matematyczne), rozmaite inne metody numeryczne, np. dla równań różniczkowych cząstkowych; komputerowe wspomaganie decyzji i analiza wielokryterialna; szereg działek w sztucznej inteligencji - rozmaite warianty uczenia maszynowego, sieci neuronowe, rezolucja, modele językowe; rozmaite odmiany data miningu. Tam można pisać i w zespołach, i samemu. No więc tu wielkie osiągnięcia to przykładowo: w optymalizacji - wielomianowy algorytm rozwiązywania zadań programowania liniowego (Karmarkar), teoria funkcji samozgodnych (self-concordant - Nesterow, i trochę Niemirowski); w sieciach neuronowych - stworzenie perceptronu (Rosenblatt), stworzenie sieci samoorganizującej (Kohonen).
Cyt."Np. ja też jestem skłonny do oceniania kariery człowieka przez pryzmat jego największego osiągnięcia. Tylko chodzi o rzeczywistą wartość tego osiągnięcia, nie gdzie zostało opublikowane."
ZGADZAM SIĘ w 100%.
Obraża Pan Eiinsteina. Tak mości Panowie kupą to po rosyjsku,.
Problem jest taki, że to podawanie nieprawdy jest chyba całkiem częste. No ale jeżeli ministerstwo woli abyśmy walczyli o punkty a nie skupiali się na badaniach, to tak będzie.
W światowej nauce nie ma patologicznych punkcików, tylko się pracuje naukowo a dyskutuje o sposobach przelewania z pustego w próżne.
"a nie dyskutuje" miało być
A co nie potrafi Pan wymyśleć innego sposobu promowania interdyscyplinarności?
Oj coś cieńko, cieńko u Pana z myśleniem.
Nie ma takiej kategorii pracownika: ,,naukowo-badawczy''.
Co do reszty - widać, że pojęcia pan nie ma.
@krang
Czy przez " Brać tylko pod uwagę prace ktore on/ona pisał(a), a nie współchałtórzył(a) " ma Pan/Pani na mysli publikacje, ktorych autorem jest jedna osoba?
Przekonaj do tego prezesa PAN. Zerknij na tych co rządzą w PAN, tam nie wielu jest takich co by spełniały to co ty chcesz. No i jak tu być wielkim naukowcem, no jak?
Okres dłuższego l-4, świadczenia zdrowotnego ZUS związanego z chorobą i niemożnością pracy naukowej, nie powinien być brany pod uwagę w trakcie parametryzacji jako kres sprawozdawczy, w przypadku jej 4-letniego okresu. Jeśli wypadnie się z obiegu na 12-24 miesięcy, nadrobienie tego czasu graniczy z cudem
Przecież nie jest.
Cyt."To kwestia dwóch, trzech, czterech lat, że będziemy mieli polskiego Nobla w nauce – powiedziała w piątek marszałek Senatu Małgorzata Kidawa-Błońska podczas spotkania z naukowczyniami Narodowego Centrum Badań Jądrowych (NCBJ) w Świerku." (za nfajw.wordpress.com)
Ja z kolei wierzę, że Pani marszałek i inni politycy nauczą się za 2 - 3 lata np. "Wstępu do matematyki" i trochę fizyki na I Pracowni Fizycznej. ;=)
Jeżeli już ewaluacja musi być (moim zdaniem nie) to powinna mieć mniejszy wpływ na działalność uczelni. Pamiętam niepewność czy uczelnia pozostanie uniwersytetem, to chyba przesada.
Jakakolwiek chyba ewaluacja prowadzi do terroryzowania przez władze uczelni, nieważne czy prowadzi się ciekawe badania tylko trzeba dostarczać punkty do algorytmu aby wynik był co najmniwj b+ (bo finansowanie, bo nadawanie doktoratów). Obawiam się że zmiana zasad nic nie zmieni, będziemy terroryzowani innym algorytmem. Czy działalność uczelni na tym ma się opierać, moim zdaniem nie.
Na pięć osób - trzech biologów?
Może dlatego, ze biolodzy i medycy dużo publikują i często w dużych zespołach.
Ale skoro tak się złożyło to może ktoś z nich ustosunkuje się do tego faktu wykazywanego w Retraction Watch, ze ponad 500 artykułów z badań dotyczących SARS-COV-2 zostało wycofanych
https://retractionwatch.com/retracted-coronavirus-covid-19-papers/
Czy chodzi o niski poziom tych badań? Brak rzetelności? Pośpiech podczas pandemii? Czy może wszystko po trochę. Jak w przyszłej parametryzacji uniknąć masowej akceptacji słabych lub nierzetelnych artykułów?
A co w tym dziwnego? W modnych tematach zawsze jest najwięcej kombinowania, bo tam są największe możliwe zyski. Nihil novi. A temat naszego kochanego kowidka był bardzo modny. Ale to niewiele mówi o całości dorobku biologów. Trudno oczekiwać, że będziemy mieli masowy wysyp nierzetelnych artykułów w "Przeglądzie Naukowym Polesia Dolnego", tudzież w temacie wpływu twórczości polskich poetów romantycznych na rozwój tendencji eskapistycznych wśród młodzieży w XXI wieku. Ale to nie jest powód, by takie prace doceniać bardziej, niż te opublikowane w czołowych czasopismach.
Ojtam ojtam
Wypowiedzi niektórych osób na tym forum pokazują, że ogólny pozom naukowca polskiego się obniża w każdym względzie i niestety trzeba dbać o etykę.
Dlatego też zasady ewaluacji nie powinny sprzyjać postawom nieetycznym.
Ocena dyscyplin w ramach jednostek, winna być oparta o ocenę indywidualną wszystkich pracowników zatrudnionych na wydziale, a więc i dydaktyków.
Ocena indywidualna winna się zsumować i dać ocenę dyscypliny na wydziale.
W tym celu niezbędne jest dzielenie punktacji za publikację przez liczbę współautorów, co ukróci dopisywanie do publikacji współautorów nie mających udziałów w pracy badawczej, zmniejszy opłacalność spółdzielni, zmniejszy opłacalność publikacji w czasopismach drapieżnych, zmniejszy opłacalność wytwórni czasopism.
Celem ewaluacji ma być przede wszystkim ewaluacja nauki a nie inne cele jak na przykład promowanie współpracy międzynarodowej czy współpracy interdyscyplinarnej. W tych innych celach należy stosować inne środki, a wyłączyć to z zasad ewaluacji nauki.
Większość wiedzy klinicznej stosowanej w medycynie oparta jest na randomizowanych badaniach klinicznych oraz meta-analizach. Proszę jednoosobowo przeprowadzić takie badanie, zobaczymy jaka jakość z tego wyjdzie.
Postulat dzielenia punktów bez liczbę autorów nie premiuje jakości badawczej w tej dziedzinie.
Postulat dzielenia punktów oznacza tylko że zespół 10 - osobowy powinien mieć 2 razy większą wydajność publikacyjną niż zespół 5 - osobowy. Jedno-osobowy autor musi mieć naprawdę nowatorski pomysł aby opublikować coś w Cell lub Lancet. Z pewnością coś bardziej oryginalnego niż np. bardzo dobry uznany uczony wsparty o doktoranta - czyli zespół dwu osobowy.
Spójrzmy na dokonania królującego w Stanford TOP 2% matematyka, Zdzisława Pawlaka. Miał nowatorski pomysł więc króluje.
Skoro jedną z największych wad polskiej ewaluacji sa manipulacje z liczbą autorów (paper milling głównie na tym polega) to warto jakoś sobie z tym poradzić
Ocena pracownika ma być równomierna i nie może być tak, że jeden pracownik dostaje 200 pkt (z innej dyscypliny lub z innej uczelni), a drugi tylko cząstkę tych punktów, bo jest ich kilku z dyscypliny z jednej uczelni.
Dzielenie punktów przez liczbę współautorów ma na celu ocenę wkładu współautora w powstanie publikacji.
Premiować jakość badawczą można w inny sposób, ale tu chyba winno nastąpić zróżnicowanie ze względu na dyscyplinę.
Kolego lub koleżanko ~kk, wprowadzanie zmian w systemie ewaluacji niewiele zmieni, jeśli wciąż będzie nastawienie na potrzebę maksymalizacji zysków. Dopóki punkty "wyrabiane" przez pracownika w dyscyplinie będą powiązane z dotacją dla uczelni, dopóty tenże pracownik będzie wszelkimi sposobami dbał o swoją posadę, bo przecież nie o jakość tu idzie, ale o kategorię i punkty. Cóż - Prawo Goodharta oparte jest na obserwacjach społecznych. Niestety, ten robak toczy też resztę świata naukowego. Nie tak dawno, organizując konferencję, mój zespół otrzymywał mnóstwo zapytań m. in. z krajów europejskich dotyczących czasopisma, w jakim pojawi się publikacja pokonferencyjna. Typowe "proceedings", wydane nakładem uczelni były mało atrakcyjne.
Co do sumowania oceny indywidualnej, to przykładem patologicznego podejścia do tego typu "punktozy" jest sport drużynowy - tam, gdzie jednostka zdobywa punkty dla drużyny (lub kraju) pojawia się miejsce na kombinowanie i doping. Niedaleko szukać - ostatnia sprawa ze skoczkami narciarskimi. Po prostu nie tędy droga. Niezależnie od wyrafinowania wzorów podziału i przydziału punktów, w systemie znajdzie się luka.
Opublikowano: 2025-03-10. Debata o ewaluacji: wtorek 11 marca, godzina 18:00.
W dyskusjach o ewaluacji: Opublikowano: 2025-03-07. Przedstawiamy uczestników debaty o ewaluacji: dr Karolina Zioło-Pużuk.
Dyskutują, przede wszystkim: ~Przemo 07.03.2025 23:24 oraz ~kk 08.03.2025 07:00. Zwłaszcza ~kk 08.03.2025 07:00 zapomniano, że chodzi w planowanej dyskusji o ewaluację nauki. Przez to poświęcili sporo uwagi dydaktyce i jej uwzględnieniu w ewaluacji.
W komentarzu do nowszej publikacji ~kk 10.03.2025 12:34 pisze, cytuję: „W tym celu niezbędne jest dzielenie punktacji za publikację przez liczbę współautorów, co ukróci dopisywanie do publikacji współautorów nie mających udziałów w pracy badawczej, zmniejszy opłacalność spółdzielni, zmniejszy opłacalność publikacji w czasopismach drapieżnych, zmniejszy opłacalność wytwórni czasopism.” W jednym zdaniu wymieniono 5 korzyści, wynikających z wielokrotnie powtarzanej przez niego w różnych dyskusjach propozycji dzielenia liczby punktów przez liczbę autorów. Dawno temu, gdy przeniosłem się z Uniwersytetu na uczelnię techniczną zauważyłem, że do wykonania opisanych w publikacji z tej uczelni badań potrzebny jest stosunkowo duży zespół. A publikacja była jednoosobowa, podpisana przez kierownika. Co to oznaczało – kierownik swoją władzą nad pracownikami mógł wziąć wyniki dla siebie. Propozycja dzielenia punktów przez liczbę współautorów może przywrócić taką praktykę. Kierownik bierze wszystko. Panie ~kk 10.03.2025 12:34, przecież obecnie też pojedynczy współautor nie bierze cały slot, tylko jego część. Nie liczą się przy tym osoby spoza danej rady dyscypliny. Jest to sprawa oczywista. Gdyby je liczyć, to współautor, na przykład, z przemysłu (a mam takich) powinien dostawać finansowanie z danej rady dyscypliny za udział w badaniach. A nie dostaje, bo jego udział sfinansował zakład pracy, który nie bierze udziału w ewaluacji.
Panie ~kk 10.03.2025 12:34. Jeszcze na studiach doktoranckich zrozumiałem jedną rzecz, którą do dzisiaj nie wszyscy rozumieją. Jeżeli masz jedno narzędzie badawcze, to masz jednostkę informacji. Jeżeli masz dwa, to masz nie dwie, a cztery jednostki informacji o przedmiocie badań. Temu służą, miedzy innymi, badania w zespołach interdyscyplinarnych, międzyuczelnianych lub międzynarodowych – a mianowicie zwielokrotnieniu informacji poprzez zastosowanie różnych metod badawczych. Panie ~kk 10.03.2025 12:34, Pana propozycja dzielenia punktów na wszystkich nie uwzględnia tak prostej rzeczy – gdyby każdy pracownik naukowy lub zespół pracował samodzielnie, bez kontaktów krajowych i zagranicznych, polska nauka, o której Pan tak troszczy się, była by słabsza, niż obecnie.
Ten chłopiec ma misję do spełnienia, dlatego swoje żale wylewa pod każdym niemal tekstem opublikowanym na stronach FA. Przy okazji - poza kardynalnymi błędami merytorycznymi (w tym logicznymi) - popełnia mnóstwo błędów językowych (w tym interpunkcyjnych).
Przypuszczam, że to sfrustrowany starszy wykładowca, który - mimo swego ,,geniuszu'' - nie zrobił w swoim akademickim życiu wiele poza doktoratem (a i ten pewnie tworzył w wielkich bólach).
Dzielenie punktów publikacji przez liczbę współautorów tak jakość wszyscy jednoznacznie oceniają, że chodzi to tylko wyłącznie o pracę jednej osoby.
Według Pana propozycji obecnych zasad ewaluacji osoba z zespołu 10 osobowego jeśli tylko jest z innej uczelni lub z innej dyscypliny ma dostać 200 pkt, a osoby z tej samej dyscypliny mają mieć podzielone 200 pkt na tyle ilu ich jest.
Przepraszam, ale to już pokazuje, że coś nie jest tak. Jedna osoba dostaje 200 pkt bo jest z innej dyscypliny, druga 200 pkt bo jest z innej uczelni, a kolejne tylko po na przykład 40 bo są z jednej dyscypliny z danego wydziału.
Przepraszam ale na oko coś jest nie tak.
Niektóre osoby wychodzi na to, że są 2,5 razy lepsze od pozostałych.
@kk
Odnosnie ostatniego punktu, to naprawde wszystko zalezy od priorytetow oraz od definicji.
To, co dokladnie ocenia ewaluacja, moze byc przeciez przedmiotem dyskusji.
Podam przyklad z Wielkiej Brytanii, gdzie tez jest ewaluacja, ktora nazywa sie Research Excellence Framework (REF) i najblizsza ma sie odbyc w 2029 roku (REF2029). Oto, co obejmuje, i z jaka "wartoscia":
1. People, culture and environment (25% weighting)
2. Contribution to knowledge and understanding (50% weighting)
3. Engagement and impact (25% weighting)
Punkt #2 zawiera publikacje naukowe, ale to tylko 50% wartosci ewaluacji jednostek naukowych.
Natomiast zachowania nieetyczne to moze byc rzeczywiscie duzy problem. Generalnie zalozenie powinno byc takie, ze zdecydowana wiekszosc postepuje uczciwie. Jesli tego zalozyc nie mozemy, to wszystkie dzialania zaczynaja przypominac raczej regulamin wiezienny, niz zasady gry, w ktora gramy.
Podział liczby punktów za publikację przez liczbę współautorów pozwala na właściwą ocenę pojedynczego naukowca. Ne ma w tym żadnego założenia, że naukowiec jest nieuczciwy.
Natomiast pozwala to ograniczyć zachowania nieetyczne przy okazji.
@kk
Podejrzewam, ze oceniajacy woleliby, zeby naukowcy mieli publikacje w pismie za 200 punktow jako wspolautorzy miedzy 10 innymi osobami, niz artykul w pismie za 20 punktow jako jedyni autorzy.
Jak wiec zachcac do publikowania w wiodacych pismach?
To wszystko sa pytania, ktore pewnie pozostana bez odpowiedzi, bo punktowanie publikacji zawsze bedzie nioslo ze soba jakies problemy. Ewaluacja ekspercka w duzym stopniu moglaby sie tych niedociagniec pozbyc, ale obawiam sie, ze jesli eksperci byliby tylko z Polski, to rowniez mogloby prowadzic do zachowan korupcjogennych.
Nawet teraz nie opłaca się publikować za 20 punktów, a nawet już za 40 pkt dla jednej osoby.
Opłacana dolna obecna punktacja to 70 pkt. Chodzi o czas i wysiłek do efektów.
Nie sądzę by ktoś dziś tylko i wyłączne publikacjami za 20 pkt zdołał zdążyć wypełnić minima pozytywnej oceny okresowej na uczelniach.
@kk
Przepraszam, nie znam na tych punktach. Te liczby podalem tylko jako przyklad, byc moze nieadekwatny.
Moze wiec napisze inaczej: ewaluacja zapewne mialaby dzialac na korzysc takiego podejscia, ktore preferuje publikowanie w "Nature" bardziej, niz publikowanie w "Nature Communications", bardziej niz publikowanie w "Scientific Reports". I to niezaleznie (!) od tego, ile autorow jest w danej pracy.
Czy to jest wlasciwy kierunek? Kto to wie.
Ci, co podpisuja DORA mowia, ze "nie". Ci, ktorzy w jakikolwiek sposob chca uwzgledniac prestiz czasopisma w ewaluacji, mowia ze "tak".
W kazdym razie tak dlugo, jak bedzie brana pod uwage jakosc czasopisma, tak dlugo dzielenie punktow przez liczbe autorow nie bedzie dobrym pomyslem.
Skoro dziś powstaje zdecydowana większość publikacji od 100 do 200 pkt, jest jeszcze jeden próg 140, to o czym jest mowa..
Cel jest osiągnięty.
Teraz trzeba tylko dostroić.
@kk
Pisze Pan, ze "skoro dziś powstaje zdecydowana większość publikacji od 100 do 200 pkt, jest jeszcze jeden próg 140, to o czym jest mowa."
Musze przyznac, ze taka punktacja nie odzwierceidla niczego.
Jesli wezmiemy pod uwage impact factors, to (dla przykladu w mojej dziedzinie) istnieja wcale nie takie "bezwartosciowe" czasopisma, ktorych IF oscyluje w okolicach 2-3 puntow. Nie sa moze rewelacyjne, ale opublikowanie tam artykulu nie wiaze sie z zadnycm wstydem, czy tez odrzuceniem srodowiska. I jednoczesnie jest to przyslowiowe juz Nature, ktore ma IF w okolicach 50.
Czyli mamy powiedzmy dwudziesto-krotna roznice w "jakosci" okreslonej przez IF. Ta roznica oczywiscie dotyczy tylko IF, a nie jakosci pojedynczych artykulow, no ale przez moment zalozmy, ze "prestiz" danego pisma ma znaczenie.
Czyli 100-200 punktow (o ktorych Pan pisze) to roznica 2-krotna, 2,5-50 puntow to roznica 20-krotna.
Co wiec ta obecna punktacja ma tak naprawde odzwierciedlac?
oligarchzację nauki i dalsze rozpasanie elyt...
Nic. Zgadzam się z Panem.