Oceniać jednostki czy dyscypliny? Przyjąć model oceny eksperckiej czy oparty na wskaźnikach bibliometrycznych? Według jakich reguł ułożyć listę czasopism i ich punktację? Czy utrzymać czteroletni cykl rozliczeniowy? We wtorek 11 marca zapraszamy na debatę online o nowej ewaluacji.
Nieco ponad rok temu wraz z Polską Akademią Nauk zorganizowaliśmy debatę, która zwieńczyła naszą wspólną akcję „Nauka do naprawy”. Chcieliśmy wówczas zasygnalizować najważniejsze – zdaniem środowiska – problemy i zagadnienia wymagające zmian w obecnym systemie. „Zmiana kierownictwa resortu, która nastąpiła w grudniu 2023 roku, wyzwoliła w środowisku ogromne nadzieje. To, w jaki sposób zostaną one zagospodarowane, zależy w największym stopniu od determinacji nowych władz ministerstwa i obranego przez nie kierunku działania” – pisaliśmy w raporcie podsumowującym kampanię.
Minął rok, ale słowa te – na skutek ostatnich przetasowań w MNiSW – pozostają nadal aktualne. Częściowo nowe kierownictwo resortu wyzwoliło nowe nadzieje na rozwiązanie przynajmniej niektórych problemów. Jednym z takich gorących tematów pozostaje ewaluacja działalności naukowej. Krytyka jej obecnej formuły płynie niemal z każdej strony.
Zgodnie z ustawą Prawo o szkolnictwie wyższym i nauce, co cztery lata przeprowadzana jest ewaluacja dyscyplin uprawianych w danej instytucji: uczelni, instytucie PAN bądź międzynarodowym instytucie naukowym, instytucie badawczym czy innej jednostce prowadzącej działalność naukową (o ile zatrudnia na koniec okresu oceny co najmniej 12 pracowników naukowych w dyscyplinie). Ocenie poddawane są indywidualne osiągnięcia, które stanowią podstawę przyznania podmiotowi w danej dyscyplinie jednej z kategorii: A+, A, B+, B i C. Od tego zależy wielkość subwencji, a także uprawnienia do nadawania stopni i tytułów naukowych czy możliwość udziału przedstawicieli instytucji w niektórych organach otoczenia nauki. Po ostatniej (zakończonej w 2021 roku) ewaluacji mamy 119 dyscyplin kategorii A+ (10,5%), 418 dyscyplin kategorii A (36,9%), 526 dyscyplin kategorii B+ (46,4%), 47 dyscyplin kategorii B (4,1%) i 23 dyscypliny kategorii C (2%).
Jednak system powstały do oceny jakości działalności naukowej obrósł już w tyle patologii, że trudno mówić o jego miarodajnym efekcie. Zwracają na to uwagę środowiskowe gremia. Konferencja Rektorów Akademickich Szkół Polskich apelowała niedawno o pilne opracowanie i wprowadzenie nowych zasad ewaluacji, które miałyby, jeśli nie wykluczyć, to przynajmniej ograniczyć do minimum nieetyczne praktyki w ocenie dyscyplin naukowych. Co warte odnotowania, już przy poprzedniej ewaluacji rektorzy wielokrotnie sygnalizowali, że dotychczasowe zasady skłaniają do działań patologicznych.
Z kolei sternicy uczelni medycznych w swoim liście do ministra nauki wyliczyli szereg defektów obowiązującego dziś modelu: algorytm preferuje jednostki małe w stosunku do dużych; system łączy w jednej ocenie instytuty badawcze oraz uniwersytety; taka sama liczba slotów dla pracowników badawczych i badawczo-dydaktycznych. Ponadto opisali manipulacje, na jakie podatny jest obecny system: zmniejszanie liczby N przez masowe przenoszenie pracowników na etaty dydaktyczne, łączenie współautorów zgodnie z sugestiami programów komputerowych do „optymalizacji” ewaluacji, tak, aby „pomóc” wypełnić sloty naukowcom o słabym dorobku. Zasady pozwalają też na udział w ocenie uczelniom, których dyscypliny, na przykład nauki medyczne, nie przeszły całego czteroletniego cyklu ewaluacyjnego.
Również Rada Główna Nauki i Szkolnictwa Wyższego postulowała niedawno zmianę zasad przyszłej ewaluacji. Chodziło o to, by zmniejszyć rolę wydawnictw i czasopism, a przez to złagodzić negatywne efekty niedoskonałości tworzonych list. Kierowany przez prof. Andrzeja Jaszczyka zespół doradczy przy prezesie PAN proponował, by ewaluować jednostki naukowe, a nie dyscypliny i zrezygnować z oceny osiągnięć na podstawie wskaźników bibliometrycznych na rzecz eksperckiej oceny środowiskowej. O potrzebie gruntownej przebudowy modelu mówiła także w wywiadzie dla FA wiceministra nauki Karolina Zioło-Pużuk. Krytyka obecnego stanu rzeczy narasta, bo nie dość, że nieznane są reguły przyszłej ewaluacji (2026–2029), to jeszcze wciąż nie wiadomo, na jakich zasadach będzie się odbywać ocena lat 2022–2025. Tymczasem do końca bieżącego „okresu rozliczeniowego” pozostało zaledwie 10 miesięcy.
Mało donośnie w tym wszystkim wybrzmiewa jednak głos samych badaczy. Owszem, na różnego rodzaju forach internetowych i w mediach społecznościowych toczą się dyskusje wokół tego tematu, ale ograniczone najczęściej do wąskiego kręgu odbiorców. Dlatego właśnie „Forum Akademickie” wraz z Polską Akademią Nauk organizują ogólnopolską debatę online poświęconą temu zagadnieniu. Jak ma wyglądać ewaluacja? Jakie kryterium przyjąć: ocenę ekspercką, liczbę publikacji, a może ich wpływ? Oceniać jednostki czy dyscypliny? Co uwzględniać, a co bezwzględnie porzucić przy ocenie? Jak ułożyć na nowo listę czasopism i ich punktację? Czy utrzymać czteroletni cykl ewaluacji? Wreszcie, na co powinny oddziaływać jej wyniki?
Na te i wiele innych pytań postaramy się poszukać odpowiedzi wraz z zaproszonymi przez nas gośćmi. Ich nazwiska odkryjemy w przyszłym tygodniu. Już dziś warto sobie jednak zarezerwować termin 11 marca – debata online rozpocznie się o godzinie 18:00 i będzie transmitowana na kanale YouTube Polskiej Akademii Nauk. Więcej szczegółów już wkrótce.
Mariusz Karwowski
Moim zdaniem, NAJWIĘKSZYM problemem w tzw. systemie nauki i szkolnictwa wyższego w Polsce, jest to, że od dawna kładzie się ZBYT DUŻY nacisk na dziedziny humanistyczne i społeczne, a ma to swoje odzwierciedlenie wśród większej części społeczeństwa, która wręcz zionie niechęcią do wszystkiego, co tylko pachnie na odległość chemią, matematyką i fizyką. Studenci i decydenci biorą się przecież ze społeczeństwa, a "za studentem idzie pieniądz", więc kółeczko się zamyka. Gdyby to wyglądało INACZEJ tzn. chemia, fizyka i matematyka byłyby WŁAŚCIWIE doceniane, a talenty ludzi uzdolnionych w tych dziedzinach nie byłyby marnowane, to kiepski system ewaluacji owszem, szkodziłby całości systemu, ale nie aż tak bardzo. Trochę, jak ze zdrowiem: jednemu nie zaszkodzi parę kieliszków wina w ciągu dnia, a drugi nie może nawet kropli się napić.
Czy ewaluacja określająca poziom naukowy danej Instytucji powinna zawierać tylko publikacje, a gdzie dydaktyka, praca w różnego rodzaju komisjach doktorskich, habilitacyjnych, profesorskich. Promocja kadr w danej Instytucji, nadawanie stopnia naukowego doktora lub dr hab. Brak oceny za organizowanie i prowadzenie konferencji, podczas których następuje wymiana doświadczeń z prowadzonych wyników badań. Moim zdanie powinno oceniać się całą kadrę naukową danej Instytucji za jej publikacje (wszystkie) z danego okresu ewaluacji. Czy naukowiec publikujący tylko w 4 slotach mający 4 publikacje za 4 lata to jest najlepszy, bo udało mu się opublikować artykuły za 100 lub 200 pkt. w Ocenie publikacji należy poprawić również skale punktowe, ponieważ za uzyskany patent, który jest podsumowanie kilkuletniej pracy naukowca otrzymujemy 75 pkt, a za artykuł 10-15 stronnicowy 75 lub więcej pkt. Czas chyba w ocenie jednostki oceniać za wszystko co realizowane jest w obszarze nauki danej Jednostki naukowej.
Swego czasu usunięto KRYTERIUM IV z procesu ewaluacji jednostek naukowych --- POTENCJAŁ NAUKOWY ---- to był fundamentalny błąd reformy szkolnictwa wyższego i nauki, niestety nie jedyny .
Przede wszystkim jakość kształcenia studentów. To powinno być 30-50% oceny.
"Komu i do czego służy? ... Ocena dyscypliny według sumy slotów? " Po co rząd utrzymuje 135 uczelni publicznych? "
No nie, nie wie po co to komu i czemu służy? Od końca zacznę cała rzesza rektorów, dziekanów, pro, dyrektorów kierowników itd. to jest to, gdy rządzimy, to tam możemy upchnąć swoich by gawiedzią zarządzali i dobrze im się żyło. Wspomni hasło Słońca co wschodzi daleka stąd. Sloty to wypadek przy pracy. Jak tak można naszych co mają zero publikacji a są na stołkach karać i na dodatek jeszcze po 6 punktów ujemnych na każdą gwiazdę nauki dokładać, no jak tak można, przecież ocenę C lub D dostaną przez to. Oni są nad wszystkimi i to ich trzeba chwalić i podziwiać. Polska Nauka padnie jak takich geniuszy nie docenimy. Ci co chcą wnieść coś do nauki niech szukają sobie miejsca w obieraniu buraków, a wywrotowcy w ERC, lub Horyzontach byle nie w Polsce, bo są tu niepotrzebni, by błyszczeli.
Jak się ma IF czasopisma (w slocie) do wartości opublikowanego artykułu? Otóż nijak. W tym samym czasopiśmie bez trudu znajdziemy prace cytowane kilka razy i ponad 1000 razy. Czy mają taką samą wartość dla rozwoju nauki?
Z pewnością nie, a w Polsce zostaną ocenione tak samo.
Maturę co roku zdaje w Polsce około 250 tysięcy osób, a na studia przyjmuje się 400 tysięcy. Nie za dużo? Jeśli nie, to kiedy będzie za dużo? Wpływ takiej podaży na jakość kształcenia? Szkoda gadać. Według danych OECD umiejętności Polaków (czytanie, liczenie, rozwiazywanie problemów) szybko spadają.
Ma się nijak. Ale też oceniamy za względnie krótki okres. Trudno czasami przewidzieć, która praca jak będzie cytowana. Trudno oczekiwać, że praca z roku 2025 będzie w najbliższej ewaluacji wysoko cytowana. Zostają wskaźniki, które nie są idealne, ale są jakieś.
Jestem współautorem kilku publikacji z zakresu dziedzin ścisłych. Wszystkie zostały opublikowane w czasopiśmie, które kiedyś było punktowane, a część osób zaraz zapewne okrzyknęłaby go mianem "predator journal", wysuwając "wniosek" o małym znaczeniu wyników zawartych w tych pracach. Tyle, że nie znając CAŁOŚCI sprawy, ławo jest wyrokować. Mianowicie, po smutnych doświadczeniach drugiego Współautora z rozmaitymi czasopismami z uświęconej "Listy Filadelfijskiej", które odrzucały (czy to ze strony redakcji, czy też recenzentów), co rusz, zwłaszcza jedną z tych prac, szukając rozpaczliwie pretekstu, żeby ją odrzucić, zdecydowaliśmy się opublikować tę pracę (tekst został częściowo zmieniony), i pozostałe w tym właśnie czasopiśmie. Druga z tych prac, zawierająca wynik, który stanowi pewne wyzwanie dla jednego z ważnych i podręcznikowych wyników, też napotkała na opór. Zatem, zdecydowaliśmy się na publikacje tej i pozostałych prac, w tym właśnie czasopiśmie.
Rząd i agencje rządowe powinny oceniać uniwersytet i jego przydatność, a jego rektor decyduje o tym, jakim zespołem zrobi to, co co robić powinien. Nauka to gra zespołowa.
Takie proste rozwiązania działają dobrze, a kiedy nie działają (zdarza się), rozwiązuje się jednostkę i nie marnuje się pieniędzy podatnika. W jej miejsce powołuje się lepszą.
Po co komu dziwaczna slotowa ocena pracownika naukowego? Komu i do czego służy? Czy można ją przełożyć na ocenę jednostki? Ocena dyscypliny według sumy slotów?
Może ktoś potrafi na te pytania odpowiedzieć. Moim to błędna koncepcja, która nie ma żadnego logicznego uzasadnienia.
Po co rząd utrzymuje 135 uczelni publicznych? Może wystarczy 100, ale z lepszym finansowaniem?
Celem utrzymywania przez rządy państw uczelni jest pozyskanie dobrze wykształconych obywateli!
Państwo potrzebuje prezydenta, premiera, ministrów i ambasadorów, którzy są ludźmi o dużej wiedzy i mówią nie tylko po polsku. Podobno mamy za mało lekarzy, a ci których mamy mogliby być lepsi, rozwój nowych technologii leży, ochrona środowiska leży, kinematografia leży, itp. itd.
To znaczy, że uniwersytety trzeba przede wszystkim oceniać za jakość kształcenia. Po czym poznać dobrą jakość kształcenia? Są sposoby (mające sens w przeciwieństwie do liczenia slotów pań i panów N).
Na kierunki oferujące dobre wykształcenie zgłasza się najwięcej kandydatów, a przyjęci na studia to osoby z najlepszymi świadectwami. Na najlepszych kierunkach studenci kończą studia magisterskie i nie uciekają z nich po licencjacie. Po najlepszych kierunkach studiów, absolwenci pracują w zawodzie i wielu z nich uzyskuje później stopień doktora.
Cyt." Podobno mamy za mało lekarzy, a ci których mamy mogliby być lepsi, rozwój nowych technologii leży, ochrona środowiska leży, kinematografia leży, itp. itd."
Eeee tam, ależ Pan narzeka. Proszę się przejść po uniwersytetach, i popatrzeć, ile jest Katedr czy Zakładów: filozofii, politologii, filozofii polityki, filozofii prawa itp. itp. itp. Badają tę politykę, te politologie, prawo itp., że ho ho... Po co nam jakieś nowe technologie, przecież to pachnie fizyką i chemią, a kto wie, czy jeszcze jakiegoś zwarcia by gdzieś nie zrobili i prądu by zabrakło... ;=) ;=)
Nie podoba mi się stwierdzenie, zawarte w artykule, cytuję: „sternicy uczelni medycznych w swoim liście do ministra nauki wyliczyli szereg defektów obowiązującego dziś modelu: algorytm preferuje jednostki małe w stosunku do dużych”. Czyż by to oznaczało, że w dużych jednostkach jest więcej nierobów? Przecież każdy, zarówno w dużej, jak i małej jednostkach ma dostarczyć w ciągu 4 lat okresu ewaluacji tylko 4 sloty? Jak w radzie dyscypliny są 12 badaczy – to 48 slotów. Jak 120 – to 480 slotów. Czyż by rektorzy chcieli wprowadzić zależność malejącą liczby zgłaszanych przez jednostkę coltów od liczby badaczy? Jak 12 to 48, jak 120 to, na przykład, 240? Czym lepszy jest naukowiec w dużej jednostce od naukowca w małej?
Jeśli w jednostce, gdzie jest 20 badaczy przesunię sie jedną osobę na stanowisko dydaktyczne lub inne (żeby "ogon" nie ciążył) to daje to poprawia to efektywność o około 5%. Ten sam zabieg w jednostce, gdzie jest 200 badaczy wymaga przesunięcia 10 osób, a nie każdy chce zmieniać stanowisko.
większa jednostka = większy ogon
Owszem, 10 to więcej, niż jeden w liczbach. Procentowo to te same 5 %. To gdzie ten większy ogon? Jest jeszcze jeden sposób - tak zwana ocena okresowa. Co, w większych jednostkach nie funkcjonuje?
Autor może omamić tymi wywodami co najwyżej najsłabszych humanistów. Liczą się liczby względne/procenty a nie bezwzględne.
Aby porównywać która jednostka jest słabsza sprawdzamy wielkość "ogona" w procentach.
Słusznia uwaga. Dodatkowo najmniejsze jednostki N=kilkanaście, mają dać do 3 kryterium 2 opisy, tak samo jak jednostki 2 razy większe. Zatem to duże jednostki są faworyzowane.
Autor ~Fidelio 27.02.2025 22:32 pisze: ‘Minister ma w tej chwili bardzo dobry "moment konstytucyjny" do przeprowadzenia zasadniczych reform nie tylko ewaluacji, ale w ogóle finansowania nauki. Po prostu patologie narosły do momentu, w którym rozpętały burzę w środowisku i MINISTER MOŻE TERAZ LICZYĆ NA POPARCIE POLSKICH NAUKOWCÓW NAWET PRZY DRASTYCZNEJ ZMIANIE SYSTEMU, KTÓRA JEST BARDZO POTRZEBNA.”
Proszę uważnie prześledzić dyskusje w FA i innych mediach, dotyczących ewaluacji. Minister nie może liczyć na żadne poparcie, bo w dyskusjach rozkład 50 % na 50 %.
Jedna pięćdziesiątka uważa, że trzeba skasować wszystkie możliwe punkty i przejść na ocenę ekspercką. Druga pięćdziesiątka uważa, że należy zlikwidować wszystkie możliwe ingerencje ekspertów w ocenę jednostek.
O ocenach eksperckich w FA pisano wielokrotnie. Mówiła o tym i wspomniana w artykule Pani wiceministra nauki Karolina Zioło-Pużuk. Jest to, jej zdaniem, droga do uznaniowości lub inaczej do sterowania ręcznego oceną oraz finansowaniem nauki.
Dyskutanci tej drugiej grupy różnią się swoimi pomysłami szczegółowymi. Na przykład, nie oceniać tak zwanych wydawnictw „drapieżnych”. Lub punktować tylko czasopisma krajowe. Lub nawet przestać publikować w czasopismach, zastępując takie publikacje wywieszeniem artykułów na stronach internetowych uczelni.
Jakie są podstawowe wady systemu eksperckiego? Są to wady, wbrew pozorom, obecnego systemu ewaluacji, który jest praktycznie w 100 % ekspercki.
1. Kryterium I. Eksperci ustawiają punktację w oparciu o IF oraz CiteScore, a następnie je modyfikują zmieniając punkty o ±dwa poziomy. W FA było wiele przykładów tego, że czasopisma z podobnymi IF lub CiteScore drastycznie różnią się w punktacji.
Kryterium II. Eksperci wybierają, jakie złotówki są bardziej, które mniej warte w punktacji.
Kryterium III. Tu jest całkowita wola ekspertów w punktacji. W FA przytaczano takie przykłady – jak udowodnić co 4 lata wpływ na poziomie światowym nowych trendów w krajowej ekonomii, lub filozofii, lub energetyce?
2. Minister na podstawie opinii ekspertów ustawia poprzeczki dla zaliczenia jednostek ewaluowanych do odpowiednich kategorii. W kraju, jak wspomniano w artykule, jest 1133 rady dyscyplin. Z nich jedynie 70 (6,1%) znajduje się w kategoriach B oraz C i nie posiada uprawnień doktoryzowania. Oznacza to, że za drobnym wyjątkiem, wszystkie uczelnie mają możliwość doktoryzowania w kilku dyscyplinach. Obecny system ewaluacji, praktycznie w 100 % ekspercki, stworzył paradoks – uczelnia może doktoryzować, lecz nie może tego zrobić, bo nie ma odpowiedniej liczby pracowników samodzielnych do głosowania na radzie dyscypliny w sprawie nadania stopnia doktora. Skąd to wynika? Z wprowadzenia slotów oraz ich ograniczenia do 4 na badacza. Była propozycja ograniczenia liczby slotów do jednego. Doprowadziło by to do sytuacji, w której 99 % rad dyscyplin posiadała by kategorię A. Bo raz na 4 lata prawie każdy wypracował by jeden slot za 140 pkt.
3. Systemy rocznego obliczania IF oraz CiteScore w ciągu kilku miesięcy podają nowe wartości, natomiast zespół ekspercki na podstawie gotowych wartości nie potrafi w ciągu roku przygotować nową listę. Przypominam o ich zobowiązaniu przedstawić ją do końca roku 2024.
Każdy, kto nie jest zwolennikiem systemu eksperckiego, może dołożyć do tego wykazu kilka kolejnych wad.
Każdy, kto jest zwolennikiem systemu eksperckiego, może powiedzieć, że należy tak opracować system, żeby usunąć z niego te i inne wady.
Powstaje pytanie, ilu trzeba ekspertów, żeby w miarę spranie ocenili 1133 rady dyscyplin? Ile trzeba czasu, żeby eksperci mogli choć by pobieżnie przestudiować czteroletnie sprawozdania rad dyscyplin? Ile trzeba czasu, zęby eksperci opracowali strukturę (szablon) sprawozdania rad dyscyplin i ich oceny?
Należy stworzyć lub odtworzyć system, który funkcjonował do roku 2028, w którym nie było szans na uznaniowość. Po pierwsze, wyeliminować wpływ ekspertów na punktację czasopism. Po drugie, rozszerzyć liczbę poziomów punktacji. Na przykład, wprowadzić 8 poziomów, dzieląc kwartile CiteScore Q na pół. Najniższy – 15 pkt., najwyższy – 50 pkt. Po trzecie, tak jak i do roku 2018 uwzględniać w ewaluacji wszystkie publikacje z CiteScore. Ktoś może zapytać, a co z papiernikami? Tu jest pole do popisu dla NCN, NCBiR i innych jednostek finansujących. Przecież papiernicy płacą za artykuły, które dla nich produkują papierne, nie z własnej kieszeni, a ze środków publicznych. Należy wyeliminować taką możliwość finansowania papierników. Po czwarte, przywrócić listę B, w której największa liczba punktów wynosi mniej, niż dla artykułów z CiteScore, na przykład - 10.
A co z planowaną dyskusją? Przypuszczam, że zwycięży opinia, że należy wszystko oddać ekspertom. Bo głosy przeciwników będą podzielone, natomiast zwolennicy 100% władzy ekspertów już przygotowują się i wystąpią w zwartych szeregach. Bo jaki by nie był system ekspercki, łatwiej w tym przypadku doprowadzić do uznaniowości oraz sterowania ręcznego oceną oraz finansowaniem jednostek. Bo finalnie chodzi o kasę dla jednostek.
Tak jak pisałem w moich wypowiedziach o CERN jako przykładzie w innych komentarzach. Nie da się tego zrobić inaczej niż oceną EKSPERCKĄ, bo wtedy jednostki, które mają kolaboracyjne prace z wielkich eksperymentów typu te prowadzone w CERN (publikacje z tysiącami autorów), będą zdecydowanie uprzywilejowane (bo one generują dużą ilość artykułów). Jeżeli będziemy liczbę publikacji po prostu dzielić to przez liczbę autorów, to z kolei takie grupy będą poszkodowane, bo prace te nie skalują się 1-do-1 z liczbą autorów. Innymi słowy, generalizacja może prowadzić albo do uprzywilejowania "outliers", albo do ich degradacji.
Innymi słowy, nie da się wprowadzić jednego systemu, który obejmie wszystko. Na tym przykładzie widać, że nawet w ramach jednej dziedziny jak fizyka, nie da się porównać prac z dużych eksperymentów w CERN z jedno czy kilku-autorskimi pracami teoretycznymi.
Więcej szczegółów w moich wcześniejszych komentarzach.
Z jednej strony nie da się wprowadzić jednego systemu, który obejmie wszystko. Ale z drugiej, ten jeden system musi być, bo wszystko finansuje się takimi samymi złotówkami. Jak żyć?
Do ~Naukowiec z CERN 28.02.2025 17:54. Panie, obawiam się, że z oceny ekspertów, za którą Pan optuje, wyniknie, że artykuł jednoosobowy zostanie wysoko oceniony. Natomiast artykuł 1500 naukowców z CERN zostanie oceniony na 0 (słownie – zero). Uzasadnienie – na każdego autora przypada 10 wyrazów lub jedno zdanie. Oznacza to, ze przy składaniu wniosku na habilitację należy ocenić wkład własny na 0,0666%.
Do Naukowiec z CERN. Panie, znam się na fizyce. Wiele wiele lat temu (CERN wtedy jeszcze nie był nawet w projektach) mój promotor, światowej sławy naukowiec, nauczył mnie, że współautorami powinny być wszyscy ci, którzy brali udział w badaniach. Jak widać, Pan oraz pracujący w CERN nic nowego nie wymyślili. A teoretycy byli od zawsze obok doświadczalników. I pisali artykuły jednoosobowe. Ja, jak i Pan, wybrałem badania doświadczalne. I nie narzekam, że im (teoretykom) lepiej. Oni mają swoe problemy, my – swoje.
Do ~Naukowiec z CERN. Panie, w fizyce, a znam się na tym, zawsze był podział na teorię i badania doświadczalne. Tam artykuł pisała jedna, rzadko dwie. W badaniach doświadczalnych, jak wiele wiele lat temu uczył mnie mój światowej sławy promotor, współautorami artykułu musieli być wszyscy ci, kto brał udział w badaniach. Jak widać, nowego Pan nie wymyślił. Jak nie podoba się Panu to, że w badaniach doświadczalnych od zawsze artykuły wieloosobowe, to zajmij się Pan teorią.
Cyt."Jak nie podoba się Panu to, że w badaniach doświadczalnych od zawsze artykuły wieloosobowe, to zajmij się Pan teorią. "
...i oby to nie była teoria strun... ;=) ;=)
Do ~komentator 04.03.2025 16:39. Może być i teoria strun. Byle nie narzekać, że tam jest lepiej gdzie nas nie ma.
Bez ewaluacji, 50% na 50% znaczy że nie da się jej zrobić aby tak aby większość uważała ją za korzyść. Nie bez powodu w postępowaniach awansowych nie należy brać pod uwagę bibliometrii; wiadomo że to tylko generuje patologię.
Rozumiem, że ocenianie jednostek naukowych oraz pracowników naukowo-dydaktycznych jest konieczne. Jednak obecny system oceny jest wadliwy i prowadzi do patologii.
Po pierwsze, wrzucanie do jednego worka uczelni, instytutów badawczych i jednostek PAN jest nieracjonalne i niemiarodajne. Każda z tych instytucji ma inną specyfikę, cele i sposób funkcjonowania, a mimo to stosuje się wobec nich te same kryteria.
Po drugie, nadmierne nastawienie na publikacje sprawia, że nauka zaczyna być sprowadzana jedynie do liczby artykułów i punktów. Oczywiście, publikowanie wartościowych wyników jest ważne, ale nauka to znacznie więcej niż tylko produkcja tekstów. Skupienie się wyłącznie na publikacjach sprawia, że inne aspekty działalności naukowej, takie jak dydaktyka, współpraca z przemysłem czy popularyzacja nauki, schodzą na dalszy plan.
Co więcej, publikacje często nie przynoszą żadnej korzyści podatnikowi, a w wielu przypadkach to właśnie on musi za nie płacić – czy to przez finansowanie badań, czy poprzez konieczność wykupu dostępu do artykułów publikowanych w zamkniętych czasopismach.
Potrzebujemy systemu oceny, który uwzględnia realny wpływ nauki na społeczeństwo, gospodarkę i rozwój technologiczny, a nie tylko liczbę opublikowanych tekstów.
My tu sobie gadu, gadu a tymczasem ziszcza się świat według Lema. AI właśnie pisze publikacje naukowe i za chwile je sama zrecenzuje tak że żaden naukowiec nie rozpozna że to ona. Zostawić całą ewaluację AI. Ona sama ustali kryteria i wykona według nich ewaluację w sposób obiektywny, jednoznaczny, szybki i za darmo. Oczywiście będzie się można od tej ewaluacji odwołać do AI.
Minister ma w tej chwili bardzo dobry "moment konstytucyjny" do przeprowadzenia zasadniczych reform nie tylko ewaluacji, ale w ogóle finansowania nauki. Po prostu patologie narosły do momentu, w którym rozpętały burzę w środowisku i minister może teraz liczyć na poparcie polskich naukowców nawet przy drastycznej zmianie systemu, która jest bardzo potrzebna. A trzeba pamiętać, że to okno czasowe się zamknie i w braku odpowiednich działań obciąży polskie państwo zmarnowanymi szansami nauki i zmarnowanymi talentami.
Znacznie trudniej jest oczywiście orzec, jak nowy system powinien wyglądać. Przede wszystkim, w moim przekonaniu, należy odejść od automatyzmu i fascynacji rozmaitymi wskaźnikami i metodami bibliometrycznymi. Zabawa nimi prowadzi do nadmiernej radości twórczej, ale po pierwsze osoby zorientowane trochę w teorii podejmowania/wspomagania decyzji, gier, łatwo dostrzegą wady większości propozycji, po drugie każdy tego typu system da się ograć i będzie ogrywany. Podejścia takie zresztą skompromitowały się po prostu w praktyce. Szedłbym zatem w kierunku redukcji potrzeby/zakresu ewaluacji w ogóle, konserwatywnych subwencji idących nawet w kierunku ryczałtowym; system grantowy natomiast najlepiej chyba byłoby zdecentralizować i zdywersyfikować, umożliwiając beneficjentom wykorzystanie dobrodziejstw "konkurencji procedur" (i łatwą zmianę podmiotu grantowego, jeśli dotychczasowy się nadmiernie skorumpuje).
Nieustająco zastanawia mnie jeden fakt. Każdy poważniejszy naukowiec jest w stanie w prywatnej rozmowie, czy tu na forum, wymienić dobre czasopisma w swojej dziedzinie, scharakteryzować najważniejsze aktualne prace i rezultaty, a przeczytawszy artykuł, trafnie ocenić jego wartość. Natomiast kiedy przychodzi do formalnej oceny naukowców, nieraz ci sami ludzie, spętani sytuacją, kontekstem, wpływami i procedurami, produkują potworki ewaluacyjne. Jednak skłaniałbym się ku ocenie eksperckiej, pomimo, że wiem, jak silne w Polsce bywają układy. Gdyby zredukować dziesięciokrotnie masę publikacji (co wyszłoby nauce tylko na korzyść), i ocena ekspercka byłaby łatwiejsza.
Last but not least powodzenie zależy od wielkości finansowania. A system bibliometryczno-konkurencyjny akurat pięknie umożliwia niedofinansowanie nauki.
Minister ma rzeczywiście teraz niepowtarzalną okazję COŚ ZROBIĆ Z TYMI WSZYSTKIMI PATOLOGIAMI. Ale nic nie robi. Dlaczego?
Niektórzy wskazują na instynkt samozachowawczy.
Istotnie, minister ma w tej chwili bardzo dobry "moment konstytucyjny" do przeprowadzenia zasadniczych reform nauki. Gdyby pan znał ministra, wiedziałby pan, jak zabawne jest to stwierdzenie.
A pan miał go honor poznać?
Z pobieżnego rozpoznania wygląda na człowieka, który po doktoracie rozstał się z nauką, zajął czym innym. Teoretycznie zatem ma przynajmniej dość cenne połączenie 2 cech: z jednej strony ma podstawową orientację w nauce, wie, czym się różni artykuł naukowy od dziennikarskiego, z drugiej - jest człowiekiem z zewnątrz, poza układami.
Nie wygląda mi na Herkulesa, ale możliwość zmian zawsze staram się zakładać, one czasem, jak historia uczy, nadchodzą nadspodziewanie szybko :)
Znam osoby z ministerstwa i słyszałem zabawną anegdotę. Kiedy uwierzę w jej wiarygodność, to powtórzę.
Liczba Polaków prowadzących jakieś badania związane z CERN to około 500. Pamiętajmy jednak, że podobne praktyki występują w innych ośrodkach z fizyki wysokich energii (GSI w Niemczech, Fermilab w USA, Brookhaven National Laboratory w USA, J-PARC w Japonii, itp.). Poza fizyką wysokich energii podobnie jest w astronomii (duże teleskopy, interferometry do badań fal grawitacyjnych, itp.), oraz niektórych działach biologii (np. tutaj: https://www.nature.com/articles/35057062).
Jak pisałem poniżej - nie da się stworzyć jednych uniwersalnych reguł dla wszystkiego. Stąd nic nie zastąpi oceny w wąskiej specjalizacji i oceny eksperckiej. Zauważcie, że już teraz np. w informatyce punktuje się również konferencje, nie tylko publikacje. Dlaczego? Bo tam jest to równie ważny środek prezentowania swoich wyników, poprzedzony recenzją peer-review nadesłanych prac na taką konferencję.
W informatyce punktuje się również konferencje dzięki lobbingowi, jeśli chcemy użyć ładnego słowa, jest też słowo brzydsze. Obyczaj przypisywania kilkustronicowej pracy kilku tysiącom autorów jest nie do usprawiedliwienia, także dlatego że wśród tych kilku tysięcy jest całkiem sporo reprezentantów państw, których zasługą było załatwienie finansowania albo spraw biurokratycznych, co wiem ja potrafiąc wymienić nazwiska a pan pewnie wie jeszcze lepiej. W lesie łatwo ukryć liść. Dlatego też, że naprawdę wybitni teoretycy jak np. prof. prof. Trautman, Woronowicz czy św.p. Lewandowski kurczą się na tle w sumie urzędników naukowych.
Ktoś kiedyś usprawiedliwiał ten obyczaj, że eksperyment w fizyce wielkich energii to wielkie przedsięwzięcie, więc należy docenić wkład wielu ludzi, podając przykład filmu, który też ma długie napisy końcowe. Zgoda ale dostawca kanapek dla aktorów nie jest zapisywany jako reżyser. Autorami powinni być tylko ci, którzy ogarniają całość przedsięwzięcia.
Można dyskutować, czy to ma sens, czy nie, niemniej jednak to działa to od dekad i my w Polsce nie zmienimy tego jak działa cała branża na świecie. Wszystkie inne sposoby publikowania prac eksperymentalnych w HEP otworzą puszkę Pandory kto miałby być autorem.
Przykładowo, eksperymenty działają 24h/7 przez kilka miesięcy w roku. Każdego dnia w syrtowni jest kilka osób, np. 5, które odpowiadają za proces zbierania danych. Przez np. rok czasu takich osób nazbiera się kilkaset. Potem ktoś te dane kalibruje (znowu ileś osób dane z różnego okresu). Finalnie te skalibrowane i przetworzone dane z całego roku analizuje jakiś doktorant. Poten kilka osób z kolaboracji sprawdza kod do analizy i same wyniki, czy to ma sens. Każą robić dodatkowe testy. Sam manuskrypt mogą pisać jeszcze inne osoby.
Kto miałby być autorem? Tylko doktorant? Ci co zbierali dane? Ci co je kalibrowali? Ten doktorant co zrobił analizę? Ci co napisali manuskrypt? Tym sposobem robi się już kilkaset osób.
Film to też mnóstwo roboty a nie mają problemów z odróżnieniem reżysera od dostawcy cateringu. Jak kto publikuje i jak te artykuły są przyjmowane do publikacji to oczywiście nie nasz problem ale z rozliczeniem za to sobie możemy poradzić - starczy po prostu dzielić publikacyjne punkty i cytowania przez liczbę autorów. Jeśliby ten obyczaj przyjął się na czołowych uniwersytetach, to gwantuję panu, że w przeciągu tygodnia kierownicy eksperymentów poznaliby te cztery czy dwie osoby, które za eksperyment są odpowiedzialne, a resztę uznali po prostu za pracowników najemnych - kim zresztą są.
Poza tym - podoba się panu, że Andrzej Trautman ma 54 publikacje i 1466 cytowań a Łukasz Zwaliński (wyjdzie kwiprokwo jeśli to pan) tych publikacji 1367 i 87025 cytowań? Powie pan z ręką na sercu, że Łukasz Zwaliński jest znacznie lepszym fizykiem od Trautmana?
Łukasz Zwaliński to nie ja ;) Aby te praktyki się zmieniły, musiałoby tak się stać zarówno w samym CERN jak i najlepszych uniwersytetach na świecie, które w pracach takich eksperymentów uczestniczą, w tym Harvard, MIT, Oxford, Caabridge, ETH Zurich.... Tylko, że tam nikt nie ma z tym problemu. Takżę my tu na własnym podwórku nie wpłyniemy na to jakie są pratyki całej dziedziny na świecie.
Dlatego też Memorandum Europejskiego Towarzystwa Fizycznego (https://cds.cern.ch/record/2014643?ln=en) jasno mówi, że wskaźniki typu ilość publikacji, indeks H, itp., nie mają sensu. w przypadku fizyki wysokich energii i mogą wprowadzać w błąd, cytuję:
"In particle physics, it has become prevalent because of the size and complexity of the needed experiments and the time necessary to build experimental facilities and then to acquire and analyze the data. As a result, particle physics publications are authored by all collaboration members, listed in alphabetical order. Members of large collaborations are therefore authors of hundreds of papers with very similar author lists.
[...]
Given the publication practices mentioned above, the usual indicators such as citation index, h index, ranking in the author lists, etc., are not useful in the field and can be misleading. Evaluators should rather focus on the most significant publications indicated by the candidates and look in detail for the specific role they have played in each of them. Have they been authors of the analysis that led to the publication (quite often, several analyses compete within a collaboration but only a single result is published based on the best tools and ideas used in these different approaches) or worked on a key technical contribution for that paper? Have they defended the final analyses in front of the collaboration? Have they been selected as a contact person for the journal reviewers? It is important to notice that even in such papers there is often a significant number of people entitled to claim a crucial role. This is a fact and necessity of our field, which does not diminish the merits of individual contributors."
Nie można zatem porównywać prof. Trautmana do losowej osoby tylko pod względem ilości publikacji. Pamiętajmy też, że tu mówimy o badaniach eksperymentalnych a nice teoretycznych. Nawet w przypadku Nagrody Nobla z fizyki w 2012 roku za bozon Higgsa, nagrodę dostali teoretycy, którzy nie brali udziału w pracach eksperymentalnych. Przykładowo, znowu praca z eksperymentu ATLAS:
https://www.sciencedirect.com/science/article/pii/S037026931200857X?via%3Dihub
Ma ponad 8 tysięcy cytowań I dała Nagrodę Nobla Peterowi Higgsowi I Froncois Englertowi za ich peace teoretyczne z lat 60!
Jednym z autorów w liście wymienionych alfabetycznie jest np. Fabiola Gianotti, obecna Dyrektor Generalna CERN, która jest bardzo znanym fizykiem: https://en.wikipedia.org/wiki/Fabiola_Gianotti. W tamtym czasie była kierownikiem (spokesperson) eksperymentu ATLAS i jak widać w żaden sposób w samej pracy nie jest to wyróżnione - i nikt nie ma z tym problemu.
Powiedzmy, że my dwaj nie mamy z tym problemu. Mają problem z tym fizycy teoretycy na uniwersytetach, bo system ewaluacji doświadczalników stawia wiele wyżej i całkiem często brutalnie z tego korzystają - polska kołdra jest niestety krótka. Ma kłopot zdrowy rozsądek, bo za wyjątkowo udany atlasowy eksperyment nagrodę dostaje pani Gianotti a nie Georges Aad - choć w żadnym publicznym dokumencie nie jest zaznaczone, że to ona była ważniejsza. O problemach urzędników nie piszę, bo dla nich sukcesem pewnie jest zawiązanie sznurowadeł i wyjście z domu.
Pamiętajmy, że mówimy o ewaluacji. To tylko pokazuje, że to system ewaluacji jest zły. Nie da się oceniać tylko po ilości i wskaźnikach - trzeba oceniać CO się zrobiło, a to może zrobić TYLKO ocena ekspercka. Tu chciałem pokazać, że nie da się stworzyć JEDNYCH kryteriów (jednakowych punktów) do WSZYSTKIEGO, bo zawsze będą takie wąskie specjalizacje, które będą odstawać. Porównywanie naukowców po liczbie publikacji i cytowań też wprowadza w błąd! Czasami jedna publikacja jest przełomowa, a czasami publikację nieudaną (albo błędną) też się cytuje w innych pracach, żeby pokazać, że robimy inaczej.
Żeby było jasne, ja nie gloryfikuję systemu prac kolaboracyjnych. Jest wiele rzeczy, które mi się tu nie podoba i tak, są na listach autorów osoby, które jedynie co robią to przynoszą pieniądze dla tych eksperymentów a rzeczywiście żadnej pracy naukowej nie robią. Trzeba to wziąć pod uwagę patrząc na takie prace. Recenzując doktoraty, czy habilitacje i profesury w tej dziedzinie nauki jest oczywiste, że bada się co dany kandydat zrobił, a nie patrzy na typowe wskaźniki bibliometryczne. Do potwierdzania dorobku służą listy referencyjne często od zagranicznych kolegów i od szefów eksperymentów - i to wystarcza.
Po prostu w takiej sytuacji definicja autora publikacji jest inna, i tyle. Nie można ich porównać do kilku-autorskiej (lub jednoosobowej) publikacji z innej branży.
OK, recenzując doktoraty, czy habilitacje i profesury bada się co dany naukowiec zrobił, a nie patrzy na typowe wskaźniki bibliometryczne. Tylko skąd wiemy, co dany naukowiec zrobił, skoro jest jednym z tysiąca na liście autorów? Z tzw. poczty pantoflowej. Ale plotki że jedna pani drugiej pani to nie jest nauka, nauka to tylko to co napisane i potwierdzone. Sam miałem przypadek, że mój współautor rozpowiadał cuda o naszej pracy, że to on zrobił wszystko, ja nic i nie wiadomo skąd się wziąłem na liścia autorów. On był jeden a jakby było takich tysiąc? Zdecydowanie - powinno być jak w filmie, konkretna lista, co kto zrobił. Ale to nie mój problem.
Cyt."OK, recenzując doktoraty, czy habilitacje i profesury bada się co dany naukowiec zrobił, a nie patrzy na typowe wskaźniki bibliometryczne."
Jeśli pisząc "habilitacje" ma Pan na myśli dorobek zgłoszony we wniosku habilitacyjnym, to jednak to co Pan napisał, nie jest zdaniem prawdziwym. Patrzą się właśnie na liczbę cytowań (i oczywiście, indeks Hirscha), a niekoniecznie zawsze oceniają to, co zrobił delikwent. Powinni, ale niestety, życie pokazuje nierzadko, że jest inaczej.
Podział punktów przez liczbę współautorów ograniczy dopisywanie kolegów., przełożonych, kochanków obojga płci itp.
Jednostka zatrudniająca wykaże publikację, niezależnie czy będzie ona wieloautorska czy solowa., natomiast nieroby, pozoranci i kretyni nie, i jeśli nikt ich nie dopisze powinni zostać usunięci z nauki.
Co do uwag o setkach współautorów publikacji z CERN, a ileż to Polaków łapie się do takich zespołów w ciągu roku. Trzech czy może aż czterech? Więc proszę nie wymyślać argumentów na wyrost. 99 procent nawet nikt by do CERN-u nie wpuścił.
Publikacje o liczbie współautorów powyżej 10, może 15 osób (do ustalenia) powinny mieć zmodyfikowany system punktowania i oceny eksperckiej ponieważ trudno jest w takim wypadku określić realny wkład pierwszego lub przedostaniego autora poprzez zwykłe wydzielanie wkładów.
Tak, dzielenie punktów pomiędzy autorów to podstawa, gdyż obecnie jakieś "rozmnażanie" następuje...
Proszę się zapoznać z takimi doniesieniami:
https://www.researchinformation.info/news/swiss-library-consortium-renews-deal-with-mdpi/
https://www.researchprofessionalnews.com/rr-news-europe-universities-2024-12-german-universities-agree-gold-open-access-deal-with-publisher/
https://www.researchinformation.info/news/jisc-and-mdpi-extend-open-access-agreement/
Myślę, że Niemcy, Szwajcaria i UK nie są najgorsze, jeśli chodzi o swoje uczelnie. Przypominam, że ETH Zurich jest wysoko w rankingach szkół: cytując Wikipedię: ETH Zurich is ranked 7th worldwide (first in Switzerland) in the QS World University Rankings 2025, 11th worldwide (first in Switzerland) in the Times Higher Education World University Rankings 2024.
Czy coś więcej trzeba dodawać? Może nasza wybitna śmietanka ekspertów się do tego odniesie?
Naprawdę naprawmy ewaluację w nowej edycji o aktualizację poprzez systemy IT i brak manipulacji przez "ekspertów". Pamiętajmy, że punkt widzenia zależy od punktu siedzenia. Tak jest ze wszystkim, również z ekspertami. Koniec końców, wszyscy jesteśmy tylko ludźmi ze swoimi wszystkimi ograniczeniami i podatnościami na różne formy lobbingu.
Stwórzmy system odporny na manipulacje i w oparciu o różne wskaźniki tak, aby nie preferować Clarivate albo Scopusa i na tej podstawie niech algorytm przypisze jakąś wartość w określonej skali. Może być nawet takiej jak jest na studiach 3.0-5.5, po co jakieś skale 20, 40, 70... Swoją drogą nigdy nie rozumiałem logiki, skąd różnica między poziomem 20, a 40 to 20 pkt, ale pomiędzy 40, a 70, 30 pkt. Czy ktoś to może racjonalnie i logicznie wytłumaczyć?
Przedłużanie umowy z MDPI to jeszcze nie jest akceptacja wysokiej oceny tych czasopism. Np. w norweskim systemie 0, 1 i 2 punktów czasopisma MDPI mają 0 punktów.
A co to jest wysoka ocena jakości czasopism? Co to za miara? Jak przyjąć, że to czasopismo jest wysokiej jakości? Przecież ostatnie lata pokazały wysyp paper mills i retractions w Elsevierze i Springerze. Proszę zobaczyć na forbetterscience. Liczy się to, gdzie publikuje świat, a nie widzimisię "ekspertów". Tym sposobem mieliśmy Pedagogikę Katolicką za 200 pkt. Ile w Pana norweskim systemie jest warte to czasopismo? Podpisywanie takich umów bezpośrednio oznacza w pewnym sensie zachętę do publikowania potwierdzoną przez te instytucje. Nie jest prawdą co Pan piszę, więc zanim Pan napisze to proszę sprawdzić, a nie podawać fake newsy! Przykładowo Symmetry albo Entropy jest na poziomie 1 w tym Pana przykładzie z Norwegii. A więc tym samym udowodniłem Panu kłamstwo. Następnym razem proszę nie podawać fałszywych stwierdzeń.
Rozważanie jako szczególnie ważnego problemu niszowego czasopisma "Pedagogiki Katolickiej" to przykład odwracania uwagi od istoty problemów polskiej listy czasopism. Np. powstawania ogromnej liczby publikacji w 140p mega journalch MDPI Energies oraz Materials. Powinienem był napisać zdecydowana większość publikacji MDPI ma w systemie norweskim 0 punktów. Kilka lat temu gdy sprawdzałem wszystkie miały 0. Dlaczego pisac od razu o "kłamstwie"?
Jeśli sprawdzi Pan dla tych dwóch journali dynamike wzrostu liczby publikacji z kolejnych technicznych uczelni w Polsce od roku 2018 aż do roku 2024 i przeczyta ich tytuły (łatwo to zrobic na stronach tych czasopism) to widac będzie co jest realnym problemem (nie "Pedagogika Katolicka") i z jak dużym wysypem słabych publikacji mamy tu do czynienia. To samo dotyczy czasopisma Sustainability - w jeszcze wiekszym stopniu (masowa produkcja słabych publikacji) - choć w tym wypadku mamy już ponad 3000 specjalnych wydań rocznie (!):
https://paolocrosetto.wordpress.com/2021/04/12/is-mdpi-a-predatory-publisher/
Aby zorientować się jak głębokie sa problemy z nauką światową zachęcam przeczytać wpływowy Financial Times z kwietnia 2023 (Eleanor Olcott Clive Cookson Alan Smith MARCH 28: China’s fake science industry), a aby nabrac dystansu w ogóle do parametryzacji nauki ten artykuł z prestiżowego PNAS https://doi.org/10.1073/pnas.2021636118
I znowu kłamstwo. Niemożliwe jest, aby większość miała poziom 0, skoro właśnie miały poziom 1. Które miały poziom 0 w przeszłości? Po prostu kłamie Pan i opiera na nieprawdziwych informacjach. Udowodniłem to w poprzedniej wypowiedzi i przyznał się Pan do kłamstwa. Przecież nie będę nazywał białego czarnym. Na jakiej podstawie Pan uważa, że są to słabe publikacje? Pan jest ekspertem? Wie Pan ile błędów jest w publikacjach? Ile wyników, których nie da się powtórzyć? To jest bolączką tego systemu i każdy musi podchodzić z dystansem do wyników badań. Dzisiejsze czasopisma, które były uznawane, potraciły swoją renomę, którą miały na zasadzie dziedziczenia. Przykładem jest Chemosphere, wie Pan, że nie ma już IF? No właśnie, a miało 7/8, wcześniej. Więc problem jest ogólny. A przyrost liczby artykułów mnie nie dziwi, to normalne, że przyrastają, bo ludzie szukają kanału, aby przedstawić wyniki swoich badań. W jaki sposób wytłumaczyć to, że mój artykuł jest z edytorem 3 tygodnie? Tyle trwa initial screening? No dajmy spokój... W takim tempie to za pół roku będę po pierwszej rundzie poprawek. W innym artykule dostałem 3 zdania recenzji od jednego recenzenta, a od drugiego 1 zdanie. To były recenzje, na które czekałem circa 25 dni z IEEE, z IF ok. 4, wieloletnie czasopismo.
Prawda jest taka, że to jaką wartość ma nasz artykuł nie ma znaczenia, w jakim kanale został opublikowany, tylko czy przyczynił się do rozwoju dyscypliny naukowej, wpłynął na innych. Można sprawdzić w jakim kontekście był cytowany (chodzi o jakościowe, nie ilościowe podejście).
Niestety bez czytania publikacji nic nie da się usprawnić (!!!) co widać po wpadkach nawet poważnych journali i znanym, ogólnym upadku tradycyjnych wartości metody naukowej w badaniach
https://en.wikipedia.org/wiki/Why_Most_Published_Research_Findings_Are_False
W czeskiej parametryzacji rozsyłano artykuły do dwóch recenzentów (oczywiście z poza Czech) i akceptowano ich uśrednioną ocenę jeśli nie różniła się drastycznie. W przeciwnym wypadku dodawano trzeciego recenzenta który rozstrzygał kto w tym sporze miał więcej racji.
System obiektywny nie musi być dobry. A już system oparty na wielu wskaźnikach zawiera zawsze subiektywną decyzję, jak te wskaźniki łączyć. Nb., łączenie ich z użyciem ważenia (przez punktowanie poszczególnych kryteriów) ma istotną, naprawdę istotną wadę teoretyczną (i praktyczną) - patrz tzw. paradoks Korhonena - i w ogóle nie powinno być stosowane, o czym mało kto wie, a już z urzędników - nikt.
Najgorsi są oczywiście urzędnicy z tytułem profesora.
A jakże ktoś musi być winny. Ahierarchia stała się faktem na uczelniach. Nie tylko studenci oceniają profesorów, dr, dr hab. także.
Uczelnie powinny być oceniane w trzech, w zasadzie równorzędnych kategoriach:
1. Jakość nauczania.
2. Konkretne rozwiązania dla rozwoju gospodarki, kultury i sztuki w Polsce (zlecenia rządowe i współpraca z gospodarką)
3. Poziom badań podstawowych, z rzetelną rzeczową oceną tych badań, niepolegającą tylko na liczeniu sztuk publikacji i IF czasopisma.
Aktualna ewaluacja w Polsce to żenujący poziom piaskownicy.
Odnośnie punktu 3 wyobraźmy sobie sytuację, w której do Nature, do Science, do Cell, a także do polskich czasopism naukowych na dobrym poziomie, poczytnych i zrozumiałych dla całego środowiska naukowego, a nie tylko dla niszowców zapętlonych w swoim naukawym slangu, trafiają artykuły, które nie tyle przeszły recenzję mniej lub bardziej przypadkowego recenzenta, zniechęconego tym, że recenzuje za darmo, a później musi raz jeszcze czytać poprawione, wymuszone systemem "publish or perrish" naciągane wypociny naukowców postawionych przez system pod ścianą, jeszcze raz musi odczuwać ból, który o tyle możemy nazwać poznawczym, że dowiaduje się on czego by nie chciał o marnej kondycji piszącego pod przymusem Homo sapiens, ale jest inaczej: trafiają tam artykuły, które zostały przez redakcje zamówione, ponieważ już wiadomo, że są dobre i poczytne.
Niemożliwe?
Możliwe. Wystarczy, żeby artykuły naukowe powstawały nieco inaczej. Żeby preprint powstawał na stronie macierzystej jednostki naukowej i tam już otrzymywał swój numer DOI, bez recenzji, na własną odpowiedzialność badacza, przy zachowaniu wolności słowa i autonomii uniwersytetów, na takiej zasadzie, że masz do tego prawo. Po opublikowaniu przez badacza, artykuł byłby dostępny dla wszystkich podatników, a zatem wreszcie uczelnie wywiązałyby się z obowiązku udostępniania wyników badań tym, którzy za nie płacą. Ci "zwykli ludzie” – podatnicy, a także naukowcy mogliby artykuł komentować i krytykować. Od momentu opublikowania mógłby być także cytowany.
Wydawnictwa naukowe powstały po to, żeby szerokiej publiczności udostępniać najciekawsze wyniki badań naukowych i wreszcie spełniałyby te oczywiste oczekiwania czytelników.
Co podatnikowi dzisiaj po tym, że sponsorowany przez niego naukowiec opublikuje coś w "znakomitym", prestiżowym czasopiśmie, kiedy tenże podatnik nie ma do niego dostępu, a za pojedynczy artykuł musi zapłacić około 30 dolarów, zanim go przeczyta. Dodajmy, że o ile tytuły artykułów naukowych są zwykle zachęcające, o tyle treść często i gęsto bywa rozczarowująca. Podatnik, raz przeczytawszy marny artykuł, drugi raz, za kolejny, być może dobry, nie zapłaci. Mamy zatem sytuację, w której naukowiec i jego uczelnia za pieniądze podatnika (niemałe) ukrywa przed nim jakość prowadzonych badań i wyniki uzyskane za jego pieniądze.
Gorzej być nie może, choć optymiści zwykle są innego zdania :-)
Czas na zmiany; naukowcy i politycy powinni dorosnąć. Rozwiązanie jest proste, a dla uniwersytetów bardzo korzystne, choć wprowadzając je możemy obawiać się tego, że wydawcy się nie ucieszą i przypilnują polityków, ministrów i rektorów, by wprowadzenie takich zmian było "niemożliwe".
Wyniki ciekawych badań naukowych dostępne na stronie uniwersytetu to znakomita reklama i rzetelna informacja dla jego potencjalnych sponsorów i dla kandydatów na studia. To też kwestia godności i autonomii świata nauki.
"Wydawnictwa naukowe powstały po to, żeby szerokiej publiczności udostępniać najciekawsze wyniki badań naukowych"
Nie. Powstały po to, aby zarabiać pieniądze pod pretekstem upowszechniania wiedzy.
Świetna propozycja!!! Bardzo popieram!
Niech ministerstwo to przeczyta! Brawo
Jeśli oceniać jednostki naukowe tylko wedle tego, GDZIE kto opublikował, a nie według tego, CO opublikował, to już lepiej od razu to wszystko pozamykać i oszczędzić pieniądze.
Problemem jej konieczność oceny niedługo po publikacji. Jakby móc poczekać 10, albo lepiej 20 lat, to rzeczywiście można by zobaczyć, które wyniki miały wpływ i znaczenie dla rozwoju dyscypliny. Natomiast po roku, czy nawet 4 od publikacji ciężko to ocenić. Stąd stosujemy (oczywiście niedoskonałe) proxy w postaci GDZIE kto opublikował.
- Franek! Sprawdź czy w naszym radiowozie działa lewy kierunkowskaz. - mówi milicjant do kolegi.
- Działa, nie działa, działa, nie działa.
Naukowiec nie jest migaczem, by jego wyniki oceniać w cyklu sekundowym. Albert Einstein był wybitnym fizykiem nawet jeśli w ostatnim tygodniu nie wymyślił nowej teorii względności. Nie ma żadnej konieczności oceny dorobku uczonego miesiąc a nawet niechby i rok po publikacji.
W rzeczy samej
Zgoda.
"Zlikwidować sloty i punktować wszystkie powstałe publikację." A jakże, trzeba zlikwidować i papiernika zatrudnić i można się wozić do samej śmierci na stołach i kasę trzepać i głowy nie zawracać i na szkło parć i wszystkich pouczać .
Gdy są sloty to miernoty wypadają, a instytucja dostaje ujemne punkty, a kategoria spada do C, czyli na bruk wypadamy. Jak piskorze się wiercą wielcy naukowcy, byle się do nich nie dobrali i pokazali kim są i gdzie ich miejsce, czyli poza nauką. Inaczej to nauka będzie kuleć i dołować jak się miernot nie pozbędzie.
Najpierw pilnie poprawić parametryzację roku 2025:
1. Wkład procentowy w punkty wyłącznie dla autorów z danej jednostki bez względu na liczbę punktów danego czasopisma.
2. Przyjąc SCIMAGO jako najlepszą miare wpływu czasopisma na wskaźniki bibliometryczne
3. Zdegradować do poziomu max 70p czasopisma o wiekszej niż dwóch wydaniach specjalnych rocznie.
Następnie, na przyszłość, przyglądnąć się parametryzacji w Czechach, Norwegii i Wlk.Brytanii i wykorzystać stosowne doświadczenia z tych krajów. W szczególnosci wzorem parametryzyacji w Czechach przyjąc mieszany system punktowo-ekspercki w którym artykuły o wstępnie przypisanej liczbie punktów byłyby wysyłane do ekspertów którzy mogliby utrzymać, podnieść lub obniżyć ocenę. Przyjąc punktację 200p dla 20% najlepszych journali, 100p dla pozostałych 80% i 20p dla czasopism bez IF.
Diagnoza szersza zostąła opublikowana dwa lata temu w FA nr 4/2023 "O parametrycznej i eksperckiej ocenie pracy naukowej"
"Zdegradować do poziomu max 70p czasopisma o wiekszej niż dwóch wydaniach specjalnych rocznie."
Ponawiam pytanie, dlaczego nie trzech? Albo czterech?
Proszę sprawdzić liczbę wydań specjalnych czasopism uważanych za wzorowe, np. Bulletin of the Seismological Society of America, Journal of the Acoustical Society of America, Royal Society etc.
Specjalne wydania dotyczą jakiejś nowości (np. powstawania tzw. emerging science) itp. Musi istnieć merytorycznie ważny powód aby powoływać specjalne wydanie. W przeciwnym przypadku od publikowania są zwykłe numery. Czy max liczba powinno być 1 wydanie na rok czy może 2 lub 3 wydania w roku należałby zrobic tzw. "research". Ale to da się ustalic.
Jednak więcej niż 10 wydań specjalnych miesięcznie oznacza po prostu naganianie "klientów" do działalnosci zarobkowej płatnego czasopisma. A gdy to czasopismo jest tzw. megajournalem - czyli ma w zasięgu publikowania prawie dowolny obszar badań i 7-dniowe czasy recenzji to mamy do czynienia upadkiem poziomu naukowego publikowania poprzez tzw. "peer review".
Faktycznie, trzeba iść na kompromis: zgadzamy się na 4. Trzeba usunąć czasopisma opierające się armii domokrążców.
A co zrobić z tymi czasopismami które mają ponad 1000 specjalnych wydań rocznie?
A co z tym które mają ponad 3000 specjalnych wydań rocznie i są bardzo popularne w Polsce.
https://paolocrosetto.wordpress.com/2021/04/12/is-mdpi-a-predatory-publisher/
Może zwykła degradacja punktów tu nie wystarczy?
Niektórzy, w dobrej wierze umieszczają tam swoje publikacje. W końcu patrząc na punkty Ministerstwo wysoko je oceniło. Co zrobią autorzy tych publikacji gdy za kilka lat recenzenci ich dorobku w awansach habilitacyjnych lub profesorskich będą źle oceniać ich dorobek sugerując się nazwą czasopisma?
Co zrobią autorzy tych publikacj? Poniosą konsekwencje swoich decyzji.
Mówimy o uczonych, niech zrobią "research", czytają forum akademickie a potem podejmują decyzje. Zasady ewaluacji i listy ministerialne ciągle się zmieniają nie można na tej podstawie planować swojego całego życia zawodowego. W postępowaniach awansowych ocenia się merytorycznie; istnieją ludzie, którzy poza MDPI nie potrafią za wiele opublikować i jest to bardzo znaczący fakt.
Zlikwidować jakiekolwiek punkty.
Zrobić listy dziedzinowe i dla dyscyplin (po 3 -4 na dyscyplinę i dziedzinę). Oddać je "w ręce naukometrii".
Ewaluować tzn. analizować, w celu podejmowania decyzji na szczeblu rządowym, KRASP, itd., a nie oceniać.
Do oceny zasadności kategorii naukowych wystawiać po np. kilkanaście prac z każdej listy - wytypowanych przez jednostkę i wnoszących novum.
Przywrócić znaczenie monografii.
1. Oceniać dyscypliny, przecież po to zostały utworzone.
2. Utrzymać cykl czteroletni.
3. Lista czasopism wg. ćwiartek, odpowiednio 40, 70, 100, 140 punktów.
4. 20 punktów dla czasopism bez IF
5. 200 punktów dla naprawdę topowych czasopism.
6. Podział punktów przez liczbę współautorów.
7. Usunąć z listy wszystkie drapieżniki typu MDPI i podobne.
8. Zlikwidować sloty i punktować wszystkie powstałe publikację.
To można zrobić na jednym posiedzeniu komisji.
Ludzie, po raz kolejny piszecie nielogicznie. Z jednej strony wg ćwiartek IF czy scopusa, a z drugiej usunąć "drapieżniki". Czy naprawdę nie rozumiecie, że czasopismo należy oceniać odrębnie od oceny wydawnictwa? Czy możecie podać definicje czasopisma drapieżnego? Idąc tym tropem wiele czasopism tak można zaklasyfikować, a nasze polskie czasopisma to wcale nie są drapieżniki, gdzie przyjmują wszystkie prace? Przecież, są bazy międzynarodowe i trzymajmy się tego. Każda inna ocena będzie uznaniowa. A nie jakieś ustalenia typu wartość punktowa to 5*pierwiastek z średniej oceny ekspertów*2*IF*0,7*SNIP/punkty przyznane przez KEN*punkty ministra ...
Ewaluację należy oprzeć na wskaźnikach, stworzyć system aktualizujący je i w oparciu o to wysyłać do bazy danych informacje o klasie czasopisma w danej dziedzinie. Nawet do tego można zrobić GUI i stronę, aby był ładny interfejs i można było przeglądać wszystko, a nie pdf złożony z 500 stron ... Mamy XXI wiek.
To można zrobić w tydzień.
To rzeczywiście trudny problem: co to jest "predatory journal"?
Już kilka lat temu pisano o tym:
https://paolocrosetto.wordpress.com/2021/04/12/is-mdpi-a-predatory-publisher/
Pełna zgoda
Można, ale ta propozycja niczego nie zmienia, wręcz wprowadza kolejne poziomy absurdalnej optymalizacji i patologizacji.
Publikacja w Nature z 10 współautorami pochodzącymi z jednej jednostki? Rozumiem, że każdy autor dostanie po 20 pkt (bo przecież dzielimy)?
To teraz porównajmy to do dwuosobowej publikacji za 100 pkt. Rozumiem, że każdy autor dostanie po 50 pkt (bo przecież dzielimy)?
Jaki jest wtedy sens publikowania w najlepszych czasopismach na świecie? Jaki jest sens prowadzenia trudnych badań?
Wątpię czy autor tej absurdalnej propozycji poświęcił chociaż minutę na jej przemyślenie!
Publikacja w Nature z 10 współautorami pochodzącymi z jednej jednostki? Rozumiem, że każdy autor dostanie po 20 pkt (bo przecież dzielimy)?
Ze statystycznego punktu widzenia mamy po 10% udziału przy 10 współautorach, ale chyba tak nie jest, więc niektórzy mają więcej a inni są dopisani, nawet jak 5% to ze statystycznego punktu widzenia, a więc naukowego, jest mało prawdopodobne, aby taki ktoś miał jakikolwiek udział w powstaniu publikacji.
Niech więc ci co mają większy udział w powstaniu publikacji zastanowią się nad tym czy warto dopisywać.
Dzielimy przez liczbę współautorów - niezależnie czy to inne dyscypliny czy jednostki - wszakże jest to ocena jednego pracownika a suma ocen pracowników daje ocenę jednostki czy dyscypliny.
Tak, trudne, że aż niektórych boli głowa jak myślą jak im przyjdzie w takich warunkach kombinować, aby się wykazać a nie narobić.
Oczywiście, że nie. Napisanie i opublikowanie jednej pracy w Nature zazwyczaj (są wyjątki) wymaga dużej grupy ludzi, masy sprzętu, i jeszcze naprawdę dobrego pomysłu. To nie jest porównywalne z napisaniem jednej pracy we dwójkę w niszowym piśmie - to nawet w naukach eksperymentalnych często można zrobić w kilka miesięcy, a jak się ma trochę szczęścia, to nawet w kilka tygodni. Pomysł z dzieleniem punktacji przez liczbę autorów robi dwie rzeczy: (1) premiuje prace proste i przyczynkarskie, oraz (2) premiuje dyscypliny, w których nie jest potrzebna żadna szersza współpraca.
Na razie to co Pan proponuje prowadzi do patalogii, a z tego co Pan pisze takie zespoły już są finansowane bardzo dobrze gdyż mają masę sprzętu i wystarcza na zatrudnianie dużej grupy osób. Nie każdy w Polsce ma takie szczęście - co rozumiem przez szczęście - do obozu koncentracyjnego trafiało dużo osób, wiele nie przeżyło ale byli tacy co przeżyli - to jest szczęście i jak Pan takie ma w swej pracy naukowej to niech się Pan cieszy a nie deprecjonuje innych, których takiego szczęścia nie maja.
Szanowny Panie, każdy system oceny ilościowej prowadzi do patologii. Dzielenie punktacji przez liczbę autorów doprowadzi do sytuacji, w której dwuosobowa praca w "Zeszytach Naukowych Politechniki Śląskiej" (wybrałem losowo, 70 punktów) będzie oceniana przy ewaluacji wyżej, niż dziesięcioosobowa w "Nature". I wyżej, niż czteroosobowa w uznanych na świecie pismach bardziej wyspecjalizowanych. Przecież to absurd. Rozumiem postulat, że ważna jest treść, nie miejsce publikacji. Tak być powinno, ale na razie jest, jak jest.
Nie narzekam na zespół, w którym pracuję. Ale te duże prace są często wieloautorskie, bo wymagają stosowania wielu technik badawczych i sporego doświadczenia w ich użyciu. Nie ma niczego nadzwyczajnego w tym, że w związku z powyższym na liście autorów są ludzie z pięciu czy sześciu jednostek. Właśnie dlatego, że mają sprzęt i doświadczenie. W niektórych dyscyplinach nie da się prowadzić poważnych badań w obrębie jednego zespołu.
Niczego i nikogo nie deprecjonuję. Startowałem w warunkach laboratorium, w którym niczego nie było. Prowadziłem (i nadal mi się zdarza prowadzić) badania prawie bez środków. Wiem, jak to jest. Zdarzały mi się prace niszowe, niewielkie, opisowe, wręcz przyczynkarskie właśnie, i nie widzę w nich nic złego. Ale też mam świadomość, że nie pchnęły nauki na nowe tory. Ustawianie zasad oceny w sposób, który będzie faworyzował takie prace, nie wyjdzie na dobre nikomu.
A przecież to tylko ewaluacja jednostek na potrzeby dystrybucji środków budżetowych pomiędzy te jednostki.
To nie jest ewaluacja naukowa jednostek pod względem ich jakości naukowej .
Może Pan o środki na badania starać się gdzie indziej i niekoniecznie tylko z budżetu państwa.
.
Tam z pewnością będzie Pan miał większe szanse niż pozostali na przykład ci współautorzy artykuł u za 70 pkt dostać finasowanie swoich badań.
Proszę o tym nie zapominać.
Koniec końców i tak będzie Pan miał więcej środków na badania niż ci co piszą artykuły za 70 pkt. Ne wiem czemu tak się Pan upiera przy tym, aby to z budżetu państwa tak sprawiedliwe dzielić środki finansowe na jednostki, skoro państwo ma też na celu wspieranie słabszych naukowo.
Ponownie, nieprawda. Jest to także ewaluacja naukowa, bo kategoria decyduje o tym, czy dana jednostka może doktoryzować i prowadzić postępowania habilitacyjne. Jeśli ma już być "sprawiedliwie", to subwencja powinna rozkładać się równo, niezależnie od kategorii. Nie wierzę w żadną obiektywną ewaluację ilościową, to po prostu niemożliwe. W Pana pomyśle jednostki słabsze dostaną więcej, niż jednostki lepsze. Dlaczego uważam to za skrajnie szkodliwy pomysł - kilka punktów na dole wpisu.
Zaryzykuję twierdzenie, że każdy może starać się o środki gdzie indziej, zaczynając od mniejszych konkursów. Tyle tylko, że to praca na lata. Pisanie wniosków (liczba mnoga, bo żeby dostać jeden projekt, trzeba czasem napisać wiele wniosków) to masa dodatkowej pracy, za którą nikt nie zapłaci. Realizacja projektów to masa dodatkowej pracy, za którą płacone są grosze (wystarczy zerknąć np. na górne limity w projektach NCN, biorąc pod uwagę, że są to kwoty brutto brutto). A Pan mówi, że teraz ci, którzy tę pracę wykonywali w przeszłości, mają ją wykonywać nadal, zaś ci, którzy jej nigdy nie wykonywali, mogą nadal jej nie wykonywać, a w nagrodę dostaną więcej pieniędzy z subwencji. Bardzo wygodne, ale w istocie promuje Pan system, w którym nie opłaca się robić dużych badań, skoro najbardziej optymalne są małe i wykonane w małym gronie. Tu nie chodzi o to, żeby wszystkie publikacje były za 140 czy 200 punktów. Także i u mnie zdarzają się 40 czy 70, i jest to ok, jeśli tyle właśnie miało pismo odpowiednie do opublikowania tych wyników. Całościowo to na wyniki ewaluacji nie wpływa. Ale jeśli wszyscy w danym miejscu i w danej dyscyplinie publikują za maks. 70 punktów, to prawdopodobnie coś jest nie tak. Albo wszyscy są bardzo niszowi, albo po prostu nie próbują robić bardziej zaawansowanych badań.
Kilka przewidywalnych skutków takiego podejścia:
1. Rezygnacja z trudnych tematów, wymagających współpracy. Optymalizacja pod kątem nakładu pracy i liczby punktów nakazuje pisać prace w małych zespołach i publikować je tam, gdzie łatwo pójdzie.
2. Brak rozwoju słabszych jednostek. Skoro system je nagradza, to po co próbować zdobywać dodatkowe fundusze i brać się za trudne tematy?
3. Potencjalnie szkodliwa ocena pracownicza. W takim systemie badacz słabszy naukowo "opłaca się" uczelni bardziej, niż mocniejszy. Środki z subwencji to pewnik, granty to rzecz zmienna.
4. Osoby aktywnie starające się o środki, realizujące projekty i pracujące w dużych współpracach będą wykonywać więcej pracy za taką samą płacę. Już teraz tak jest, ale Pana pomysł niejako to usankcjonuje.
5. W skrajnych sytuacjach osoba słabsza naukowo może skończyć z większą pensją podstawową, niż osoba mocniejsza. Ponownie - bo bardziej się to opłaca uczelni.
Nie sądzę, by państwo miało celowo wspierać słabszych naukowo. Państwo ma optymalnie podzielić dostępne (i co tu dużo mówić, niewystarczające) środki w celu uzyskanie możliwie dobrego efektu. Ewentualnie, może stosować zachęty, by słabsi naukowo spróbowali podnieść poziom.
Pana perspektywa jest taka wspierać silnych słabi niech giną.
Potem z tych silnych wspierać silniejszych niech mniej silni giną.
A potem wspierać super silnych niech silniejsi, a nie super silni giną.
Widziałem to od ponad 30 lat i efekt jest taki jaki jest zapaść naukowa w Polsce.
Nie jestem też zwolennikiem tego, aby naukowcy w Polsce za pieniądze podatników robili kariery naukowe a wyniki upubliczniali za darmo. To jest działanie na szkodę kraju, a niestety z tym mamy do czynienie, również w realizowane jest to w takich pomysłach aby wspierać tylko silnych.
Jak Pan rob coś naprawdę wartościowego to chyba bez przeszkód przekona Pan polskich miliarderów, aby sfinansowali Panu badania lub może Pan uzyskać środki z funduszy europejskich, a Pan chce tylko zgarniając jak najwięcej ograniczając innym, bo wedle Pana ci inni są słabsi.
A ja Panu mówi, że ci słabsi są potrzebni po to, by taki jak Pan wyglądał na silniejszego naukowo. Na razie jak Pan nie uzyskuje środków europejskich to na tle naukowców europejskich jest Pan słaby więc zastanówmy się czy i Pana jest sens finansować.
No i ponownie przedstawia Pan pomysł, że skoro ktoś sobie radzi, to powinien zdobywać środki sam, a jak ktoś sobie nie radzi, to powinien dostać środki od państwa. Dlaczego? Za tym radzeniem sobie stoją lata ciężkiej pracy, której w niektórych ośrodkach po prostu nikomu nie chciało się wykonać. W czynie społecznym, co warte podkreślenia. Nie, nie rezyduję w Warszawie ani w Krakowie.
Wyraziłem przecież pogląd, że być może najbardziej sprawiedliwym podziałem jest każdemu po równo. O resztę budżetu można walczyć w konkursach. W tym europejskich. Przecież Pan też może aplikować. Każdy może aplikować. Mnie nie interesuje, jak ja wyglądam na tle innych. To jest kompletnie bez znaczenia. Mnie interesuje tylko to, co mogę zrobić.
Pan sobie radzi ?
To na rynek pracy. Proszę stworzyć firmę, a nie siedzieć na środkach budżetowych.
Jak nie ma Pan firmy to sobie Pan nie radzi i ciągle wyciąga rękę o pomoc.
Wielu profesorów zrobiło sobie niezłe dochody tylko i wyłącznie publikując, z których to publikacji nic nie wynika i nic nie da się spieniężyć.
Punkty za publikację należy dzielić przez liczbę współautorów, bo inaczej się opłaca być dopisywanym i korzystać z wytwórni publikacji, a Pan stwierdził, że jest to niesprawiedliwe, bo Pan publikuje czy chce publikować w Nature i chce Pan zwiększyć liczbę punktów dla takich czasopism jak Nature i gwarantować aby nieetyczny proceder miał się świetnie, choć nie podejrzewam, że Pan w nim uczestniczy.
10 współautorów, to znaczy około 10 razy szybciej, występuje też synergia, jak 1 osoba, to nie ma przyśpieszenia, a mysi też wiele pomysłów i technik użyć
z Pana wypowiedziami tutaj na forum kompletnie się nie zgadzam. Niech Pan sobie przeczyta historię Noblistki Katalin Koriko, to Pan zrozumie, że w tym szlamie jaki stanową naukowcy na świecie pojawiają się czasami diamenty i to nie wcale wśród tych co dobrze się zapowiadają.
Znam historię Katalin Kariko. Jest pouczająca, ale trudno budować regułę w oparciu o wyjątek.
Nie musimy się zgadzać. Zresztą, zgadzamy się w przynajmniej jednym - obecny system ewaluacji jest zły. Problem polega na tym, że Pana propozycja jest równie zła, tylko przesuwa akcenty w inną stronę. Ja nie chcę nikomu i niczemu zwiększać liczby punktów, najchętniej pogrzebałbym cały system ewaluacji w głębokim dole. Bo jakkolwiek się go nie skonstruuje, nadal będzie wadliwy, co widać w praktycznie każdej propozycji, która się pojawia.
Nie, 10 współautorów nie oznacza, że jest 10 razy szybciej. Mam wręcz odwrotne wrażenie, przynajmniej w niektórych przypadkach.
Systemu ewaluacji nie było w PRL, tam inaczej rozdzielano środki i chyba Pan tego powrotu nie chce więc jakiś system musi być, ale ja nie chcę aby w obecnym nieroby dopisywane do artykułów dalej nic nie robiły, a co gorsza pną się po kolejnych stopniach naukowych w górę.
Ograniczyć to może tylko dzielenie punktacji i innych wskaźników w tym cytowania przez liczbę współautorów.
Cytowane są tez mocno słabe artykuły tylko dlatego, że łatwo temat jest podejmowany przez innych.
Jak chce Pan uwzględnić liczbę cytowań, gdy oceniamy za zaledwie czteroletni okres? Praca z ostatniego roku może być przełomowa, ale może równocześnie mieć znikomą liczbę cytowań. Ponownie, wadliwy wskaźnik wartości dla prac nowych, niezależnie od liczby autorów.
Co do reszty, istotnie się nie zgodzimy. Pan nie chce, by "nieroby" się dopisywały. I słusznie. Ja nie chcę, by premiować badania małe kosztem dużych i wykonywane samodzielnie kosztem wykonywanych w dużych współpracach.
Jak są duże badania to można podzielić i publikować etapami, więc coś Pan ściemnia. Chyba, że to nie są aż tak duże badania.
Ja tak robię, publikuję etapami.
Wybór miedzy mniej punktowanymi a NATURE na etapie decyzji ile wyników badań zawrzeć w publikacji też się dokonuje. Nie od razu Kraków zbudowano.
Coś Pan nie zrozumiał, ja nie chcę uwzględniać w ewaluacji cytowań.
Chcę by kandydatom na hab. lub prof. indeksy h dzielili przez liczbę współautorów.
W Polsce można tak na prawdę zostać profesorem dzięki cudzym pracom.
To, co Pan opisuje, to klasyczne "salami slicing", która to praktyka jest uważana za jeden z przykładów nieuczciwości w publikowaniu wyników naukowych. Zresztą, jeśli duży projekt mam dzielić na trzy części i publikować w czasopismach co najwyżej dobrych, zamiast opublikować całość w piśmie bardzo dobrym, tylko dlatego, że tak się opłaca w ewaluacji, to znaczy jedynie, że założenia ewaluacji są fatalne.
Co do cytowań, "Ograniczyć to może tylko dzielenie punktacji i innych wskaźników w tym cytowania" - Pan to napisał.
Pomysł dzielenia indeksu h przez liczbę współautorów. Nie, przepraszam, ale nie mogę. Nie zna Pan najwyraźniej specyfiki niektórych (większości?) dyscyplin eksperymentalnych. Ten pomysł kompletnie nie ma sensu. Przez łączną liczbę współautorów z całej kariery? Chryste. I co ten wskaźnik ma powiedzieć?
A co mówią w ogóle te wskaźniki, tak na prawdę nic nie mówią. Jak Pan wierzy w te wskaźniki to jest Pan wciąż naiwnie młody, by nie określić tego inaczej.
Nie mówią nic o jednej pracy, ale statystycznie rzecz ujmując mówią sporo. Większość dobrych tekstów pojawia się w dobrych pismach, po prostu.
W Pana propozycji dzielenia indeksu h przez liczbę współautorów człowiek, który ma 30 publikacji (i może być autorem wiodącym), każdą zacytowaną minimum 30 razy (łącznie minimum 900 cytowań), ale z 30 współautorami, jest tożsamy z człowiekiem, który ma jedną samodzielną pracę zacytowaną jeden raz. Nie chce mi Pan chyba powiedzieć, że to zbliżony dorobek?
30 publikacji każda po 30 cytowań przy 30 współautorach , to 30 publikacji o wyliczonym cytowaniu 1 i to jest więcej niż 1 publikacja cytowana 1 raz, więc nie są to dorobki tożsame
Ponownie, to Pan napisał: " Chcę by kandydatom na hab. lub prof. indeksy h dzielili przez liczbę współautorów". To jak to jest?
Proszę Pana niech Pan przeczyta ile jest odmian współczynnika h-indeks i na ile sposobów można go liczyć.
Każda propozycja okaże się absurdalna bo na pewno znajdą się kontrprzykłady. Żadnej ewaluacji nie powinno być tylko wymóg publikowania zapewniany przez ocenę pracownika plus zakaz publikowania w czasopismach drapieżnych i wątpliwej jakości (taka antylista gdzie publikowanie nie będzie uznawane w ocenia pracownika).
I to myślenie mi się, pomijając szczegóły, podoba. Pozostaje problem, jakimi kwotami subwencjonować poszczególne podmioty przy braku ewaluacji.
Ktoś zauważył, że ministrowie rozdają ogromne kwoty poza ewaluacją, wiec nie jest ona taka ważna jak się wydaje nawet w kontekście finansowym. Jest tylko barzędziem terroru, np. w mojej uczelni ocena pracownika jest co 2 lata i nie jesf to fikcja bo są zwolnienia i oczywiście przesunięcia na dydaktyczne (oczywiście punkty ewaluacyjne są podstawą oceny).
PUNKT 7:
MDPI już coraz mniej się różni od Elseviera czy Springera czy Wiley, jeśli chodzi o jakość.
Podejrzewam, że jakby Elsevier czy Springer wpadli na pomysł voucherów za recenzję, to też by mieli je gotowe w tydzień.
A jakby jeszcze jakies wydawnictwo wpadło na przewrotny pomysł płacenia za opublikowanie u nich artykułów AUTOROM, to by dopiero było tempo i pisania i recenzowania. Przewrotny w świecie nauki. W świecie biznesowym nie spotkałem się, aby dziennikarz pisał artykuł w ramach wolontariatu, a wydawnictwo na tym zarabiało...
A za reklamę to płaci medium czy firma, która się reklamuje?
Artykuł nie jest niczym innym niż reklamą autora. Artykuł naukowy czasem (bardzo, bardzo rzadko) może się przydać któremuś z czytelników ale naprawdę niezbędny jest on autorowi: do ewaluacji albo do promocji.
Elsevier i Springer też na drapieżniki na pokładzie,
mają drapieżniki- poprawka
mają drapieżniki- poprawka
Podział punktów przez liczbę współautorów nie sprawdzi się w przypadku np. fizyki wysokich energii. Przykładowa praca z eksperymentów na LHC w Nature:
https://www.nature.com/articles/s41586-022-04893-w
Kilka tysięcy autorów tworzących współpracę eksperymentu ATLAS (ułożonych alfabetycznie). I od razu uprzedzam pytanie - liczba artykułów z takiej współpracy nie skaluje się liniowo z liczbą autorów 1-do-1 (nie ma kilku tysięcy artykułów rocznie z takiej kolaboracji).
Innymi słowy - różne dziedziny i poddziedziny mają swoją specyfikę i takie ocenianie powinno być wewnątrz każdej takiej poddziedziny z uwzględnieniem takich lokalnych obyczajów :)
Publikacje powyżej 10, 15 lub może 20 autorów (do uzgodnienia - zależnie od dziedziny) nie powinny byc oceniane tak samo jak te samodzielne 2 czy 5 osobowe. Po prostu 1/20 nawet z 200p nie daje się w żaden sposób rozsądnie wytłumaczyć. Tu jest potrzebny inny system (może wyłącznie ekspercki).
A wy się w tej grupie wielotysięcznej w ogóle znacie, czy przechodzicie obok siebie obojętne?
A jak pisaliście ten dwustronnicowy artykuł w kilka tysięcy autorów? Ustawiliście się w kolejkę i każdy dopisywał jedno słowo?
Kiedyś była taka niepisana zasada, że autorem publikacji jest ten, kto złapany na konferencji czy sympozjum jest w stanie opowiedzieć o artykule, w którym pojawiło się jego nazwisko.
Pytanie ilu autorów z ATLAS Collaboration byłoby dziś w stanie nam wyjaśnić wątpliwości np. do "Fig. 5 | Reduced Higgs boson coupling strength modifiers and their uncertainties." - podejrzewam, że byłby to jeden doktorant, który pisał ten artykuł i jego bezpośredni przełożony/promotor może coś by wydukał.
A reszta?
Owszem, finalnie samą analizę robiła wąska grupa osób ;)
Ale eksperymenty w CERN są tak skomplikowane, że jest cała masa kroków w ich prowadzeniu (każdy z tych eksperymentów jest unikatowy), zbieraniu danych, ich procesowaniu, poprawianiu i tak dalej, że nie sposób określić który wkład jest ważniejszy. Owszem, student dostał już dane gotowe do finalnej analizy, ale po wielu krokach wcześniej, które robiło bardzo dużo różnych ludzi.
W CERN i innych tego typu ośrodkach przyjęto więc zasadę, by każdy członek kolaboracji był autorem publikacji i nie wyróżnia się ważności. Kto fizycznie prowadził dane badania przygotowanych wcześniej danych wie tylko wewnętrznie ta kolaboracja.
Czasami robi się też tzw. blind analyses. Jest kilka osób, które analizują wewnątrz kolaboracji dane aby policzyć tę samą wielkość (w różny sposób), ale żadna z nich nie wie czy analizuje dane rzeczywiste czy symulowane. Na tej podstawie wybiera się tę wersję analizy, która charakteryzuje się najwyższą czułością.
Gdyby praktyki z CERN (czyli np. skonstruowałeś detektor to jesteś autorem każdej pracy w której go używamy) przenieść na inne działki to konstruktorzy niektórych sprzętów analitycznych mieliby kilkanaście tysięcy artykułów rocznie.
Cóż, tak to tutaj działa od dziesięcioleci. Może się nam podobać lub nie, ale tak jest. W innych krajach to nie jest problem - nasza ewakuacja też nie zmieni światowej praktyki w danej działce..Po prostu nie wszędzie drfinicja autora jest taka sama.
Dobrze sytuację próbuje tłumaczyć Memorandum wydane przez Europejskie Towarzystwo Fizyczne:
Memorandum on the evaluation of Experimental Particle Physicists Joint ECFA/HEPP-EPS Document
https://cds.cern.ch/record/2014643?ln=en
Podsumowując, w tej działce standardowe współczynniki bibliometryczne nie mają nic sensu i wprowadzają w błąd.
Pracownik naukowy w kolaboracji: 4-5 artykułów średnio miesięcznie wpada do slotów, pracownik ten często nie ma wiedzy, co dany artykuł zawiera.
Pracownik naukowy realizujący badania w polskiej jednostce, na polskiej infrastrukturze: napisanie dobrej publikacji w zespole 3-4 osobowym w kraju, poprzedzone wykonaniem badań zajmuje min. pół roku. Czyli 1-2 publikacje rocznie, włożony wysiĺek i czas zdecydowanie wyższy niż w przypadku wpadających samoczynnie prac kolaboracyjnych.
Do oceny publikacji kolaboracyjnych dana jednostka powinna zgłosić tylko te, w których jej pracownik ma zdecydowany udział. W przeciwnym przypadku niech wchodzą za 5 pkt.
Pół roku? Na napisanie być może. Ale na eksperymenty potrzeba nieco więcej czasu.
Debaty ,narady ,stanowiska a czas nieubłaganie płynie .Kolejne publikacje w czasopismach drapieżnych / już w 2021 roku na łamach FA pisano/ "wzbogacają " dorobek "wybitnych uczonych.