Wprowadzenie do ewaluacji filaru drugiego zdecydowanie pogłębia moje wrażenie, że w tej ewaluacji chodzi głównie o ocenę działań władz uczelni. Co więcej, zamiast próbować dodać jakieś twarde wskaźniki jakości naukowej, po prostu planuje się wykreślić słowo „jakość”. Nie jest to dobry kierunek, ale brzmi to przynajmniej szczerze, skoro w naszej ewaluacji jakość jest mało istotna, a moim zdaniem nie ma jej tam wcale – pisze prof. Jan Cieśliński z Uniwersytetu w Białymstoku.
Obecne reguły ewaluacji są w zasadzie nie tyle oceną jakości działalności naukowej, co oceną sprawności władz rektorskich w dostosowaniu struktury i procedur uczelnianych do skomplikowanych reguł gry, które narzuca ustawa Prawo o szkolnictwie wyższym i nauce oraz Ministerstwo Nauki w rozporządzeniach. Niestety, kierunek tego dostosowywania jest niewłaściwy i mało sensowny. Jest nim głównie produkcja punktów, które są zmienną niestabilną i właściwie nawet nie wiadomo, co mierzą – punktacja, zwłaszcza czasopism krajowych, jest zupełnie arbitralna. Kojarzy mi się to z anegdotą o sułtanie, który podniósł jednym dekretem wskaźnik scholaryzacji swego kraju, nadając wszystkim obywatelom tytuł magistra. Zresztą, jeśli chodzi o ostateczne nadawanie kategorii naukowych, to nawet nie jest analogia. Nasz minister po prostu ma sułtańskie uprawnienia, co dodatkowo komplikuje interpretację ostatecznego wyniku ewaluacji.
Wiele uwag się tu nasuwa, ale w tym momencie trzeba zająć się następującą sprawą, niezwykle pilną, dotyczącą przeliczania na wynik ewaluacyjny danych wrzuconych już przez oceniane jednostki do „studni ewaluacyjnej”. Moim zdaniem, obecny sposób „przerabiania” tych punktów wypacza ostateczne wyniki ewaluacji i powinien być zmieniony jak najszybciej, zwłaszcza, że usunięcie jego głównych wad nie wymaga nawet zmiany rozporządzenia. Szczęśliwym trafem, dwie rażące wady obecnych reguł ewaluacji (systemowo zaszyta tam reguła „prawo działa wstecz” oraz sułtańskie uprawnienia ministra) w tym konkretnym przypadku można wykorzystać w dobrym celu. Chodzi bowiem tylko o ingerencję w wewnętrzne procedury w Komisji Ewaluacji Nauki (KEN), a mianowicie o sposób ustalania progów ewaluacyjnych.
Ograniczę się na razie do sprawy podstawowej. Procedura oceny kryterium III powinna respektować następujące zasady:
Przyznam się, że gdybym nie zaczął grzebać w surowych danych związanych z wynikami poprzedniej ewaluacji, to nawet by mi do głowy nie przyszło, że może być inaczej. Zwracam uwagę na to, że bez zmiany rozporządzenia wybór akceptowalnej skali ocen jest zadaniem nietrywialnym, ale wykonalnym.
Absurdalność obecnego stanu zilustruję dość reprezentatywnym przykładem. Ekspert oceniający kryterium III dysponuje skalą ocen 0–120. Przypuśćmy, że po wnikliwej analizie wystawia danemu osiągnięciu (opisowi) ocenę 60. Zapewne oznacza to, iż jego zdaniem jest to osiągnięcie przeciętne, średnie. Jednak KEN w najmniejszym stopniu nie jest zainteresowana tym, co tam sobie taki ekspert uważa na temat tego osiągnięcia. To czy będzie ono zrównane w znaczeniu z najwyżej ocenionymi (czyli nada mu się wartość 120), czy zostanie wrzucone do kosza razem z jakimiś bezwartościowymi opisami wycenionymi na 0, czy może przypadnie mu dowolna inna wartość, zależy wyłącznie od dyscypliny.
Co gorsza, w tej zależności trudno dopatrzeć się jakiegokolwiek sensu, zwłaszcza, że to nie jest jakaś delikatna korekta, ale skok „z piekła do nieba”. Ot, wychodzi to po wrzuceniu wyników ewaluacji do jakiejś czarnej skrzynki, która dla kryterium I daje całkiem dobre wyniki, ale dla kryteriów II i III produkuje tylko szum informacyjny. W poprzedniej ewaluacji większość dyscyplin była „wrzucana do piekła”. Ocena 60 punktów dla jednostek aspirujących do kategorii A była piekłem (wymagającym dodatkowego nadrobienia punktami w kryterium 1, aby mieć szanse na kategorię A) w 11 dyscyplinach, na przykład w fizyce, chemii, filozofii, teologii, medycynie czy inżynierii lądowej. Natomiast w astronomii i weterynarii 60 punktów było „niebem”. Czy ktoś dostrzega w tym jakąś logikę? Czy ktokolwiek odgadnie tu jakiś wzorzec i wskaże pominięte przeze mnie 5 dyscyplin, które wylądowały w „piekle”? Ilu ekspertów zaangażowanych w ocenę kryterium III zorientowało się, że to tak działa?
Co gorsza, sortowanie dyscyplin na gorsze i lepsze jest procesem dość nieprzewidywalnym, zatem w tym roku zapewne da zupełnie inny wynik niż cztery lata temu. Prawdziwa maszyna losująca! Trzeba natychmiast powstrzymać jej funkcjonowanie.
Jeśli powyższe uwagi zostaną uznane za godne realizacji, a chyba nie ma innego wyjścia, to będzie to znakomitym argumentem przeciw utajnianiu procedur i wyników. Gdyby te rzeczy działy się „w świetle reflektorów”, gdyby ministerstwo błyskawicznie udostępniało wszystkie surowe dane, to myślę, że ktoś ze środowiska naukowego już dawno by te błędy zauważył. Nie winię zbytnio tych paru osób w KEN, które mogłyby ten błąd zauważyć, bo zapewne trzeba było skupiać swój wysiłek na forsowaniu jakichkolwiek sensownych drobiazgów, usiłując osiągnąć demokratyczny konsensus. Czasem spoza drzew nie widać lasu. Poświęcając swój czas na wyciśnięcie jakichś informacji o wynikach kryterium II z danych pośrednich, sam dopiero kilka dni temu zauważyłem opisywany tu problem i dlatego między innymi mój apel jest tak spóźniony. Gdyby ministerstwo zechciało udostępnić na swej stronie wszystkie dane z poprzedniej ewaluacji, a zwłaszcza te „ściśle tajne” (kryterium II), to może da to komuś materiał do szybkich analiz przydatnych nawet jeszcze w bieżącej ewaluacji.
Zakończę krótkim komentarzem o planowanych zmianach w systemie ewaluacji. Wprowadzenie filaru drugiego zdecydowanie pogłębia moje wrażenie, że w tej ewaluacji chodzi głównie o ocenę działań władz uczelni. Co więcej, zamiast próbować dodać jakieś twarde wskaźniki jakości naukowej, po prostu planowane jest wykreślenie słowa „jakość”. Nie jest to dobry kierunek, ale brzmi to przynajmniej szczerze, skoro w naszej ewaluacji jakość jest mało istotna, a moim zdaniem nie ma jej tam wcale.
Niemniej jednak gorąco zachęcam, aby nie rezygnować z dopisania do tych nowych reguł jakiegoś kryterium jakościowego (lub nawet trzeciego filaru, jakościowego), choćby po to, aby rektorzy i menadżerowie, motywowani ewaluacją do punktozy i slotozy, przypadkiem nie wykosili ze swych uczelni całej nauki. Produkcja „punktów” ma bowiem coraz luźniejszy związek z nauką, a „zapełnianie czterech slotów” (ten slogan wielu osobom jakoś wbił się w pamięć) ma nikły związek nie tylko z badaniami naukowymi, ale nawet z wynikiem ewaluacyjnym. Owszem, ocena jakości to niełatwe zadanie, bo nawet ulubione przez niektóre środowiska IF-y czy SIF-y coraz słabiej spełniają tę rolę, także w ograniczeniu do tychże środowisk. Z dwojga złego, lepsza jest nawet ocena ekspercka niż zupełny brak oceny jakości badań. Optowałbym wtedy za trójką wybieranych demokratycznie ekspertów z dużym autorytetem – czyli struktura na wzór RDN – którzy by posortowali podmioty w swojej dyscyplinie na pięć koszyków, od A+ do C, i wzorem procedur sądowych napisali uzasadnienie swego wyroku z ewentualnymi zdaniami odrębnymi.
Jan Cieśliński
Postscriptum do powyższego artykułu (czyli temat na artykuł kolejny):
PROGI EWALUACYJNE w K2 i K3:
Okazuje się, że przy rozsądnym wyborze progów (jednostek referencyjnych), to nawet preferowany od wielu lat wspólny próg pełnego przewyższenia G=0.3 (przepisany z K1, a zupełnie nieuzasadniony i wręcz błędny dla K2 i K3) nie czyni zbytnich szkód, a ostateczny wynik jest całkiem akceptowalny, gdy: podzielimy tymi progami wszystkie podmioto-dyscypliny na koszyki odpowiedniej liczebności. Nie ma dużego luzu w tym wyborze, można doszlifować tylko jakieś nieistotne drobiazgi. Gdyby procedury i wszystkie dane obrabiane przez KEN były w Open Access, to myślę, że już dawno (4 lata temu? 10 lat temu?) wiele osób zauważyłoby to, co ja i doszłoby do podobnych wniosków. Ta tajność sprzyja jedynie lobbyingowi (nie twierdzę, że jakikolwiek jest, nie wiem tego, ale sprzyja).
1) Dla Kryterium 3 jedynym punktem zaczepienia jest próg na kategorię A w Kryterium 1 - przeskoczyło go aż 49% jednostek, co odpowiada progowi na kategorię A (JREFA) ok. i 60 (ewentualnie 65, gdyby ograniczyć do 35% jednostek, na pewno nie więcej), JREF B+ wynosi 35 (być może 40, ale gdyby się opierać na kalce z K1 to wychodzi absurdalnie mało - 13), JREF B powiedzmy, dla przyzwoitości, 15. To jest empiryczny wynik minionej ewaluacji (powiedzmy 65-35-15), który teraz powinien być przez Ministra zadekretowany jak najwcześniej i udostępniony ekspertom, aby wiedzieli według jakiej skali oceniają.
Progi identyczne dla każdej dyscypliny.
Ewentualna sugestia: podwyższenie G jest korzystne dla tego kryterium (ale, jeśli -nie wiem czemu- trzymać się paradygmatu identycznych G, to popsuje K1, zatem trzeba uważać; może G=0.4 byłoby nieco lepsze?).
2) Dla kryterium 2 dość oczywistym (jak o tym nieco głębiej pomyśleć) jest wybór następujący (tu już inne progi dla każdej dyscypliny): dzielimy podmioty w dyscyplinie na cztery koszyki (wg wyniku K2) A, B+, B, C i granice między nimi są szukanymi progami. Jaka względna liczebność tych koszyków? Na pewno ostatni powinien być malutki (w K1 poniżej B było 4% jednostek), niech będzie 5%., pierwszy raczej 35-40% i dwa środkowe może po równo. Czyli np. 40%-30%-25%-5%,
albo 35%-30%-30%-5%. Taka nieco uogólniona mediana (trzy progi zamiast jednego medianowego). Widać, że dużego luzu tu nie ma. To nawet nie jest zbyt pilne, zatem może jakaś pogłębiona analiza statystyczna się pojawi (o ile będą ujawnione surowe dane, wyniki ewaluacyjne w Kryterium 2, na razie trzymane w tajemnicy). W każdym razie, metodologia zastosowana przez KEN do przeliczenia tych tajnych danych (widziana poprzez dane pośrednie) jest absolutnie niedopuszczalna i wypacza wynik ewaluacyjny
Swoją drogą ciekawe jest jak liczone są progi dla K1. Proszę o ujawnienie metodologii.
Próg B dla językoznawstwa jest podejrzanie mały. Dlaczego i po co?
Subiektywna ocena eksperta, który ma wgląd tylko do ocenianej dokumentacji, bez odniesienia do innych ocen jest.... po prostu niesprawiedliwe i bzdurna. Jeśli trudno jest dać do oceny wszystkie sprawy jednemu ekspertowi, to za pewne lepiej zrobiłaby to AI. Wystarczy zdefiniować kryteria. Swoją drogą, jestem BARDZO ciekawa jak by wyglądała lista rankingowa z poprzedniej ewaluacji, gdyby teraz przepuścić te dokumenty przez AI.
"Bez odniesienia do innych ocen" - kryteria eksperckie, których nie lubię, tak właśnie mają, ze swej istoty
W Kryterium 3 mieliśmy (a może wciąż jest groźba) sytuację znacznie gorszą - ekspert nie znał skali ocen,
nie wiedział, gdzie jego punkty będą leżeć na tej skali. Metodologiczny horror.
"Za pewne lepiej zrobiłaby to AI". Proszę więc to zrobić. Opisy wpływów (streszczenia) są publicznie dostępne w Radonie. Ciekawy temat na punktowany artykuł.
Ale nie idźmy tą drogą, AI na pewno będzie premiować nie tyle osiągnięcie, co huczny i buńczuczny wniosek. Innymi słowy, AI nadaje się znacznie badziejdo pisania wniosków grantowych, niż do ich oceniania :)
Kluczowy problem parametryzacji to takie jej sformułowanie aby zniechęcać do masowego publlikowania w licznych 100p i 140p płatnych czasopismach "open access" z jedno-tygodniowym czasem recenzowania i 4 tygodniowym cyklem wydawniczym, takich jak np. Sustainability, Energies i Materials. Ale oczywiście to tylko 3 przykłady których jest więcej.
Jak wiemy w ramach ubiegłego okresu parametryzacyjnego doszło z tego powodu do gigatnycznego wypływu środków finansowych (czy ktos obliczył te wydatki?) oraz ogólnego obnizenia poziomu wymagań publikacyjnych przy wzroście wysokiej opinii o sobie wśród autorów którzy wcześniej publikowali głównie w materiałach konferencyjnych lub lokalnych czasopismach naukowych.
Trudno powiedziec jak wstrzymać ten wypływ pieniędzy i powstrzymać strumień publikacyjnej "makulatury". Być może ograniczenie parametryzacji do wybranych 20% najlepszych publikacji ośrodka/dyscypliny (np. 10% wg. punktów i 10% wg. opinii danego ośroda) poprawiłoby sytuację w tym zakresie. Dodatkowo twarde rozliczanie wyłącznie wkładu pracowników danego ośrodka miałoby znaczący wpływ na ogramiczenie udawanej współpracy naukowej której celem jest jedynie mnozenie punktów.
"Trudno powiedzieć jak wstrzymać ten wypływ pieniędzy" ???
Łatwo powiedzieć i nawet łatwo zrobić.
Wstawić go jako parametr ujemny do ewaluacji czy (lepiej) algorytmu podziału subwencji,
i będzie jak ręką odjął (w algorytmie jest "bezrobotny" wskaźnik B&R, warto tam tego typu "drobiazgi" powrzucać, dodatnio: procent subwencji przeznaczanej przez rektorów wydziałom na wzór dawno zlikidowanego BST,
czy -ujemnie- "premia" za rozrzutność taką czy inną, itp.
Minister to może zrobić jednym pstryknięciem, byleby wola było. Oczywiście należy zebrać szczegółowe dane o wydatkach (ale to już od paru lat zlecone do raportowania?), nawet wstecznie, przecież są faktury i sprawozdania finansowe. Warto oszacować kto, ile, na jakie wydawnictwa (aby znać skalę problemu).
Nie należy się wikłać w walkę konkurencyjną światowych gigantów po jakiejkolwiek stronie. Trzeba wykorzystywać dla naszych korzyści ich dobre strony, i nie warto przepłacać.
Zanim tak łatwo wstrzymamy ten wypływ pienędzy najpierw trzeba by jeszcze usunąć kryterium obowiązkowych publkacji "open access" dla doktorantów i wyników grantów. To jest przymuszanie do robienia płatnych publikacji
To oczywista oczywistość, aby wycofać się z promowania "płatnego OA". Ale nasi naukowcy chyba wciąż wierzą w mit OA?
Kiedyś podpisałem (ze cztery kadencje temu, pamiętam, bo mojego dziekana zachęciłem) list otwarty europejskich naukowców przeciw osławionemu "Planowi S", zresztą bardzo wyważony. Proszę sprawdzić, z Polaków to ledwie 11 osób. A gdzie reszta?
https://sites.google.com/view/plansopenletter/signatories
Z tym, że jakieś wycofywanie się rakiem z tych pomysłów chyba zachodzi, w NCN mogą być już preprinty, a doktoranci (o ile mają jako tako publikującego promotora, który nie uchyla się przed recenzowaniem), to mogą szybko i za darmo w pełnym OA w MDPI , na vouchery i waivery promotora. Zresztą, tyle jest czasopism krajowych z listy, niżej punktowanych, które wręcz żebrzą o to by u nich publikować (chyba się nie mylę, acz ten obieg niezbyt mnie interesuje).
"parametryzacja" na podstawie IF czasopisma, albo jakichś punktów dla czasopisma nie ma żadnych logicznych podstaw, ponieważ IF czasopisma ma się nijak do pojedynczego artykułu.
Jak zatrzymać wypływ "ogromnych" pieniędzy?
To proste:
publikować na stronie internetowej uczelni,
zostawić miejsce na pytania i komentarze (lepszych recenzji i lepszej popularyzacji nie ma i nie będzie),
czasopismo może poprosić o licencję na opublikowanie u siebie.
Marne czasopisma znikną, popularyzację będą prowadziły najlepsze, które utrzymają się na rynku, badacze oszczędzą pieniądze na badania i sporo czasu, podatnik będzie miał dostęp do wyników pracy za które zapłacił, nie będzie tłumaczenia, że nie mamy już tych wątpliwych zdjęć, które umieściliśmy w publikacji - same zalety.
Prędzej czy później ten dziki drenaż pieniędzy i wyników trzeba będzie zatrzymać, a jak to w życiu bywa, szczęście sprzyja przygotowanym.
Nie jest prawdą że IF czasopisma nie odzwierciedla jakości jego artykułów, choc to powiązanie nie jest takie oczywiste w dzisiejszych czasach.
IF czasopisma reprezentuje wpływ wiedzy przekazywanej do i na inne czasopisma poprzez cytowania artykułów tego czasopisma. Np. IF=8.4 czasopisma "Engineering Geology" tym różni się od IF=1.0 geologicznego czasopisma Słowacji "Geologica Carpathica" tym, że zdecydowanie więcej idei i pomysłów z tego pierwszego czasopisma trafia do innych badaczy. Pozwala to na zdecydowanie wiekszą selekcje artykułów czasopismu "Engineering Geology" niż czasopismu "Geologica Carpathica", ergo jest zdecydowanie większa szansa na lepiej odsiane, bardziej oryginalne publikacje i wyższej jakości w "Engineering Geology" niż w "Geologica Carpathica".
Problem komplikują czasopisma o wysokich wskaźnikach (np. Sustainability, Energies, Materials, Sensors) ale o bardzo słabej edytorskiej selekcji. Czasem jest ostra a najczęściej słaba i nakierowana na duża liczbe płatnych publikacji. Tu niestety interweniowac powinien Scopus oraz Web odf Science - ale nie wiadomo dlaczego nie robi tego w sposób zdecydowany. Wobec tego wymagana byłaby tu odpowiednia akcja KEN. Niestety są duże naciski aby nie deprecjonowac czasopism o wysokich wskaźnikach ale słabej selekcji publikacji.
Jest to zrozumiałe ale w końcu KEN powinna pryncypialnie do tych spraw podejść, skoro w innych krajach (np. Norwegii) potrafią to robić.
@John Kowalsky
Trzeba tylko pamiętać, że lista czasopism w Norwegii to zupełnie, co innego, niż w Polsce. Z tego co wiem, nie ma tam żadnych punktów.
W norweskim systemie czasopismo może mieć zero punktów, 1 punkt lub 2 punkty. Przy tym 2 punkty ma 20% czasopism w porównaniu z tymi które maja 1 punkt. To wszystko łatwo sprawdzić na stronie I-netowej agencji badań Norwegii. Łatwo sprawdzic ile punktów mają tam czasopisma MDPI.
@John Kowalsky
No więc właśnie. To jest raczej posegregowanie czasopism do 3 worków, a nie przyznawanie każdemu tytułowi oddzielnej punktacji.
Ale już niezależnie, mi osobiście dużo bardziej podoba się ocena samych publikacji, raczej niż pism, w których one wychodzą.
U nas jest 6 takich worków na makulaturę. Jesteśmy w UE i robimy postępy w segregacji :)
Uczmy się od Norwegów. Trzy worki łatwiej sortować: wybitne, szeroka lista średnich, niechby Q1 oraz reszta (na kształt dawnej listy filadelfijskiej), niech to cały Scopus, choć tego za dużo. Nie róbmy tego "za dokładnie"
A czasopisma krajowe - osobna lista, równoległa, najlepiej polskojęzyczna. Jak ktoś jest na dwóch listach, to uczelnia dorzuca do obojętnie którego koszyka slotowego. Poza tym koszyki się nie mieszają, a ich suma to 3N. Procentowy udział koszyków w ewaluacji niech sobie dla dyscypliny ustala eksperci, komitety PAN itp. Choćby 100%: 0%.
@Jan Cieśliński
Ciekawy jestem, czy w Norwegii, pomimo worków z czasopismami, również oceniają same publikacje, tak, jak w UK, czy już nie? Nie znam norweskiego systemu.
Jestem zagorzałym przeciwnikiem publikowania naukowego po polsku w dowolnych dziedzinach, również tych uznawanych za "niezwykle polskie". Tak więc nie skomentuje pomysłu o "liście polskojęzycznej".
Najbardziej chodzi mi o nie mieszanie dwóch różnych koszyków (Scopus i polskie). Opcja równoległa jest honorowym rozwiązaniem dla obu antypodów tego sporu, a "suwając procentem" tu udziału można tym jakoś sterować. No i naprawdę w Prawie czy Humanistyce, a nawet technice i medycynie, polski obieg jest istotny, bardzo istotny.
@Jan Cieśliński
Polski obieg jest jak najbardziej bardzo istotny, ale nie w publikowaniu prac naukowych. Prace każdego innego rodzaju – tak, po polsku, ale prace naukowe – nie, te tylko po angielsku.
Sto lat temu nawet w matematyce i fizyce były prace pisane po polsku (owszem, większość pisała po niemiecku, angielski też już wchodził). Język to drugorzędny problem. Kluczowa jest jakość i znaczenie prac naukowych. Na przykład prace pisane cyrylicą były na tyle dobre kilkadziesiąt lat temu, że mimo braku AI tłumaczono je pracowicie na angielski i wydawano, numer po numerze. I potem czytano. Sam napisałem kilka prac po polsku i akurat je uważam za jedne z najlepszych moich prac. Zresztą, po cóż bym je pisał, gdybym uważał inaczej. Żadnych punktów one mi nie przyniosły :)
@Jan Cieśliński
Nie zgadzam się. Pisanie prac naukowych po angielsku jest tak samo ważne, albo nawet ważniejsze, niż inne aspekty organizacji nauki.
Czytam tutaj na Forum jak to naukowcy polscy twierdzą, że wyjazdy na doktoraty i postdoki są nieistotne, niepotrzebne i tragicznie trudne do zorganizowania. W krajach, gdzie nauka jest naprawdę na bardzo dobrym poziomie ludzie jeżdżą, ale Polska nagle tego nie potrzebuje. Taka relokacja wprowadza dyskomfort, więc nie będą tego robić. Czytam tutaj również, jak to internacjonalizacja jest trudna i niepotrzebna w ośrodkach polskich. „Niech się uczą polskiego, jak przyjechali do Polski”. Gdzie indziej w Europie umiędzynaradawianie idzie przynajmniej dobrze, ale nie u nas w kraju. U nas znajdą się niezwykle ważne powody, żeby tego nie robić, no więc jesteśmy na szarym końcu we wszelakich statystykach w tym temacie. Podobnie właśnie, jak w używaniu języka angielskiego w publikowaniu naukowym. Inni to po prostu robią, jest to czymś normalnym i naturalnym, ale polscy naukowcy wiedzą lepiej, niż cała reszta Europy.
No więc może tak: skoro rzeczywiście polska nauka kieruje się pryncypiami tak bardzo różnymi od reszty Europy i świata, to może ten 1% PKB powinien wystarczyć. Bo w tym bardzo polskim systemie, finansowanie również powinno być bardzo polskie i odmienne od reszty. Być może nawet ten 1% to za dużo? No bo jak po polsku, to niech będzie na całego po polsku, nie sądzi Pan?
Obecnie praktycznie każda publikacja naukowa, ukazująca się w języku polskim, ma załączony tytuł i streszczenie w języku angielskim. Każdy zainteresowany nią naukowiec może sobie ją przetłumaczyć na dowolny język właściwie "dwoma kliknięciami". Sam tłumaczyłem interesujące mnie publikacje/patenty z języka mandaryńskiego (chyba) i japońskiego i język publikacji nie stanowił dla mnie żadnego problemu w ich zrozumieniu.
@Grześ
To znaczy ja nie wiem, jak jest z tą większością prac z tytułem i abstraktem po angielsku. Musiałbym poznać jakieś konkretne liczby. To pierwsza rzecz. Druga, nie sądzę, aby Google Translate był najlepszą drogą do poznania zawartości pracy naukowej. Z jakiegoś powodu w STEM wszyscy porozumiewają się angielsku i nie prowadzi to żadnych tarć, a przecież każdy ciągłe opowiada studentom o swojej pracy po polsku. Po trzecie zaś, to właśnie naukowcy polscy powinni tworzyć specjalistyczny język angielski (słowotworzyć i interpretować) tak, aby ten język wyrażał jak najdokładniej to, co oni chcą powiedzieć, a nie zostawiać to tłumaczom, żywym, czy też opartym na AI.
I na końcu – skąd wynika ten wielki problem wyrażenia się po angielsku? Opowiedzenia innym po angielsku, nad czym się pracuje? Czy te same osoby, które publikują tylko po polsku, są w stanie pojechać na konferencje międzynarodową i opowiedzieć o swoich projektach? Czy są w stanie nawiązać międzynarodową współpracę, wystąpić wspólnie o grant? Przedziwne jest dla mnie to wszystko… te wszystkie bardzo zawiłe tłumaczenia.
Ja tu nie widzę, żadnego wielkiego problemu. Każdy jest panem swojego losu i może pracować w nauce tak jak uważa to za stosowne i to jest piękne. Nie doszukiwałbym się jakiś teorii sugerujących, że jeśli ktoś pisze publikacje po polsku to jest to jednoznaczne z tym, że nie zna języka angielskiego i w związku z tym jest jakimś gorszym naukowcem. Znam kilku naprawdę świetnych francuskich i japońskich naukowców, którzy po angielsku słabiutko, a mimo to są uznanymi autorytetami w swoich dziedzinach. My Polacy rozmawiamy ze sobą, również o sprawach naukowych. po polsku i niech tak już pozostanie. Czy pana zdaniem konferencje naukowe organizowane wyłącznie w języku polskim, też nie mają sensu?
@Grześ
Jeśli jest choćby cień szansy na to, że konferencja naukowa na dowolny temat może przyciągnąć kogoś, kto nie mówi po polsku, to tak właśnie, taka konferencja zorganizowana po polsku nie ma sensu. Taka konferencja wyklucza ludzi, zamiast ich przyciągać, zamyka temat, zamiast go otwierać, ogranicza krąg zainteresowanych, zamiast go rozszerzać.
Pisze Pan, "Nie doszukiwałbym się jakiś teorii sugerujących, że jeśli ktoś pisze publikacje po polsku to jest to jednoznaczne z tym, że nie zna języka angielskiego i w związku z tym jest jakimś gorszym naukowcem". A czy to samo sądziłby Pan o naukowcach, którzy nic nie publikują w ogóle? Proszę się zastanowić, czy tak naprawdę nie można być fantastycznym naukowcem, który zwyczajnie nic nigdy nie publikuje? W końcu "każdy jest panem swojego losu i może pracować w nauce tak jak uważa to za stosowne i to jest piękne", zgadza się?
Rozumiem, że konsekwentnie neguje Pan sens wszystkich konferencji krajowych, nie tylko tych organizowanych w języku polskim ale i tych w których obowiązującym językiem jest np. czeski, francuski, hiszpański .... Ja uważam że każda, nawet bardzo lokalna okazja do wymiany doświadczeń naukowych jest przydatna i należy z niej korzystać.
Celem pracy naukowca nie są publikacje. Publikacje są jedynie jedną z form dzielenia się wiedzą. Tak, proszę sobie wyobrazić, że istnieją bardzo dobrzy naukowcy, którzy nic nie publikują bo obowiązuje ich zakaz upowszechniania wiedzy. Tacy naukowcy pracują np. w centrach badawczych firm jak również w laboratoriach rządowych o znaczeniu strategicznym.
@Grześ
Staram się unikać powtarzania tego, co już powiedziałem.
Jedna bardzo ogólna moja refleksja jest taka, że coraz bardziej doceniam konieczność wprowadzenia poważnych zmian w systemie działania nauki polskiej, bo bez tego jakiekolwiek pieniądze dodane do systemu obecnego zostaną najzwyczajniej zmarnowane. Czytanie komentarzy tutaj na Forum Akademickim w ciągu ostatnich miesięcy uzmysłowiło mi tą konieczność, do której wcześniej nie przykładałem aż tak dużej wagi. Myślałem, że pieniądze wystarczą, a tu nic z tego. A to przecież pieniądze podatników i powinny być wydane mądrze i ze szczególną rozwagą.
Ja nie musiałem czytać komentarzy aby dostrzec taką konieczność ale cieszę się, że doszliśmy do tych samych wniosków. Zwłaszcza ostatnim zdaniem mnie Pan ujął, w kontekście do wcześniejszych Pana wypowiedzi.
System norweski jest inny niż polski mieszany ekspercko-parametryczny. Juz dawno zauważono tam, jedynie luźny związek poziomu publikacji i prestiżu czasopisma. Co nie znaczy że go nie ma. Jesli dobrze wiemy że w naszej dyscyplinie około 20% czasopism jest dużo trudniejsza ze wzgledu na wymagania oryginalności wyniku to warto to odnotować. Jednak zarówno artykuły z poziomu 0, 1 oraz 2. wstepnie tak ocenione podlegają wtórnej recenzji.
Polski rozdrobnionhy podział o 6 poziomach od 20p do 200p generuje więcej niepotrzebnej pracy i więcej omyłek. Zdecydowanie 3 worki lepiej przystaja do dzisiejszych czasów.
@John Kowalsky
Według mnie dużo ważniejsza, niż te "worki", jest ocena poszczególnych publikacji.
W UK worków nie ma żadnych, jest ekspercka ocena wszystkich publikacji przedstawionych do oceny.
Dzięki za wyjaśnienie.
Jeśli chcemy brać pod uwagę IF czasopisma, żeby zachęcać do podnoszenia jakości prowadzonych prac naukowych, róbmy to, ale wtedy mnóżmy IF czasopisma przez liczbę cytowań ocenianego artykułu po 2 latach, ponieważ tak samo liczy się IF czasopisma.
W tym samym czasopiśmie drukowane są prace o ogromnym znaczeniu, jak i mało istotne, a także krytykowane za nadinterpretacje i wycofywane, np. Science.
Nie można wszystkich tam opublikowanych prac uważać za prace o takiej samej wartości.
@John Kowalsky
Jeśli nie można zaufać ‘impact factor’ (a niestety w pełni nie można), jeśli nie można liczyć na cytowania (już abstrahując od potencjalnych manipulacji, w krótkim okresie czasu zbyt wiele się ich nie zbierze), ewaluacja przez niezależnych ekspertów, którzy naprawdę rozumieją te wszystkie mechanizmy wydaje się być najlepszym rozwiązaniem. Tylko tutaj jest absolutnie kluczowe, aby ci eksperci byli spoza polskiego systemu.
Myślę, że to podejście jest w stanie "powstrzymać strumień publikacyjnej "makulatury" ".
Ewaluację da się zrobić tanio, dobrze i zgodnie z postulatem, żeby oceniać jakość a nie miejsce publikacji - za pomocą narzędzi AI (chociaż taka osobna ocena każdej publikacje też byłaby marnowaniem zasobów; zamiast pracy eksperckiej - energii, wody i innych kosztów działania LLMów). Podejrzewam, że nawet ogólne narzedzia dostępne obecnie na rynku dałyby radę (tj. akceptowalny wynik), a przecież zawsze można zebrać np. 1000 ekspertów i trenować specjalny model do skutku, tj. do osiągnięcia sensownego poziomu zgodności. Oczywiście takiego rozwiązania nie przyjmą ani decydenci, ani środowisko, jednak co do zasady stawiam, że poza barierą psychologiczną nie ma tu innych poważnych ograniczeń (np. merytorycznych czy logistycznych).
Eksperci - zgoda, ale wybrani demokratycznie. Prawdziwie demokratycznie, a nie przez jakieś tam wskazanie przez rektora czy dziekana, jak to w Polsce bywa z kierownikami jednostek, po którym to wskazaniu palcem, następuje "głosowanie" czyli test lojalności, który od PRL do dziś udaje demokrację.
"Spoza systemu" jak ich dobrze wybrać? Jak unikać konfliktu interesów? Jak zapewnić ich lojalność wobec systemu, który mają poprawiać? jaka będzie ich odpowiedzialność?
Byłbym za ekspertami spoza systemu, dobieranymi i opłacanymi przez poszczególne jednostki naukowe, na ich użytek, ale tylko w roli advisory boards.
@Przemo
Nie istnieje coś takiego, jak "ewaluacja idealna". Ale można pracować w kierunku jej polepszenia.
Proszę spojrzeć:
"Ewaluacja – jak to robią w Portugalii?"
cytat: "Ewaluacja jest przeprowadzana co 4–5 lat, podobnie jak w Polsce. Dokonują jej panele dziedzinowe, których jest ponad 30. W ich skład wchodzą wyłącznie uczeni z zagranicy."
https://forumakademickie.pl/ewaluacja-jak-to-robia-w-portugalii/
Portugalia ma też swoje, bardzo poważne problemy:
https://forbetterscience.com/2026/02/04/academic-precarity-in-portugal/
@MJW
Jak każdy inny kraj na tej planecie.
Ale w swoim komentarzu chciałem tylko dać przykład tego, jak ewaluacja podmiotów naukowych może być zorganizowana w sposób, gdzie 100% oceny jest robionej przez osoby spoza lokalnego systemu. Bo o ewaluacji tutaj mowa.
W Polsce jest towarzystwo wzajemnej adoracji wśród naukowców, a Pan wyjeżdża z Portugalią, gdzie naukowcy to sąsiedzi z bloku.
Demokratyczny wybór trzech ekspertów dla dyscypliny / ocena z uzasadnieniem - świetny pomysł, proste rozwiązanie, bez wątpienia lepsze niż liczenie arbitralnie dobranych punktów.
Dla instytutów to wystarczy, ale w przypadku uczelni pozostaje jeszcze jakość nauczania - ważna część pracy uczelni, której nie powinno się oceniać tylko pogłównie, kiedy na studia trafiają wszyscy chętni, a kolejne uczelnie rosną na subwencjach jak grzyby po deszczu.
Trzech ekspertów ma zrecenzować dajmy na to po 3 publikacje każdego polskiego naukowca z danej dyscypliny? Życzę powodzenia.
Ależ w żadnym wypadku. Te trzy osoby mają ocenić jakość badań w ich dyscyplinie w każdej uczelni. Po prostu posortować uczelnie na 5 grup. Korzystając z czego tylko chcą (powinni mieć dostęp do danych), ale jak lepiej widzą "na oko" to niech i tak będzie. Gdyby byli wybierani, to w kampanii wyborczej mogą proponować takie czy inne kryteria, które uważają za słuszne. I to byłoby (w końcu!) jakieś JAKOŚCIOWE kryterium IV lub Filar III :)
Tu ten RDN całkiem pasuje (3 osoby! udatna nazwa), gdyby mu "odebrać" nadzór nad habilitacjami i profesurami (tu znacznie lepiej byłoby uzależnić liczbę członków od liczebności dyscypliny, bo np. w medycynie 3 to tyle co nic, i nich się nazywa CK, co za różnica).
Te trzy osoby, jeśli dobrze zrozumiałem pomysłodawcę miałyby porównać sprawozdania np. 10 jednostek naukowych raz na 4 lub 5 lat. Jednostki mogłyby przedstawiać do oceny np. 5-10 najlepszych ich zdaniem projektów wykonanych w tym czasie.
Czyli 3 ekspertów ocenia dajmy na to 50 - 100 najlepszych publikacji/projektów 10 jednostek naukowych? Przecież to nie ma szansy zostać przeprowadzone rzetelnie. Tych 3 ekspertów raczej nie będzie kompetentnych w tak szerokiej tematyce. Weźmy dla przykładu fizykę: Znajdźmy 3 osoby znające się na fizyce kwantowej, optyce atomowej, teorii pola, fizyce cząstek, fizyce materii skondensowanej, biofizyce. Chodzi o 3 osoby, które będą w stanie rzetelnie ocenić najlepsze artykuły z Polski. Przecież taka ocena nie ma cienia szansy być rzetelną i sprawiedliwą! A wypadałoby, żeby każdy z tych 3 ekspertów znał się na każdej z tych dziedzin, bo w przeciwnym wypadku trzeba zdać się na werdykt nawet jednej osoby!
W planowanych działaniach Ministerstwa jest likwidacja tzw. SLOTÓW. I bardzo dobrze. Wystarczy N, 1/2N i 1/4N. Wg poszczególnych grup pracowników. Być może to istotnie ograniczy punktozę. Chodzi o ocenę jakości wyników badań, a nie to gdzie są publikowane.
Ograniczeniem punktozy byłby brak punktów. Dodatkowo wymaga się cyklu publikacji do habilitacji i trzeba pracować bardzo intensywnie, żeby nie rozciągać awansu w czasie, a co za tym publikować znacznie więcej niż wymagane sloty. Gdzie tu sens i logika
Ministerstwo w osobie ministry (tak życzy sobie być nazywana) nie potwierdza. Właściwie to nie za bardzo wiem, o co temu ministerstwu idzie. Podejrzewam, że jak zwykle - chcą wygospodarować trochę kasy.
Spotkanie dotyczące wykazu czasopism pokazało jak bardzo PANI MINISTRA jest oderwana od rzeczywistości, a udzielane przez nią (i przedstawiciela KEN) wyrwane z kontekstu. Poruszanym wielokrotnie punktem była kwestia daty obowiązywania wykazu. Było wiele głosów krytycznych, żeby rozpocząć od 2027 roku, na co Pani Ministra kazała sobie szacować samemu rangę czasopisma, ale na spotkaniu okazało się, że nie jest określone czy ocena czasopism będzie bazować na Scopusie czy WoS (będzie to decyzja KEN i jak dobrze zrozumiałem, to raz może być tak, a raz tak). Mogą też podnosić rangę polskim czasopismom, co oczywiście będzie skutkowało tym, że będą ustawki, kolesiostwo i Ci co mają znajomości będą mogli publikować, a tym co nie mają układu będzie ciężko przebić szklany sufit (jak zawsze). Pani Ministra uchylała się od odpowiedzi. Kwestie konferencji również pozostawiają wiele do życzenia…
"ale na spotkaniu okazało się, że nie jest określone czy ocena czasopism będzie bazować na Scopusie czy WoS (będzie to decyzja KEN i jak dobrze zrozumiałem, to raz może być tak, a raz tak)"
Wykorzystanie CiteScore to ustalania punktacji to dopiero jest PORAŻKA. Przecież Scopus jest bazą Elseviera, więc wiadomo, że czasopisma Elseviera nie zostaną pozbawione tego wskaźnika. Przykładowo, Chemosphere ma obecnie IF = 0, a CiteScore 18,1. Do ubiegłego roku miało 140 pkt. Jak będzie teraz? A STOTEN? Teraz ma 200 pkt. W latach 2022-2025 polscy uczeni opublikowali w nim 650 artykułów, co daje 130000 punktów, a w rzeczywistości przynajmniej 390000, bo średnio taki artykuł miał autorów z trzech jednostek. I co, KEN dalej zostawi mu 200 pkt., bo uzna, że należy zastosować CiteScore a nie IF? Zapewne w stosownych gremiach będzie wiele osób zainteresowanych zachowaniem takiego stanu rzeczy. A przekręty Barcelo i jego zespołu redakcyjnego wołają o pomstę do nieba.
A ja ciągle nie wiem - czym się różni ocena uczonego na podstawie pism, w których publikuje, od od oceny człowieka, na podstawie samochodu, którym jeździ?
Jak to mówią „kto pracuje na polskiej uczelni, ten w cyrku się nie śmieje”