W dyskusji toczącej się na temat jakości działania Narodowego Centrum Nauki możemy znaleźć zapewnienia, że proces ten odbywa się zgodnie z najwyższymi standardami, a ekspertów cechuje rzetelność i profesjonalizm. Czy rzeczywiście tak jest? – pyta dr inż. Tomasz Ratajczyk z Instytutu Chemii Fizycznej PAN.
Narodowe Centrum Nauki, powołane ponad dekadę temu na podstawie ustawy, jest główną instytucją zajmującą się finansowaniem badań podstawowych w Polsce poprzez przyznawanie grantów naukowcom na konkretne projekty badawcze. Jednym z kluczowych elementów właściwego funkcjonowania systemu grantowego powinno być przejrzyste i rzetelne ocenianie wniosków. W dyskusji toczącej się na temat jakości działania NCN możemy znaleźć zapewnienia, że proces ten odbywa się zgodnie z najwyższymi standardami, a ekspertów cechuje rzetelność i profesjonalizm. Czy rzeczywiście tak jest? Czy standardy oceny rzeczywiście są tak wysokie, jak zapewniają przedstawiciele Centrum? Czy aplikujący o granty otrzymują profesjonalne recenzje, które pozwalają im poprawić swoje wnioski w przyszłości?
Można zaryzykować tezę, że proces recenzyjny w NCN jest nierzetelny, a sytuacja z roku na rok ulega pogorszeniu. Opinię tę opieram na własnych doświadczeniach. Wielokrotnie uczestniczyłem w konkursach grantowych, kilkakrotnie uzyskując dofinansowanie. W ostatnich latach obserwuję gwałtowne obniżenie standardów oceny wniosków. Postaram się wykazać, że powyższe spostrzeżenia, choć wynikają z indywidualnego przypadku, mogą mieć charakter ogólny. Skupię się na jednym z najważniejszych programów NCN – OPUS.
Ewaluacja projektów zgłoszonych do konkursu OPUS przebiega w trzech fazach: oceny formalnej, oceny eksperckiej (etap I) oraz kompleksowej oceny recenzenta (etap II). Ocena formalna ma charakter wyłącznie techniczny. Oceny eksperckiej dokonują dwaj eksperci, którzy nie muszą być, i z reguły nie są, specjalistami w danej dziedzinie. Eksperci zapoznają się ze skróconym opisem projektu oraz innymi elementami, takimi jak: CV autora, skład zespołu realizującego grant, budżet projektu, a także informacje o tym, czy inne granty kierowane przez wnioskodawcę zostały prawidłowo rozliczone. Jeśli wniosek zostanie pozytywnie oceniony na etapie I, trafi do etapu II, a sam projekt jest przekazywany recenzentom – ekspertom w dziedzinie, której on dotyczy. Ocena na tym etapie jest zazwyczaj przeprowadzana w sposób dość profesjonalny.
Najwięcej zastrzeżeń co do funkcjonowania procesu recenzji w NCN budzi etap oceny eksperckiej. Przykładowo, w zakończonym niedawno 27 konkursie OPUS w jednej z ocen ekspert w panelu ST4 zarzucił mi, że chcę zatrudnić w projekcie trzech doktorantów, choć we wniosku jest wyraźnie napisane, że planuję zatrudnić tylko jednego doktoranta i dwóch studentów, którzy w trakcie realizacji projektu napiszą prace magisterskie. Co bardziej irytujące, ten jednoznaczny tekst, niepozostawiający żadnych wątpliwości, znajdował się w punkcie 5 wniosku. Jest to punkt wprowadzony niedawno przez Radę NCN, zarówno do szczegółowego, jak i skróconego opisu, aby recenzent mógł ocenić możliwości wykonania grantu przez aplikujący zespół. Jak widać, ekspert nie potraktował zaleceń Rady NCN z należytą powagą. Ten sam recenzent zarzucił mi również brak doświadczenia w opiece nad studentami podczas dotychczasowej kariery naukowej, choć we wniosku grantowym wyraźnie zaznaczyłem, że opiekowałem się studentami oraz stażystami podoktorskimi. Efektem mojej współpracy z tymi osobami były zazwyczaj prace naukowe publikowane w uznanych czasopismach.
W przypadku mojego projektu ekspert zatem nie przeczytał wniosku ze zrozumieniem. Zarzut ten jest najłagodniejszy z możliwych, bo należałoby się zastanowić, czy ekspert w ogóle przeczytał tekst, co przecież jest jego obowiązkiem wynikającym z umowy z NCN. Sedno sprawy tkwi jednak w tym, że mój projekt został odrzucony nie na podstawie zarzutów odnoszących się do podanych przeze mnie stwierdzeń, ale na podstawie zarzutów odnoszących się do stwierdzeń skonfabulowanych przez eksperta.
Można oczywiście stwierdzić, że opisany powyżej przypadek jest jednostkowy. Czy rzeczywiście? Podobne doświadczenia ma wielu moich kolegów i koleżanek, a w środowisku naukowym powszechne są negatywne opinie na temat jakości recenzji w konkursach NCN. Fakt, iż podobne doświadczenia mają też inni badacze ubiegający się o granty, wcale nie zaskakuje. Skoro dany ekspert oceniał kilka wniosków, to czy tylko mój został oceniony niezgodnie ze standardami, czy może wszystkie wnioski, które trafiły do tego eksperta, były oceniane nierzetelnie? Jak często ów ekspert bierze udział w ocenie merytorycznej wniosków składanych w NCN? Wreszcie należy się też zastanowić, czy członkowie panelu i koordynatorzy korygują nierzetelne ekspertyzy. Wygląda na to, że nie. Problem niskiej jakości ocen projektów w konkursach NCN staje się coraz bardziej powszechny, a skala zjawiska zdecydowanie wymaga zainteresowania co najmniej ze strony dyrekcji Centrum.
Bylejakość oraz nierzetelność recenzji ekspertów rodzi poważne konsekwencje na wielu płaszczyznach: dla naukowca, który zamiast zajmować się nauką, poświęca swój czas na pisanie projektu, którego potem ekspert nawet nie przeczyta; dla NCN, cieszącego się coraz mniejszym zaufaniem, co może skutkować obiekcjami rządzących co do zwiększenia jego finansowania i wreszcie dla jakości nauki w Polsce. Rzetelne przygotowanie wniosku grantowego jest czasochłonne, a jego odrzucenie na I etapie, na podstawie nierzetelnych opinii eksperta, rodzi kilka problemów.
Po pierwsze, aplikant nie ma możliwości ponownego złożenia projektu w kolejnej turze konkursu po sześciu miesiącach. Po roku oczekiwania wniosek zaś często traci na aktualności i staje się mniej atrakcyjny. Po drugie, nierzetelne recenzje mają ogromny wpływ na morale naukowców, zwłaszcza tych dopiero rozpoczynających karierę naukową. Rodzi się też wątpliwość co do tego, czy warto poprawiać wniosek, który zapewne i tak nie zostanie przeczytany ze zrozumieniem przez oceniających, lub – co gorsze – zostanie przez nich przeinaczony. Takie sytuacje negatywnie wpływają na chęć składania kolejnych wniosków przez pokrzywdzonych naukowców, również do innych instytucji przyznających granty. Oczywiście niekompetentne zachowania części ekspertów mają również negatywny wpływ na postrzeganie NCN w środowisku naukowym, jak i poza nim. To zaś skutkuje ograniczeniem jego finansowania i spadkiem prestiżu. Podobna sytuacja miała miejsce w Narodowym Centrum Badań i Rozwoju, gdzie odbiegające od wszelkich norm zachowania i nierzetelne procesy oceny wniosków doprowadziły do całkowitej degradacji marki tej instytucji. Nie sposób też nie zauważyć, iż NCN funkcjonuje w przestrzeni międzynarodowej i powinno mu zależeć na tym, aby było postrzegane jako poważna instytucja.
Wydaje się, że głównym problemem całego systemu oceny projektów jest brak kontroli nad działaniami ekspertów. Ekspert może w ocenie wniosku napisać dowolną, najbardziej absurdalną i zawierającą nieprawdę opinię, nie ponosząc za to żadnych konsekwencji. Zadziwiająca jest również indyferencja odpowiedzialnych za prowadzenie panelu wobec tego typu nonsensownych recenzji oraz brak działań ze strony koordynatorów dyscyplin. W NCN nie ma mechanizmów samokorygujących proces oceny eksperckiej. Jest jedynie formalna możliwość odwołania się naukowca pokrzywdzonego nierzetelną oceną wniosku przez eksperta. Jednak odwołanie do NCN nie jest traktowane jako skarga na eksperta, w związku z czym może on nawet nie wiedzieć o zarzutach pod swoim adresem, może być dalej zapraszany na panele i kontynuować proceder pisania nierzetelnych ocen projektów w kolejnych konkursach.
Rozwiązaniem powyższego problemu mogłoby być wprowadzenie odpowiedzialności ekspertów za własne działania. Eksperci i recenzenci powinni wiedzieć, że pisząc fałszywą opinię, narażają się na konsekwencje. W NCN powinny istnieć mechanizmy, które co najmniej odsuną takiego eksperta od oceny projektów grantowych w kolejnych konkursach. Tak może się stać, jeśli wprowadzone zostaną skuteczne mechanizmy składania skargi na nierzetelnych ekspertów w przypadkach ewidentnych nadużyć z ich strony. Być może warto rozważyć możliwość konfrontacji naukowca z panelem, zwłaszcza że rozwiązania takie znane są w Europie i są stosowane przez znakomite instytucje zajmujące się finansowaniem badań naukowych. Myślę, że istnieje całe spektrum procedur, które mogłyby poprawić jakość procesu recenzji w NCN. Czy jednak Narodowemu Centrum Nauki na tym zależy?
Tomasz Ratajczyk
Witam,
Jako że moja kariera naukowca zostawla brutalnie przerwana po powrocie do Polski 5 lat temu przez przedziwne oskarżenia prof Marcina Draga, który wymógl na dyrektorze NCN Zbigniew ie Błockim by ten skłonił się do szantażu (próba wymuszenia bym wycofał moja aplikacje powrotów z NAWA-Powroty), mam teraz czas na przeglądanie nagrań Błockiego wykonanych przez moją ówczesna partnerkę i pracownice NCNu.
Przeglądam również dostępne źródła. Poniżej znajdą Panstwo coś co może ich zainteresować. Jest to jedna z 6 spraw nad jakimi teraz pracuje.
GRANTY NCN Z ODWOŁANIA NIE SĄ PRZYZNAWANE OD 2020 ROKU
Otóż będąc przez krótki czas w związku z byłą szefową działu kontroli NCNu, wysłuchałem wielu obrzydliwych historii, które działy się w NCNie. Jedną z nich jest otrzymywanie grantów w ramach tzw. odwołań. W Narodowym Centrum Nauki odwołania od decyzji o przyznaniu grantu, są dozwolone tylko od spraw formalnych, czyli w praktyce jedynie pierwszego, technicznego etapu oceny wniosku. W NCNie i w NAWA nie ma możliwości odwołania od spraw merytorycznych, czyli od oceny recenzentów i późniejszej, niesformalizowanej oceny tejże oceny przez Zespół Ekspertów. Po odrzuceniu formalnym, projekt grantowy nie jest już wysyłany do recenzentów i nie może być przyznany, jako że nie został oceniony merytorycznie. Może być przyznany jedynie, jeśli zaszła jakaś formalna niezgodność na etapie oceny grantu pomiędzy wysłaniem do recenzji, a ogłoszeniem wyników, etap, na którym bardzo mało prawdopodobnym jest popełnienie formalnego faux pas przez NCN czy NAWA (łącze te dwie instytucje, ponieważ używają tej samej bazy danych ekspertów).
Innymi słowy, grant odrzucony po ocenach recenzentów i Zespołu Ekspertów, może być później przyznany tylko z odwołania wobec spraw formalnych, przy czym nazwisko szczęśliwego wnioskodawcy nie pojawi się na liście konkretnego konkursu, z konkretnego rocznika, bo pozytywnie zaakceptowane odwołania nie są publikowane wraz z numerem projektu, nazwą konkursu ani nawet datą ich przyznania. Przez tą metodę publikacji informacji publicznej utrudniona jest, choć jak tu widać nie niemożliwa, identyfikacja beneficjentów z odwołania i ich porównanie do oficjalnej listy zaakceptowanych i odrzuconych grantów.
Pouczające jest tedy, że grantów przyznanych z odwołań we wszystkich konkursach NCNu jest na dzień dzisiejszy 117 i są one publikowane na jednej zbiorczej liście, dopiero od 2018 roku. Pomimo tego i dzięki serwisowi Web Archive, można oszacować, ile grantów z odwołań zostało przyznanych w konkretnych latach pomiędzy 2018-2024 rokiem.
WebArchive, strona z końca 2018, początek publikowania przez NCN odwołań za lata 2010-1018 – 73 wnioski z odwołań:
2018 – 14
2019 – 26
2020 – 0
2021 – 0
2022 – 2
2023 – 2
2024 – 0
Od 5 lat NCN przyznał tylko 4 granty z odwołania. Wcześniej, NCN przyznawał 10 grantów rocznie z odwołania. Oprócz roku 2019, kiedy to, dzięki Funduszom Norweskim, przyznano ich 26! Takiej probabilistyki niezgodnej z rozkładem normalnym prawdopodobieństwa, nie da się już odwidzieć.
Ale dlaczego NCN zmienił statystyki przyznawania grantów z odwołania w 2020 roku? Może, dlatego że w 2020 zwróciłem na to uwagę, mojemu byłemu przyjacielowi ze studiów na UJ-ocie, a wtedy i obecnie, wice-dyrektorowi NCNu, dr Marcinowi Lianie, na naszym towarzyskim spotkaniu. Jest to tylko kolejna interesująca korelacja, którą pani prokurator mogła z minimalnym wysiłkiem sprawdzić.
Bardzo zastanawiającym powinno być, że w roku 2020, NCN przyznał nie tylko wyjątkowo obfitą liczbę grantów z odwołania, ale przyznał je osobom, których nazwiska widniały na liście płac Narodowego Centrum Nauki. Otóż na liście dumy NCNu, znajdziemy nazwiska małżonków Małgorzaty Jacobs oraz Kingi Sekerdej, podówczas Koordynatorek Dyscyplin w Narodowym Centrum Nauki, którzy uzyskali imponujące granty z odwołania w 2018 (Sekerdej) i 2020 (Jacobs), tym ostatnim z tłustych dla odwołań, roku. Przypomnę, nikt ze startujących w konkursach wraz z małżonkami koordynatorek dr. Bart Jacobs (358 886 PLN) i dr Maciejem Sekerdej (2681 700 PLN) nie mógł znaleźć na wspólnej liście beneficjentów grantów z konkursów, z których małżonkowie koordynatorek występowali, jako że im granty zostały przyznane dopiero z odwołania.
Przyjrzymy się teraz grantowi za 2.7 mln PLN przyznanemu w 2018 roku panu Maciejowi Sekerdejowi, małżonkowi Kingi Sekerdej w 2018.
a. Grant przyznany Maciejowi Sekerdejowi był największym grantem przyznanym z odwołania przez 15 lat działania NCN.
b. Grant przyznany dr Maciejowi Sekerdejowi trafił do Wydziału Filozofii UJ w Krakowie za projekt: ‘Między nacjonalizmem i kosmopolityzmem: percepcyjne i motywacyjne czynniki kształtujące konstruktywny patriotyzm’. Ten 5-letni grant, Maciej Sekerdej ukończył w 6 lat (01.10.2018-30.092024).
c. Grant ten został rozliczony publikacjami w 11 czasopismach, choć NCN zatwierdził ten grant panu Sekerdejowi 7 publikacjami opublikowanymi i 4 publikacjami, do których Sekerdej nie podał źródłowych linków DOI, co oznacza, że na czas przyjęcia raportu z realizacji grantu przez NCN, te 4 publikacje nie były jeszcze opublikowane. Do tej pory, jedna publikacja wciąż nie została opublikowana.
d. Z wszystkich 11 zgłoszonych publikacji, Maciej Sekerdej jest głównym autorem tylko w dwu (2), a korespondencyjnym, w trzech (3). To oznacza, że głównym wykonawcą i pomysłodawcą pozostałych prac mógł być ktoś inny, a autor pracy dostarczał tylko fundusze, co jest niezgodne z zasadami autorstwa w publikacjach naukowych: https://pmc.ncbi.nlm.nih.gov/articles/PMC3010799/#:~:text=Authorship%20credit%20should%20be%20based,the%20version%20to%20be%20published.
e. Ze wszystkich 10 opublikowanych publikacji, tylko 2 są opublikowane w czasopismach Open Access, co stoi w sprzeczności z polityką otwartego publikowania przez NCN, a publikacje takie, nie powinny, od 1 stycznia 2021 roku być uwzględniane w raportach składanych do NCNu przez beneficjentów grantów przy ich rozliczaniu.
Wychodzi, że dzięki mnie, wypadła jedna scieżka. Jak żyć? Oj tam, na pewno coś się znajdzie.
Dr Witold Kilarski
PS: Szczegoly dla chetnych:
https://web.archive.org/web/20181116055328/http://ncn.gov.pl/konkursy/wyniki/odwolania
WebArchive, 2019 - 87 wszystkich wniosków przyznanych z odwołań od 2010 (+14 za 2018): https://web.archive.org/web/20190722004247/http://ncn.gov.pl/konkursy/wyniki/odwolania
WebArchive, 2020 - 113 wszystkich wniosków przyznanych z odwołań od 2010 (+26 za 2019): https://web.archive.org/web/20200927095634/http://ncn.gov.pl/konkursy/wyniki/odwolania
WebArchive, 2021 - 113 wszystkich wniosków przyznanych z odwołań od 2010 (0 za 2020):
https://web.archive.org/web/20211025075355/https://ncn.gov.pl/konkursy/wyniki/odwolania
WebArchive, 2022 - 113 wszystkich wniosków przyznanych z odwołań od 2010 (0 za 2021):
https://web.archive.org/web/20221208064303/https://ncn.gov.pl/konkursy/wyniki/odwolania
WebArchive, 2023 - 115 wszystkich wniosków przyznanych z odwołań od 2010 (+2 za 2022):
W latach 2010 – 2017 –średnio 10 wniosków rocznie przyznawanych z odwołań:
Proces oceny w NCN odbywa się bez jakichkolwiek standardów. Nie od dziś wiadomo, że NCN to narzędzie przyznawania kasy dla swoich.
a co sądzicie o mobberach w środowisku akademickim, powinno się ich zwalniać bez względu na stopień/tytuł?
Tak, ale nikt tego nie zrobi bo mobberzy mają władzę, więc nie przegłosują niczego niekorzystnego dla siebie.
Bardzo trafny artykuł. NCN działa już od 15 lat, a sama koncepcja agendy jest osadzona w kolorytach II połowy lat 2000. Ponadto agenda ta nie dostosowywała się zbytnio do zmieniających się realiów. Oczywiście były pewne zmiany, ale koncepcyjnie zostało jak było na początk, przez co w wielu przypadkach zamiast rozwijać naukowców i zespoły agencja powoduje mieszane odczucia. Bardzo dobrze to rozumiem jako beneficjent kilku grantów. Stad uważam, że koszty społeczne jej funkcjonowania są wysokie dla naukowców i calego srodowiska. A wiara, że działa super, mnie już niewystarcza... Niski poziom recenzji jest konsekwencja losowego doboru ekspertów i przekonania, że ci zagraniczni są lepsi i ładniejsi. Brutalna rzeczywistość pokazuje, że akceptują zaproszenia do recenzji, aby mieć zarówno ok. 80 euro jak i wgląd w tematę, co jest dla nich bezcenne, bo nawet Ci piękni i młodzi z zagranicy muszą się gdzieś inspirować. A w praktyce nas ograbiają intelektualnie, a ich anonimowość powoduje bezkarność. Znam kilka przypadków od kolegów i jeden mój... Stąd często jak nie znajdą pomysłu do wykorzystania/gotowca, piszą, że coś nie było opisane dokładnie. Kolejnym problemem jest to, że NCN jest kalką zagranicznych agencji tego typu. Niestety słabo dostosowaną do polskiej rzeczywistości, a każda kopia z założenia jest imitacją.
Akurat tego zjawiska nie zaobserwowałem. Naprawdę ograbiają, co młodzi recenzenci z zagranicy? Czy to tylko taka figura formalna? Nie wiem, jak z ograbianiem, ale na podstawie mojej dotychczasowej praktyki mogę powiedzieć, że ograbiania raczej nie zauważyłem, natomiast najbardziej wnikliwe merytoryczne recenzje otrzymywałem od recenzentów z zagranicy właśnie, którzy nie orientują się w naszym grajdole, a tylko patrzą na propozycję naukową.
W rzeczy samej
Po wstępie "Postaram się wykazać, że powyższe spostrzeżenia, choć wynikają z indywidualnego przypadku, mogą mieć charakter ogólny" spodziewałem się, że faktycznie będzie jakaś podstawa do uogólnień, tymczasem widzę jedynie, że "wielu znajomych też ma zastrzeżenia". Pewnie że ma, skoro przy wskaźniku sukcesu (załóżmy optymistycznie) 20% niezadowolonych jest 4x więcej niż zadowolonych. Wychodzi więc na to, że wyrażona w artykule opinia nie opiera się nawet "na własnych doświadczeniach", tylko "doświadczeniu" w liczbie pojedynczej, tj. jednej recenzji, która być może - jeśli rzeczywiście zawiera oczywisty błąd faktyczny - w ogóle kwalifikuje się na odwołanie. Na podstawie jednostkowego przypadku można stwierdzić jedynie, że błędy się zdarzają, ale nie wiadomo jak często, czy częściej niż kiedyś i czy częściej niż 'za miedzą'.
Bazując z kolei na moich doświadczeniach uważam, że nie często, nie częściej niż kiedyś i nie częściej niż w innych agencjach. Z NCN dostałem niezliczone ilości recenzji (wniosków swoich i współtworzonych) i większość była 'negatywna' w sensie bycia podstawą do decyzji odmownych, ale tylko jeden jedyny raz dostałem recenzję autetycznie całkowicie błędną. Zdecydowana większość, nawet tych krytycznych, była merytorycznie przynajmniej przyzwoita, a najczęściej dobra.
Co do porównania z innymi grantodawcami, z moich doświadczeń zupełnie nie wynika, żeby NCN odstawał poziomem od agencji zagranicznych.
Co do zmiany w czasie to raczej widzę systematyczny wzrost poziomu, co ma związek z uzewnętrznianiem procesu. Moim zdaniem NCN wykonał tu przez ostanie powiedzmy 1.5 dekady ogromną i owocną pracę.
Żarty żart żarciki
Typowe, tanie chwyty demagogiczne.
Argumenty, które w każdej sytuacji bronią, są podejrzane. Tak samo wielokrotnie broniono przed krytyką polskie sądownictwo, mówiąc, że przecież proces jest kontradyktoryjny i zawsze jedna ze stron będzie niezadowolona z wyroku. I czego to dowodzi? Tak można gadać zarówno, gdy sądownictwo będzie stało na przyzwoitym poziomie, jak i wtedy, gdy będzie upadłe, niewydolne i skorumpowane. Same pikantne przykłady z komentarzy pod artykułem prof. Ratajczyka wystarczą - i nie ma co tu badać procentów, wiemy, że są liczne, a nie powinny się zdarzyć ANI RAZU, bo to nie są po prostu decyzje, z którymi zainteresowani się nie zgadzają, tylko skrajne przykłady niekompetencji i niesolidności.
Drugi typowy argument, właściwie nie argument, tylko domaganie się dowodu, o którym wiadomo, że jest niemożliwy do przeprowadzenia. Co by pana usatysfakcjonowało? Może zrobić badanie nad procentem bezzasadności odrzuceń w NCN? Wylosować próbkę aplikujących i dla każdego delikwenta przeprowadzić postępowanie sądowe? A póki takiego niemożliwego dowodu nie ma, przyjmujemy domniemanie, że NCN jest cacy.
Zgadzam się, że ww. to nie są argumenty, raczej diagnoza przyczyn niezadowolenia itd. Mój argument jest taki, że pojedyncze przypadki nie dają pojęcia o skali. I że właściwe pytanie jest nie czy błędy się zdarzają ("a nie powinny się zdarzyć ANI RAZU" - jest to po prostu niemożliwe), tylko jak często, czy częściej niż dawniej lub niż gdzie indziej, i czy mogłyby się zdarzać rzadziej. Nawiasem, dodałbym tu jeszcze reakcję NCN na błędy. W tej jedynej naprawdę tendencyjnie negatywnej recenzji, o której wspomniałem wyżej, NCN zareagował tak, że ten ekspert nie oceniał tego ponownie złożonego wniosku, który zresztą następnie dostał finansowanie.
Więc argument to jest ww., a dalej piszę po prostu o swoich doświadczeniach, z których nie wynika, że NCN odstaje od innych instytucji (chyba że bierzemy pod uwagę ministerstwo, to wtedy wszystko odstaje od ministerstwa na plus). Ani z jednostkowych spostrzeżeń prof. Ratajczaka ani moich (ani forumowiczów) nie możemy wyciągać wniosków ogólnych, ani w jedną, ani w drugą stronę. Jeśli chcemy wyciągać wnioski ogólne, to faktycznie potrzebne są argumenty ogólne, np. audyt. Obecnie NCN koordynuje 3 duże programy europejskie (Quant Era, Chanse oraz STR), a w ramach OPUS Lap ufają mu agencje z np. Austrii, Czech, Niemiec, Szwajcarii i dają swoje pieniądze na bazie jego ocen. To znaczy, że na jakichś podstawach uznały, że nie jest najgorzej.
Owa "diagnoza przyczyn niezadowolenia" to chyba po prostu gołe imputowanie. Tzn. jak ktoś jest oburzony z powodu rażącego potraktowania go przez NCN, to z automatu przypisuje mu pan nieszczerość, bo jego prawdziwą motywacją jest odrzucenie wniosku, a że ten ktoś mieści się ładnie w procentach odrzuceń, to potwierdza tę diagnozę. Czy ja muszę się szczegółowo odnosić do takiego rozumowania? Jesteśmy chyba obaj na tyle doświadczeni życiowo, żeby odróżnić smak zwykłej przegranej we w miarę uczciwej konkurencji, od oburzenia wywołanego tym, że ktoś naszego wniosku w ogóle nie przeczytał, wygaduje na jego temat niestworzone rzeczy, a decyzje o nim podejmuje (w najlepszej interpretacji) na podstawie rzutu monetą.
Natomiast jeżeli pan twierdzi, że nie można ocenić NCN-u, możemy tylko rozłożyć ręce, to już lepiej, niż twierdzić, że wobec tego NCN uznajemy za brylant i ewentualnie czekamy na kontrargument, który nigdy nie nastąpi. Natomiast ja raczej stoję na stanowisku, że finansowanie nauki, jak i jego ocena to nie praca badawcza, to jest pewna aktywność metanaukowa, polityczna, społeczna, i nie należy oczekiwać użycia ściśle naukowych narzędzi. Trzeba mieć oczy i ich nie zamykać. Niestety, jaki jest koń, każdy widzi. Audyt? Jaki audyt? Czyj? Widział pan jaki sensowny audyt NCN-u? Do tego trzeba by chyba nagrywać rozmowy na tych wszystkich panelach i także na przerwach na kawę. Pan prof. Jajszczyk chwalił nam się tu gdzieś dziwnymi metodami kontroli własnych recenzentów (czy tam "ekspertów"), ale już tam nie dowodzi.
Nie uważam, że Pana niezadowolenie jest niesłuszne. Co więcej, najprawdopodobniej jest słuszne. Wskazuję natomiast, że samo w sobie nie jest jeszcze podstawą do oceny całego NCN.
Nie piszę też, że NCN jest brylantem lub że nie da się go oceniać. Da się i trzeba. Wskazuję też, że takiej oceny dokonały zagraniczne agencje państwowe i unijne i najwyraźniej wypadła ona pozytywnie, skoro powierzyły NCNowi decydowanie o swoich pieniądzach.
No- a ja mysle ze koles ma racje..wlasnie wracam z OPUS dla humanistyki..tzw. eksperci 'pisza' recenzje ChatemGPT. Panel placi tym gosciom jakies 100 euro za te wybitne 'opinie''. Opinie pisze chat w 2 minuty 10 sekund. 'Opinia' zawiera nieścisłości, uproszczenia graniczace z bledami, podważa regulamin samego konkursu (chatbot go nie czytal najwyrazniej), myli sie chatowi dyscyplina naukowa aplikacji....no- 'zarobil 'ekspert' stowke.. A PANEL bierze 'czyta', studiuje takie gowienko i 'wydaje decyzje'. I najśmieszniejsze ze placi za cos co sami moglby sobie zrobić w domu... To sa jakieś zarty, prosze panstwa.
Dwa proste pytania:
1
Czy może Pan powiedzieć, czy agencje zagraniczne przekazują pieniądze polskim badaczom, czy pieniędzmi tych agencji dysponują wyłącznie partnerzy zagraniczni? Mnie się wydaje, że NCN od agencji zagranicznych nie otrzymuje żadnych pieniędzy. Czy tak jest?
2
Jak Pan skomentuje sprawę papierników? Czy ma Pan na ten temat jakieś zdanie?
Z tego co wiem, w Weave oraz Opus LAP każda agencja finansuje zespół ze swojego kraju, ale ocenia tylko agencja wiodąca. Tak więc partnerzy zagraniczni nic nam nie przekazują. Austriacka FWF płaci Austriakom, niemiecka DFG - Niemcom, itd. Natomiast w konkursie Opus Lap FWF, DFG, itd. płacą na podstawie oceny NCN (tj. nie robią własnej osobnej, tylko ufają ocenie NCN).
Co do paper mills jest to dla mnie nowe zjaiwsko - nie mam niestety pomysłu, jak z tym walczyć.
"nie jest prawdą stwierdzenie: „skoro powierzyły NCN-owi decydowanie o swoich pieniądzach”..."
jest prawdą, ponieważ cedują decyzję na NCN. Dokłądnie tak jak już to dwa razy pisałem, w OPUS LAP ocenę przeprowadza wyłącznie NCN. Agencje zagraniczne nie robią swojej dodatkowej oceny, tylko ufają ocenie NCN, a więc jak najbardziej wydają swoje pieniądze w oparciu o ocenę NCN. Nie rozumiem, czego można tutaj nie rozumieć.
I dalej, "...99% pozytywnych przypadków nie oznacza, że instytucja działa świetnie... Czy dla Pana te kilka milionów naprawdę nie stanowi problemu..."
Nie pisałem, że kilka mln nie stanowi problemu, pisałem też już kilka razy, że nie oceniam, że "NCN działa świetnie" tylko że nie ma podstaw do oceny, że działa gorzej niż podobne instytucje.
Generalnie mam wrażenie, że Pana celem nie jest dyskusja jako wymiana argumentów, tylko silna emocjonalna potrzeba powtarzania wyłącznie własnych twierdzeń krytycznych wobec NCN. Także pozwolę sobie zakończyć ten wątek dyskusji.
Co do paper mills, jest to zjawisko nowe i globalne, jako takie jest wyzwaniem dla nauki w ogóle a nie tylko NCN. mam nadzieję, że wymusi to lepsze standardy robienia nauki, czyli publikowanie danych surowych, preprinty oraz pre-rejestracje, a najlepiej registered reports. Dobre pisma będę pytać o co chodzi, że autor nie pojawia się w preprincie i prerejestracji a pojawia się w publikacji. Tu sam jestem ciekaw propozycji.
Zapewne nie zgodzi się Pan ze mną, ale po pierwsze, agencje FWF i DFG nie są instytucjami audytującymi i nie mają do tego żadnych środków ani uprawnień, aby audytować NCN, trzymając się ścisłej definicji audytu
Jak sam Pan napisał, żadne pieniądze z FWF i DFG nie trafiają do polskich naukowców, więc nie jest prawdą stwierdzenie: „skoro powierzyły NCN-owi decydowanie o swoich pieniądzach”. NCN nie ma nic do tych pieniędzy – nadzorują je FWF, DFG i partnerzy zagraniczni. Nie wiem, w jakim stopniu fakty te wskazują na zaufanie, a w jakim nie.
Co do tzw. „papierników” – przepraszam bardzo, ale skoro Pan i NCN nie wiecie, jak z tym walczyć, to nie znaczy, że należy to tolerować i uznać, że np. 1% (bo to przecież „mało”) można przeznaczyć na wpadki związane z „papiernikami”. I Panu, i NCN mogę podpowiedzieć, co z tym zrobić. Walczyć z tym można poprzez rzetelne i wnikliwe recenzje. Jednak aby recenzja była wnikliwa i krytyczna, trzeba najpierw dokładnie przeczytać wniosek. Rozumiem, że to jest właśnie ten „główny jednostkowy przypadek”, o którym mowa w artykule -dobrze napisanym. Być może gdyby ktoś rzetelnie recenzował wnioski „papierników”, to nie byłoby innych „jednostkowych przypadków”. Jak już pisałem, nie jestem w stanie zrozumieć, jak „papiernik” może z rzędu otrzymać dwa granty – w drugim grancie przecież analizowane są dokonania wynikające z poprzedniego.
Odnosząc się do Pana argumentów z 29.01.2025 00:52 – zgadzam się ze stwierdzeniem „typowe, tanie chwyty demagogiczne” -użycie słowa 'audyt' to, tak demagogia/manipulajca.
Generalnie, proszę Pana, sytuacja wygląda tak, że 99% pozytywnych przypadków nie oznacza, że instytucja działa świetnie. Czasem 1% negatywnych przypadków wystarczy, aby pokazać, że instytucja działa źle – zwłaszcza jeśli ten 1% to kilka milionów złotych płaconych przez podatników (w USA było by bardzo źle to "widziane" + konsekwencje). Czy dla Pana te kilka milionów naprawdę nie stanowi problemu -zawsze może Pan odpowiedzieć, że to tylko 0.1% całego budżetu?
W rzeczy samej
Do ~Sławomir Wacewicz 29.01.2025 11:08. Może i ma Pan rację. Ale wydaje mi się., że na podstawie niewielkiej, jak Pan pisze, "pojedyncze przypadki" liczby recenzji nierzetelnych nie można uznać, że wszyscy recenzenci są rzetelni. W taki sposób przemianowuje Pan nierzetelnych na rzetelnych. Przecież nie napisał Pan, że tego nierzetelnego recenzenta odsunięto od recenzowania. Napisał Pan, że nie powierzono mu recenzowania tegoż projektu, złożonego ponownie. I co? Sądzi Pan, że w przypadku innego projektu nie zachowa się on kolejny raz nierzetelnie? Gdyby po udowodnieniu recenzowania nierzetelnego eliminowano takie osoby na długie lata z NCN i innych instytucji grantowych, to i ci, których nie przyłapano, nie próbowali by dalej robić swoje. To, że nierzetelnych jest więcej, niż jak to Pan pisze, "pojedyncze przypadki" wynika z faktu, że ja osobiście miałem nie jeden, a trzy takie przypadki z trzema różnymi projektami. I nie walczyłem z głupotami, zawartymi w recenzjach. Bo na podstawie tekstów recenzji zrozumiałem, że nie było to przypadkowe, a, prawdopodobnie, wykonane na czyjeś polecenie. Na czyje? Pan, który zna się na zasadach pracy recenzentów w NCN, może znaleźć odpowiedź, ale na pewno nie poda ją w FA.
Prof. Ratajczyka - przepraszam za pomyłkę w nazwisku!
Podrzucę drugi "jednostkowy przypadek"
https://pl.linkedin.com/posts/witold-kilarski-9236b8122_a-year-ago-after-my-reporting-to-the-polish-activity-7189015010868662272-tW2n
"Najwięcej zastrzeżeń co do funkcjonowania procesu recenzji w NCN budzi etap oceny eksperckiej. (...). Ten sam recenzent...."
To kto napisał zarzut o studentach: ekspert czy recenzent?
"Wreszcie należy się też zastanowić, czy członkowie panelu i koordynatorzy korygują nierzetelne ekspertyzy."
Członkowie panelu (eksperci) co najwyżej mogliby korygować recenzje (pracę recenzentów).
"Ekspert może w ocenie wniosku napisać dowolną, najbardziej absurdalną i zawierającą nieprawdę opinię, nie ponosząc za to żadnych konsekwencji."
Raczej nie, ekspert przedstawia swoją opinię na panelu gdzie jest ona poddawana dyskusji.
Te trzy stwierdzenia pokazują, że Autor nie rozróżnia ekspertów (panel na I etapie oceny merytorycznej) od recenzentów (II etap oceny merytorycznej), więc trudno dyskutować z tą wypowiedzią.
NCN czasem organizuje MOCK panele, polecam, to zabawa w ekspertów na udawanym panelu, ale świetnie pokazuje ścieżkę oceny projektu.
Koniecznie powinniśmy wysłać Pana Profesora Ratajczyka na MOCK panel, najlepiej aby panel był prowadzony przez Pana Dr. Bilala.
Pozdrawiam NCN.
Nawijaj pan dalej. Robi się ciekawie.
Ja dostałem dwie recenzje od "ekspertów" NCN, jeden napisał, że rozpatrywane problemy są za proste i nie zasługują na grant, drugi napisał, że proponowane problemy są tak trudne, że nie wierzy, że założone wyniki zostaną osiagnięte i że w zasięgu są tylko częściowe rezultaty. Czy kogoś to ruszyło? oczywiście, że nie. NCN to jedna klika przyznająca sobie nawzajem środki. Ja zrezygnowałem z wypełniania statystyk, żeby się w excelu zgadzała liczba odrzuconych.
“Przykładowo, w zakończonym niedawno 27 konkursie OPUS w jednej z ocen ekspert w panelu ST4 zarzucił mi, że chcę zatrudnić w projekcie trzech doktorantów, choć we wniosku jest wyraźnie napisane, że planuję zatrudnić tylko jednego doktoranta i dwóch studentów, którzy w trakcie realizacji projektu napiszą prace magisterskie. Co bardziej irytujące, ten jednoznaczny tekst, niepozostawiający żadnych wątpliwości, znajdował się w punkcie 5 wniosku. “
A czy to było powodem odrzutu? Czy ta kwestia znalazła się w uzasadnieniu końcowym decyzji?
Bardzo ważne jest, aby dokładnie poznać tryb oceny wniosków i sporządzania recenzji. Uniknie się wtedy niepotrzebnych rozterek.
Eksperci pracujący w danym panelu są zawsze ekspertami/znawcami tematyki, która tego panelu dotyczy. Zatem, jeżeli pana wniosek był we właściwym panelu, został oceniony przez osoby kompetentne.
PS. Mało męskie jest publiczne wylewanie łez nad swoim wnioskiem. Przepraszam jednocześnie za zbytnią krytykę, ale niesmacznie się takie artykuły czyta….
Myślałem, że argumenty typu "mało męskie" przeszły już do przeszłości i są artefaktem toksycznej męskości z czasów słusznie minionego patriarchatu. Ale widać, jak brakuje argumentów to pozostaje kwestionowanie męskości drugiej strony i czepianie się nomenklatury. Przecież słowa ekspert i recenzent nie są zawłaszczone przez NCN i mają szersze znaczenie niż tylko członek osoba oceniające wnioski w pierwszym i drugim etapie.
Niechże pan potwierdzi, że ma (miał) pan coś wspólnego z NCN. Będzie to najlepsza charakterystyka tej korporacji.
Po drugie: akurat tak przejrzyście i przekonująco napisanego eseju na FA (i poza nim) dawno nie widziałem.
Poza tym ma pan mały odrzut i nie usposabia mnie to do rozmowy z panem.
Autor nie rozróżnia ekspertów (panel na I etapie oceny merytorycznej) od recenzentów (II etap oceny merytorycznej), więc trudno odnieść się do tego "eseju" na poważnie. Oto kilka przykładów:
"Najwięcej zastrzeżeń co do funkcjonowania procesu recenzji w NCN budzi etap oceny eksperckiej. (...). Ten sam recenzent...."
To kto napisał zarzut o studentach: ekspert czy recenzent?
"Wreszcie należy się też zastanowić, czy członkowie panelu i koordynatorzy korygują nierzetelne ekspertyzy."
Członkowie panelu (eksperci) co najwyżej mogliby korygować recenzje (pracę recenzentów).
"Ekspert może w ocenie wniosku napisać dowolną, najbardziej absurdalną i zawierającą nieprawdę opinię, nie ponosząc za to żadnych konsekwencji."
Raczej nie, ekspert przedstawia swoją opinię na panelu gdzie jest ona poddawana dyskusji.
Nie trzeba być związanym z NCN, żeby krytycznie spojrzeć na treść artykułu.
"Ekspert" przedstawia swoją opinię na panelu gdzie jest ona poddawana dyskusji w gronie tak samo nie znających się na temacie grantu "ekspertów", zgadłem?
Mam dwie uwagi - mój słownik ciągnie mnie za rękaw, że ekspert jest to osoba, która na jakiejś dziedzinie zna się wyjątkowo dobrze, a za drugi rękaw ciągie mnie zdrowy rozsądek twierdząc, że nie ma ekspertów od wszystkiego. Więc CN swoich funkcjonariuszy może nazywać ekspertami ale ekspertami od wszystkiego oni nie będą, siłą rzeczy będą skazani na ocenianie rzeczy, na których się nie znają.
A co złego może spotkać "eksperta" podczas dyskusji panelu "ekspertów"? Jakiś inny "ekspert" może mu groźnie pomachać palcem. Ekspert ekspertowi oka nie wykole, łba nie urwie, czy jakoś tak.
Chociaz kiepsko pan umnie po polsku, zachęcam ponownie do dalszych wypowiedzi.
Czy należy "rozróżniać ekspertów od recenzentów"? Zapewne. Widać recenzent NCN nie może być ekspertem.
A czy recenzentem w habilitacji może być promotor pracy doktorskiej?
Koleżance napisali w recenzji OPUSa że co prawda ma artykuły w Nature ale nie jest w nich pierwszym autorem. Nikt nie sprawdza tych recenzji.
Mnie ocenili w kontekście całego dorobku (wręcz używając sformułowania "mediocre for the current stage of his carreer"), chociaż wyraźnie jest napisane, że ocenie podlegają tylko wybrane publikacje, wymienione we wniosku.
Mam niestety podobne doświadczenie w ostatnim rozdaniu OPUSa, w którym ekspert zarzucił mi "highly deductive framework" i w związku z tym zagrożenie "confirmation bias" . Innymi słowy projekt powinien być eksploracyjny, a nie testujący hipotezy wynikające z teorii. Tylko, że w psychologii to właśnie testowanie hipotez ma wyższą wartość niż prosta eksploracja, a narzędzia statystyczne bronią przed pochopnym przyjmowaniem hipotez . I co z tym zrobić w "poprawionym" wniosku - zrezygnować z teorii na rzecz czystej eksploracji? Pozostałe uwagi też wynikały z nieprzystawalności perspektyw.
Napisałam w odpowiedzi list do panelu prosząc aby w przyszłości eksperci jednak pochodzili z dyscypliny wnioskodawcy. Czy podziała, zobaczymy.
Miałam inną sytuację z ekspertem. Napisałam projekt dotyczący badań nad rozwojem materiałów do zastosowania w terapii antycellulitowej. Recenzent w swojej recenzji pisał o celuloidzie.. I nic nie moglam z tym zrobić.. NCN uwzględnia tylko uchybienia formalne w recenzji.. Nie odnosi się do treści merytorycznej., mimo calkowitego pomylenia pojęć i dyscyplin przez recenzenta.
Przepraszam za może niestosowny zart, ale trudno mi się powstrzymać... Mianowicie jaki był stosunek tego recenzenta do celuloidu? Był za, czy też był mu przeciwny?
To też świadczy o poziomie kompetencji kierownictwa NCN.
PRZECIEŻ ONI ZATRUDNIAJĄ OWYCH EKSPERTÓW/EKSPEDIENTÓW, no ale są anonimowi. Żenada.
Jednym z największych problemów i chyba grzechów NCN w czasach skrajnego niedofinansowania była karencja wniosków niezakwalifikowanych do II etapu. Jeśli nic sie nie zmieniło od czasu kiedy byłam ekspertem, to panel wyznacza do II etapu 2x wiecej wnioskow niż może sfinansować. Im mniej pieniędzy tym więcej wniosków odrzucanyh nie z powodów merytorycznych, słabej jakości, a tylko wylacznie braków kasy. I ta liczba wniosków kwalifikowanych do II etapu sukcesywnie malała, a liczba wniosków z karencją rosła. NCN powinien był zmienic te reguły i np karencję nakładać na 20 % najsłabszych wniosków, co kiedyś działało, a nie trzymać się starej reguły. Bo półrocznya blokada dobrego wniosku to nie była sprawiedliwa ocena i bardzo dolowala wnioskodawców.
Polecam zapoznać się z obecnym trybem oceny wniosków oraz kompetencjami Zespołów Ekspertów. To co było drzewiej, już nie funkcjonuje…. ;-)
Czy są dostępne lub Pani/Pan może podać statystyki, ile wniosków skierowano do II etapu oceny i ile zakwalifikowano do finansowania, to może oddalić wszystkie moje zarzuty. Mogę szukać sama, ale skoro dyskutuje z eksperem, to skorzystam o pójdę ba łatwiznę i proszę.
Poproszę o link do powyższych, będzie łatwiej i mi i kolegom naukowcom zainteresowanym.
Statystyki są publikowane wraz z publikacją wyników każdego konkursu. Na dole strony z listami rankingowymi. Tu pierwszy przykład z brzegu https://www.ncn.gov.pl/konkursy/wyniki/2023-05-24-opus26-sonata19
Problem z oceną wniosku polega też na tym, że jest to wniosek skrócony. Należy ograniczyć się do kwestii bardzo podstawowych. Tymczasem bezimienni \"eksperci\" (czego sama doświadczyłam) zarzucają, że brakuje im głębszego wyjaśnienia, szczegółów, np. metodyki, czy analizy ryzyka, na co jest miejsce w części poszerzonej. Spotkało mnie to, mimo, że projekt miał charakter międzynarodowy, że wstępnymi badaniami, opublikowanymi w bardzo dobrych czasopismach, z wysokim, wręcz pewnym skutkiem w postaci wartościowych wyników badań międzykulturowych. Tematyka nowatorska, pionierska, ale ekspert wątpił w powodzenie. Na jakiej podstawie. Nigdy się nie dowiem. Nigdy więcej nie będę aplikować. Jako profesorowi tytularnemu już mi się nie chce... Jak czytam, kto i jakie wnioski przechodzą, tym bardziej.
Również spotkałem się z taką praktyką, we wniosku mego kolegi. Na pierwszym etapie oceny merytorycznej zarzucono wnioskowi, że opis metodyki nie jest wystarczająco szczegółowy. Od tego czasu za każdym razem, gdy aplikuję, na końcu opisu skróconego zaznaczam w osobnym akapicie, ze jest to opis SKRÓCONY zgodnie z wymaganiami instytucji finansującej i że opis PEŁNY i wyczerpujący jest w wersji pełnej, ocenianej w etapie II. I piszą to właśnie tak, wielkimi literami, na wypadek, gdyby eksperci byli nie tylko zapominalscy, ale i mieli kiepski wzrok.
A jakże. Wszystko było wyjaśnione. Podkreslilam, że szczegółowe etapy są we wniosku właściwym, że analiza ryzyka w oparciu o metodę RCA także. Nie, bo nie. I embargo na pół roku. Ale już pass. Nigdy więcej. Przeżyję bez tego.
Najlepszym pokazem profesjonalizmu NCN były granty dla papierników -Ci akurat otrzymali granty. Zawiodły zarówno etap I, jak i etap II. Można powiedzieć, że przy pierwszym grancie taka wpadka teoretycznie mogła się zdarzyć, ale jak to możliwe, że taka osoba może otrzymać drugi grant, w sytuacji, gdy musi wykazać wyniki z pierwszego?
Ależ wszystkie granty panów Królczyka, Li, Gupty, Bilala, Boczkaja zostały rozliczone znakomicie. Listy publikacji w raportach końcowych zajmowały po kilka stron. Wiele z nich za 140 a nawet 200 punktów (np. Chemosphere, Science of the Total Environment...). Stosowne panele musiały być zachwycone. Stąd kolejne granty, np. dla prof. Li - umowa podpisana 2.01.2025, pół roku po ujawnieniu, że ma 5 retrakcji.
mam recenzje z NCN gdzie "ekspert" znakowania 2H 13C okreslił jako skoplikowane metody bazujace na RADIOAKTYWNYCH stosowane w przeszlosci. panel powtorzył tę ocenę. komisja odwolawcza uznala że to prawda.
Recenzje muszą być jawne przy ocenie projektów NCN czy NCBR. Tak jak w procedurze dr , hab. , profesorskiej. To konieczna zmiana .
"Oceny eksperckiej dokonują dwaj eksperci, którzy nie muszą być, i z reguły nie są, specjalistami w danej dziedzinie."
Dla mnie to oksymoron, bo ekspert i specjalista to są synomimy.
Ekspert jest niejako nazwa własną, bo jest członkiem panelu ekspertów NCN. W odróżnieniu od recenzentów II etapu. Stąd zdanie ekspert (w rozumieniu roli w ocenie) nie jest specjalistą w dziedzinie w tym wypadku jest uzasadnione.
Nie ufam instytucji, która używa słów w znaczeniu odwróconym, nie wiem jak pan. Kiedy słyszę, że "ekspert nie jest specjalistą" to już przypominają mi się Ministerstwo Pokoju, Ministerstwo Prawdy i Ministerstwo Miłości.
Przypomniał mi się fragment słynnego skeczu Zenona Laskowika i Bohdana Smolenia z kabaretu "T jak Tey": pt."S tyłu sklepu", mianowicie, jak to obaj prosili, żeby ekspedienta nie mylić z ekspertem. Otóż, po tym, co było mi dane przeżyć do tej pory w tzw. systemie nauki polskiej, zaczynam się zastanawiać, czy w przypadku przynajmniej niektórych tzw. ekspertów, Panowie Laskowik i Smoleń rzeczywiście mieli rację...
W rzeczy samej
Przypomniał mi się fragment słynnego skeczu Zenona Laskowika i Bohdana Smolenia z kabaretu "T jak Tey": pt."S tyłu sklepu", mianowicie, jak to obaj prosili, żeby ekspedienta nie mylić z ekspertem. Otóż, po tym, co było mi dane przeżyć w systemie nauki polskiej, zaczynam się zastanawiać, czy rzeczywiście Panowie Laskowik i Smoleń mieli rację, przynajmniej co do niektórych tzw. ekspertów...
Może warto wprowadzić opcję oceny recenzji przez wnioskodawcę. Kiedy negatywna opinia pojawiłaby się przy jakimś recenzencie kilkukrotnie NCN byłboby zobowiązane do sprawdzenia poziomu jego recenzji i odsunięcia od recenzowania. Wiem, że za recenzje dużo się nie płaci ale cały czas to strata pieniędzy jeżeli ktoś robi to nierzetelnie...
Nie wiem jak jest teraz, ale w czasie, gdy ja pracowałem w NCN koordynatorzy dyscyplin bardzo starali się wyłapywać nierzetelne recenzje i zwracali na nie uwagę ekspertom w panelach. Takie recenzje nie były brane pod uwagę w ocenie. Mieliśmy też "czarną listę" ekspertów, co do których mieliśmy jakiekolwiek wątpliwości. Takie osoby nie były już ponownie zapraszane. Oczywiście lista ta była niejawna, bo w przeciwnym przypadku pewnie nie wyszlibyśmy z sądów. Trzeba też przyznać, że była w pewnym sensie niesprawiedliwa, ponieważ trafiało się na nią w przypadku jakichkolwiek wątpliwości (czyli watpliwości nie świadczyły na korzyść "oskarżonego").. Ale uznaliśmy, że lepiej w tym przypadku dmuchać na zimne.
Od czasów Pana Profesora, w mojej ocenie, wiele się zmieniło – choć obecność Polaków w NCN znacząco się zmniejszyła, więc być może nie jestem w pełni poinformowany. Czy wie Pan, ile jest grantów, których kierownicy mają co najmniej duzy% swoich publikacji w czasopismach wydawanych przez M***? Ciągle słyszę o NCN i ERC, a jednocześnie widzę kierowników grantów, którzy nie mają w swoim dorobku żadnej pracy z Nature Index lub innych czasopismach o podobnym prestiżu - w calej karierze.
Proceder opisany w tym artykule nie dotyczy najpoważniejszych zaniedbań NCN – generalnie taka sytuacja nie jest dla mnie żadnym zaskoczeniem.
Bardziej niepokojące jest jednak to, że recenzenci NCN przyznają granty osobom, które – moim zdaniem – nigdy nie powinny ich otrzymać. Te osoby nie powinny mieć możliwości prowadzenia samodzielnych badań. Uważam, być może jeszcze bardziej radykalnie niż profesor Tomza, że osoby te powinny zostać całkowicie odsunięte od nauki.
Do tej pory NCN nie wyjaśniło tych kwestii. Moim zdaniem, w NCN powinny nastąpić zmiany personalne, i to nie na poziomie koordynatorów, którzy najwyraźniej nie są odpowiednio nadzorowani. Lub możemy udawać, że problem nie istnieje, że żaden system nie jest doskonały.
Niestety, bywa też tak (czego doświadczyłem na własnej skórze), że _całościowa opinia panelu II_ przedstawia główny zarzut, który jest niezwiązany z treścią wniosku (w moim przypadku: wnioskowi proponującemu model uczenia maszynowego do rozwiązania problemu odwrotnego w elektroencefalografii zarzucano brak odniesienia się do nerve stimulation). Gdybym nie miał dość ugruntowanej pozycji naukowej, ogarnęłaby mnie zapewne czarna rozpacz, marna pociecha z czarnej listy. NCN potrzebował znacznego zwiększenia budżetu (to już chyba się udało na lata 2025-26), teraz czas na istotną poprawę jakości oceny wniosków. Samozadowolenie jest drogą donikąd.
I nadal koordynatorzy dyscyplin tak robią!
Swoją drogą: zadziwia mnie fakt, jak wiele komentarzy na FA pojawia się pod artykułami opiniotwórczymi, a blisko 0 (słownie: zero) pod artykułami naukowymi. Czy już nawet naukowców nie interesuje nauka...?
"jak wiele komentarzy na FA pojawia się pod artykułami opiniotwórczymi, a blisko 0 (słownie: zero) pod artykułami naukowymi"
Bo od dyskusji na tematy naukowe są inne fora, o zasięgu międzynarodowym i po angielsku.
Jak mamy ufać zapewnieniom NCN, skoro kolejny raz w ocenie dorobku dostaje formułkę, że "in journals with moderate or high impact factor". Jak to się ma do całej deklaracji DORA o której NCN tak dumnie wspominał?
Drogi/a Mira, jakoś tego nie widać, aby koordynatorzy dmuchali na zimne. No, może tak było w przypadku papierników, ale w tym wypadku takie zachowanie powinno być tępione gorącym żelazem (Pani/Pan wyjaśnił/a mi, co to jest 0, więc powiem, że z tym żelazem to taka przenośnia). W każdym razie do tej pory nie wiadomo, co robili koordynatorzy, bo NCN do tej pory nic nie wyjaśnił.
PS.
Zapewniam że naukowców interesuje nauka.
Są jakieś artykuły naukowe na FA? Musiałem przeoczyć.
Widocznie to przypadłość zbiorowa, ja też takich nie widziałem. Antyhalucynacje z niedożywienia?
Pani Miro,
Artykułu typu "Na uczelni X badacze będą badać Y" to nie są artykuły naukowe tylko co najwyżej informacje naukowe, tzw. newsy.
Co mam napisać po każdym tego typu artykułem?
"Super, badajcie dalej"?
a może "to bez sensu, nie warto tym się zajmować"
Ajajaj.
Czyli w sądzie kapturowym (a taki charakter NCN-u jest jedną z jego większych wad) ustanowiliście jeszcze wewnętrzny sąd kapturowy. Pogratulować.
A po czym odróżnialiście eksperta od nie-eksperta?
Przynajmniej czesc z problemow opisanych w artykule to nie jest tylko polska bolaczka. Systemy oceny grantow w innych krajach tez zmagaja sie z rzeczywistoscia.
Wydaje mi sie ze warto scisle interagowac z naukowcami z innych krajow w takich tematach. Inne instytucje rozdajace granty na badania moga miec dobre sugestie co do potencjalnych rozwiazan.
Trzeba oczywiscie miec na uwadze, ze nie wszystko to, co dziala w jednym miejscu, bedzie dzialac w innym.
No to niech nabór na OPUS-a będzie w roku. Wtedy eksperci będą mieli czas na rzetelne recenzje, byłby też czas na odwołanie od recenzji, ekspertom można by nieco więcej płacić za recenzje. Do tej pory NCN w wielu przypadkach mówił "nie, ma na to czasu". Oczywiście to rozwiązanie ma swoje wady. Ale pomogłoby być może z problemem słabych recenzji.
Warto by też poszerzyć składy paneli ekspertów. Tak by wszystkie projekty złożone do panelu znalazły kompetentnych recenzentów.
System weryfikacji opinii ekspertów w NCN istnieje bo zawsze jest dwóch ekspertów, którzy przeprowadzają ocenę wniosku. Gdy ich oceny są bardzo rozbieżne na panelu dochodzi do dyskusji i uzgodnienia oceny co jednak nie zmienia treści recenzji.
Co prawda od wielu lat już nie jestem ekspertem NCN bo jak wiecie Państwo obecnie NCN angażuje wyłacznie osoby spoza Polski ale zawsze było dla mnie bolączką brak możliwości dyskusji z wnioskodawcą i bardzo kiepski system odwołań (odwołanie powoduje przesunięcie oceny wniosku na następny konkurs). System dyskusji z recenzentami był przez moment w NCNie czynny, ale z niego zrezygnowano. Osobiście bardzo sobie jako ekspert go ceniłem bo widziałem historię rozwoju projektu i odpowiedzi kierownika do poprzednich recenzji.
Osobiście uważam, że nie ma przesadnie technicznych problemów w zebraniu odpowiedzi wnioskodawców na recenzje. Możnaby by po wprowadzeniu takich uwag do sytemu dać 7 dni na odpowiedzi i wejść na panel z kompletem recenzji ekspertów oraz odpowiedzi kierowników grantów na te oceny. Skoro w ścieżce SMART jest to możliwe to w NCNie też. Na pewno pozwoliłoby to wyeliminować takie oczywiste błędy o jakich wspomina dr Ratajczak (proszę pamiętać też, że eksperci są też ludźmi i popełniają błędy jak to ludzie; ja czasem małem np 20 wniosków do oceny w 3-4 tygodnie więc też nie jestem pewien, czy mimo najlepszych starań kogoś kiedyś nie skrzywdziłem zbyt ostrą oceną).
Podsumowując, na pewno jest pole do poprawy, ale proszę mi wierzyć, że NCNowi bardzo zależy na dobrym poziomie oceny wniosków. Co nie zmienia oczywiście sytuacji, że jest to proces niedoskonały.
Mam pewne wątpliwości w kwestii angażowania ekspertów spoza Polski w etapie I oceny merytorycznej. W niedawnym konkursie mój wniosek został odrzucony na tym właśnie etapie na podstawie oceny formalnej, co jest teoretycznie niemożliwe, bowiem wcześniej przeszedł ocenę formalną. Jednocześnie dostał bardzo wysoką ocenę merytoryczną. Według mojej oceny żaden naukowiec z zagranicy by się tak nie wygłupił.
Panie Profesorze, 20 wniosków dało się ocenić w tak krótkim czasie?!
Tak - zasadniczo wymagało to poświęcenia praktycznie całych 3-4 tygodni włącznie z weekendami wyłącznie na pracę dla NCN. Zgłaszaliśmy też NCNowi, że to jest problem. Z drugiej strony na naszej sekcji często było np. 100-150 wniosków grantowych przy ok 25 osobowym panelu. Tak więc tyle mniej więcej wychodzi na panelistę wniosków (każdy wniosek ma przecież 2 recenzje eksperckie).
W ocenie grantów europejskich też nie jest tak różowo jeśli chodzi o ilość czasu na ocenę wniosków.
Ocena wniosków to jest bardzo duża i trudna operacja logistyczna. Prawdę mówiąc bardzo byłem sceptyczny co do tego jak działa NCN, dopóki nie znalazłem się po drugiej stronie i nie zobaczyłem, że ludzie oceniający na prawdę bardzo się starają zrobić to najlepiej jak umieją.
Maciek, trochę się od tamtego czasu zmieniło. Eksperci zagraniczni nie oceniają po 20 wniosków. Panele urosły, zdarzają się eksperci którzy oceniają po 5-10 projektów. Są znacznie lepiej dobierani, niż kiedyś. Metodyka doboru jest inna. Od 2019 wiele się zmienilo.
Tak, a eksperci w tym:
https://projekty.ncn.gov.pl/index.php?projekt_id=594064
https://projekty.ncn.gov.pl/index.php?projekt_id=486591
Może M to wyjaśnić? Co i jak było na panelu?
Jak to mówił Tancredi Falconeri w Lamparcie? Wszystko trzeba zmienić aby najważniejsze zostało po staremu. O, nawet filmik jest z Delonem i Lancasterm
https://www.youtube.com/watch?v=HeedSt23l3E
Brawo! Od lat dopominam się o to, aby można było odpowiedzieć na recenzje. Niby to oczywista oczywistość, ale NCN broni się przed tym jak .... (porównania ryzykowne, więc odpuszczę). A jawność plus odpowiedzi na recenzje oczyśćiłyby znacząco całą procedurę, która teraz daleka jest o dobrych standardów.
@prof. dr hab. Maciej Szaleniec
No więc na przykład te "zebranie odpowiedzi wnioskodawców na recenzje" to standard w brytyjskim systemie UKRI. Aplikanci mają dwa tygodnie na odpowiedź. To odnośnie mojego komentarza o korzystaniu z doświadczeń innych.
Natomiast co do recenzji wielu granatów krótkim okresie czasu, to raczej trzeba takie prośby o recenzje odrzucać, żeby byś w stanie zrobić dobra recenzje mnijszej liczby wniosków.
Nie wiem czy ten system w NCN nadal tak działa, ale po zgodzie na pełnienie roli eksperta nie było możliwości odrzucenia recenzji z innych powodów niż konflikt interesów. Akurat z chemii zawsze było dużo wniosków więc każdy ekspert miał dużo pracy. Co nie zmienia sprawy że zawsze dla mnie zagadką było czemu mieliśmy tak mało czasu na zrobienie tych recenzji (był duży odstęp między zamknięciem konkursu a przydziałem wniosków dla ekspertów - pewnie dlatego że skład paneli powstawał dopiero po zamknięciu konkursu, gdy wiadomo było kto nie składał w tym konkursie wniosków). Mam nadzieje, że teraz system obecnie działa sprawniej bo eksperci są spoza puli wnioskodawców z założenia.
@Maciej Szaleniec
To rzeczywiscie troche dziwna zasada, bo przeciez moga istniec powody inne, niz konflikt interesow, ktore rowniez moga byc przeszkoda w przeprowadzeniu solidnej recenzji.
Mi zdarza sie dosyc czesto, ze odmawiam recenzji albo z powodu braku doswiadczenia w danej waskiej dziedzinie, jak rowniez zwyczajnie z powodu braku czasu.
W przypadku rzeczonych "ekspertów" nie moga istniec powody inne niz konflikt interesow, ktore moga byc przeszkoda w przeprowadzeniu recenzji. Proszę przeczytać dokładnie opis dr Ratajczyka: "eksperci" (używam cudzysłowu, bo ci ludzie nie są ekspertami tylko tak została nazwana ich funkcja) nie są takimi recenzentami, jakim mógłby być pan albo ja, tylko specjalnymi funkcjonariuszami NCN, którzy oceniają wnioski grantowe, czy kwalifikują się do recenzowania, recenzje będą dopiero później. Robią to najczęściej nie mając pojęcia, co oceniają, a z ich decyzjami nie ma dyskusji. "Ekspertem" nie może być każdy, są oni powoływani specjalną procedurą i oczywiście warunkiem powołania jest zgoda na dokonanie każdej oceny, jeśli nie ma konfliktu interesów. Nie wiem, czy za to dostają pieniądze.
@Profesor PAN
Juz rozumiem.
Dzieki za wyjasnienie.
Domyslam sie wiec, ze oczekiwania wobec oceny eksperta oraz wobec oceny recenzenta, sa rozne. Inna jest rola tych ocen.
Myślę że dużo by pomogło gdyby eksperci podpisywali się pod ocenami, napewno wymogło by to na nich przemyślenie swoich ekspertyz przed opublikowaniem
Czy zna Pan konkursy grantowe, w których recenzenci są jawni? Pytam na serio, nie złośliwie. Obawiam się, że jawność recenzji sprawi, że będą problemy z pozyskaniem osób chętnych do ich wykonania.
Tu nie chodzi o recenzentów tylko o ekspertów, a to jest różnica bo recenzenci dają już w większości przemyślane opinie. W Czechach w GACR np. eksperci są wpisani z imienia i nazwiska bezpośrednio w panele (czyli wiadomo że to był/a jeden/na z 10 osób na liście) i opinie "z czapy" aż tak popularne nie są jak w NCN
Przede wszystkim eksperci musieliby chcieć pracować dla tej agencji, a ponieważ mało osób chce, to są w kółko ci sami, którzy piszą co piszą. Koordynatorzy mają ustawowy obowiązek czuwania nad jakością recenzji, ale czy to robią? Czy wyciąga się od nich konsekwencje jeśli recenzje są fatalne?
"Wydaje się, że głównym problemem całego systemu oceny projektów jest brak kontroli nad działaniami ekspertów. Ekspert może w ocenie wniosku napisać dowolną, najbardziej absurdalną i zawierającą nieprawdę opinię, nie ponosząc za to żadnych konsekwencji."
Ten problem znali już Rzymianie i wymyślili zgrabną sentencję jak to u nich było w zwyczaju: Quis custodiet ipsos custodes?
Fascynujące jest inne zagadnienie: Jest sobie dyscyplina naukowa, nie bardzo szeroka ale też nie tak wąska, i jest sobie profesor, który zajmuje się nią od dajmy na to 40 lat, ma setkę publikacji w poważnych pismach, kilka tysięcy cytowań, habilitację i tytuł profesora, jakieś nagrody i nawet kilka razy zaproszono go na konferencje jako plenary speakera obok kilku laureatów nagrody Nobla. Kiedy jednak przychodzi do oceny, przez ministerstwo lub NCN, to nie on zostaje uznany za eksperta tylko ktoś, kto o jego dziedzinie nie ma pojęcia a przynajmniej nie ma materialnych podstaw do uznania, że to pojęcie ma. Quis custodiet ipsos custodes?
Cyt."Kiedy jednak przychodzi do oceny, przez ministerstwo lub NCN, to nie on zostaje uznany za eksperta tylko ktoś, kto o jego dziedzinie nie ma pojęcia a przynajmniej nie ma materialnych podstaw do uznania, że to pojęcie ma. Quis custodiet ipsos custodes?"
Znam z własnego doświadczenia przypadek, gdy pewna komisja złożona z prof.dr hab.-ów i dr hab.-ów specjalistów z dziedziny X., oceniała dorobek z dziedziny Y., dość odległej merytorycznie od dziedziny X., a ci panowie nie mieli ANI JEDNEJ publikacji z dziedziny Y. Nie przeszkadzało im to jakoś ocenić dorobek z dziedziny Y., jako... słaby, BEZ podania uzasadnienia (sic !).
A Pana pytanie zmieniłbym na takie: "Kto będzie sądził sędziów?", zaś odpowiedź jest krótka, prosta, ale dość trudna do zaakceptowania: DEUS, czyli BÓG. To On będzie tych ludzi sądził, gdy przyjdzie ich pora. Zresztą, będzie sądził każdego.
Już nie będzie ani układów profesorskich, ani Dziekana, ani Rektora, ani Sądu Rejonowego, ani Sądu Okręgowego, gdzie zapewne, jako wielce oburzeni oskarżeniami o krzywdę, jaką wyrządzili, żądaliby tzw. sprawiedliwości dla siebie. Będzie "tylko" i "aż" Sąd Boży. WTEDY się przekonają. CYNICZNIE można napisać, liczba sekund, która dzieli każdego z nich od tego Sądu, jest duża, ale skończona, oraz że cały czas maleje. Gdy stanie się ona równa zeru, WTEDY zrozumieją, w czym rzecz, sęk w tym, że może być już ZA PÓŹNO na jakąkolwiek poprawę.
Profesor to taki wąsko wyspecjalizowany specjalista, czyli nikt, nie musi mieć nawet wiedzy ogólnej.
Przecież nie po to jest profesorem i ekspertem, aby pracować, (zresztą kiedy on tak naprawdę pracował skoro go wiecznie na uczelni nie ma i nie prowadzi żadnych badań).
Współczuję panu, że spotyka pan tylko takich żałosnych ludzi. Może zmienić środowisko?
No i wszyscy mają tytuł profesora.