Aktualności
Sprawy nauki
13 Czerwca
Źródło: archiwum prywatne
Opublikowano: 2024-06-13

Prof. Andrzej Jajszczyk: Nie będzie sensownej ewaluacji przy obecnym poziomie finansowania nauki

Nasza propozycja jest pewnym kompromisem i ma sens jedynie przy znacznym podniesieniu nakładów na naukę. Bez tego nie zadziała, a nawet pogłębi patologie. Nie mamy pomysłu na sensowną ewaluację przy obecnym poziomie finansowania – podkreśla prof. Andrzej Jajszczyk, przewodniczący Zespołu doradczego przy prezesie PAN, który zaprezentował wczoraj ramy dla nowego systemu ewaluacji.

W najbliższych tygodniach mamy poznać nowe zasady oceny publikacji naukowych. To jeden z elementów ewaluacji jakości działalności naukowej. Zanim do tego dojdzie, efekty swoich prac przedstawił wczoraj Zespół doradczy przy prezesie PAN. Jego zadaniem było wypracowanie reguł oceny zgodnie z zapisami Agreement on reforming Research Assessment.

W tej chwili ocena skupia się na wskaźnikach bibliometrycznych, a jej wynik zależy od punktacji czasopism i konferencji naukowych oraz monografii. Podejście to, w założeniu obiektywne, nie spełnia oczekiwań z powodu trudności w ustaleniu rzetelnej, transparentnej i porównywalnej punktacji w poszczególnych dyscyplinach, a ponadto jest podatne na manipulacje i naciski polityczne – przyznaje prof. Andrzej Jajszczyk.

Członkowie kierowanego przez niego gremium zaproponowali zastąpienie obecnego rozwiązania ekspercką oceną środowiskową (peer-review) oraz ewaluowanie jednostek naukowych, a nie dyscyplin.

Jeżeli chodzi o ekspertów, to zakładamy, że będą to profesjonalnie wybrane zespoły międzynarodowe. Ponieważ eksperckie ocenianie wszystkich jednostek nie wchodzi w rachubę z powodu wysokich kosztów, takiej ocenie będą podlegać tylko jednostki najlepsze, kwalifikowane na podstawie uzyskiwanych dotychczas funduszy z grantów – wyjaśnia szef Zespołu.

I dodaje, że ocena ekspercka obejmie wiele wskaźników, w tym publikacje wskazujące na ważne osiągnięcia naukowe, wpływ jednostki na gospodarkę i społeczeństwo, tworzenie narzędzi badawczych czy ważne prace dokumentacyjne. Jednostki plasujące się niżej w rankingu krajowym nie podlegałyby ocenie, a ich finansowanie składałoby się z części stałej, zależnej od liczby zatrudnionych pracowników naukowych, oraz części zmiennej, związanej z sukcesami w zakresie pozyskiwania grantów na badania naukowe.

Opracowując nowe zasady ewaluacji, członkowie Zespołu odwołali się do przykładów z innych krajów. Opisując niemiecki system, podkreślili jego niejednorodność i duży nacisk na wewnętrzną ewaluację poszczególnych wydziałów uczelni. W Czechach osobno oceniane są uczelnie, instytuty Czeskiej Akademii Nauk i instytuty badawcze innych organizacji. Sama ewaluacja, przeprowadzana raz na 5 lat, oparta jest na bibliometrii i wizytach ekspertów w jednostkach naukowych. Na Litwie przyjęto system oceny środowiskowej (peer-review). Zespoły oceniające składają się wyłącznie z ekspertów zagranicznych będących naukowcami o znaczącym dorobku. Ocenie podlegają jednostki typu wydziały uczelni bądź instytuty naukowe. Również w brytyjskim systemie stosowane jest od lat podejście oparte na peer-review. Jego wadą jest jednak wysoki koszt, który, w przypadku ostatniej ewaluacji, wyniósł 471 milionów funtów.

Celowo w naszej propozycji nie podaliśmy konkretnej liczby określającej procent jednostek ocenianych ekspercko. Będzie to zależało od dostępnych środków oraz zasobów na ewaluację. Myślę, że szkoda pieniędzy na ocenę jednostek, której pracownicy nie zdobywają w ogóle środków z solidnych agencji grantowych, albo zdobywają ich bardzo mało – tłumaczy prof. Jajszczyk.

Odnosząc się do głosów krytycznych, których autorzy obawiają się – łagodnie rzecz ujmując – zastąpienia obiektywnych wskaźników subiektywnymi ocenami, Jajszczyk zwraca uwagę, że zaproponowany system ma stymulować jednostki do podnoszenia jakości i efektywności badań naukowych.

Nie ma idealnych rozwiązań. Zaproponowaliśmy kompromisowe, które zadziała jedynie przy znacznym podniesieniu nakładów na naukę. Bez tego nie tylko się nie sprawdzi, ale nawet pogłębi patologie. Nie mamy jednak pomysłu na sensowną ewaluację przy obecnym poziomie finansowania – dodaje, zaznaczając jednocześnie, że jego zespół przygotował nie gotowy system ewaluacji, a jedynie propozycję ramową, która wymaga jeszcze dopracowania szczegółów.

MK

Ramowa propozycja nowego systemu ewaluacji – PDF

Dyskusja (34 komentarzy)
  • ~Jan Cieśliński 21.06.2024 01:17

    Kwota przyznanych grantów jest, moim zdaniem, indykatorem dość ryzykownym. Nie wiem na ile jest ona miarą jakości. Nie ma na ten temat danych. Nie jest publikowana ocena zakończonych grantów. Najbardziej zaskakujące jest jednak to, że wyniki Kryterium 2 w ostatniej ewaluacji (zależące dokładnie od tego, co miałoby być podstawą proponowanej ewaluacji:, czyli od kwoty przyznanych grantów) nie zostały upublicznione (w odróżnieniu od K1 i K3). A od tego trzeba by zacząć, od upublicznienia wyników, aby się przyjrzeć na ile to kwotowe Kryterium 2 ma sens, czy klasyfikacja według tego kryterium prowadzi do jakichś sensownych wniosków, czy wyłuskuje tych "najdoskonalszych"?

    Znam dane dotyczące nauk fizycznych. Tu Kryterium 1 bez patentów (czyli publikacje, mające być pominięte w proponowanym systemie) daje idealną korelację z ekspercko przecież określaną kategorią A+ (pięć pierwszych miejsc w K1 -pięć kategorii A+). Natomiast w Kryterium 2 (grantowym) trzy z tych jednostek A+ otrzymało maksymalnie ujemną punktację. Nie po prostu niską lub zerową, lecz maksymalnie ujemną. A są to bardzo dobre jednostki, w tym dwie uczelnie badawcze. Gdyby kwota grantów została uczyniona swoistym progiem wejścia do elity (ocenianej potem ekspercko), to tu byśmy mieli eliminację kilku ewidentnych liderów już w przedbiegach. Naprawdę warto sprawdzić wyniki K2 przed forsowaniem ich jako podstawy nowego systemu.

    Oczywiście są dyscypliny, w których Kryterium 1 daje kuriozalne wyniki. Ale: taki wynik, jacy eksperci. Eksperckie punktacje czasopism w wielu dyscyplinach wyglądały fatalnie (po tym, co się stało jestem zwolennikiem formalnego zakazu jakichkolwiek eksperckich czy ministerialnych podwyżek punktacji, obniżki mogą być). Nie wiem, jak eksperci tego typu oceniają granty (w swoich dyscyplinach czy panelach). A najbardziej renomowane czasopisma mają z całą pewnością znakomitych ekspertów w gronie recenzentów i są bardzo selektywne. Wystarczy zidentyfikować te czasopisma (najlepiej korzystając z opinii autorytetów światowych), aby mieć dobry indykator jakości. Notabene, słabe czasopisma o wysokiej punktacji można łatwo zidentyfikować sprawdzając, jak bardzo wzrosła liczba polskich autorów (zwabionych wysokimi punktami). W renomowanych pismach wzrost jest minimalny (albo i żaden). W słabych pismach może to być nawet sto albo i tysiąc procent wzrostu. Jeśli takie zjawisko zajdzie, to aż się prosi o anulowanie błędnie przyznanych punktów, czyli o obniżkę punktacji takich słabych, mało selektywnych, czasopism. Podobnie jak kwota grantu wykonanego słabo (lub nawet przeciętnie) nie powinna być brana pod uwagę jako indykator doskonałości naukowej (chyba, że z wagą ujemną).

    Last but not least: ocena grantów w sytuacji niskiego współczynnika sukcesu nigdy nie jest wiarygodna. Jeśli liczba wniosków wysoko ocenianych, nadających się do finansowania, przewyższa znacznie (nawet kilkakrotnie) liczbę wniosków, którym przyznaje się finansowanie, to bardzo łatwo o udział czynników niemerytorycznych (i to prawie niemożliwych do wykrycia, bo finansowanie dostaje przecież wniosek bardzo dobry, tyle, że inny bardzo dobry - nie dostaje). Jednym z takich czynników (i to prawie oficjalnie używanym) jest liczba lub kwota grantów otrzymanych wcześniej. O wiele lepsze byłoby losowanie spośród równorzędnie ocenianych wniosków niż używanie tego typu kryterium.



  • ~Profesor PAN 17.06.2024 09:13

    Najzabawniejsze jest to, że jakby mi kazać podsumować wartość wszystkich grantów, bym tego nie potrafił. Dużo tego było, od wielu agencji po całym świecie, których nazw w większości nie pamiętam. Pierwszy grant jako kierownik dostałem w roku 1991, niektórymi grantami kierowałem sam, niektórymi współkierowałem, w niektórych byłem mniej lub bardziej aktywnym uczestnikiem. Kody grantów jestem w stanie odgrzebać z artykułów, bo pod tytułem jest tradycyjny wpis "This research was partly supported by NSF/ERC/KBN/NCN grant no..." ale ile to było? W momencie otrzymania grantu człowiek oczywiście patrzy na rubryczkę z kwotą ale potem się to oddaje księgowej do zarządzania i zapomina. Propozycja Zespołu z całą pewnością niczego nie upraszcza, raczej w nieziemski sposób komplikuje.

    Człowiek podejrzliwy mógłby napisać, że zwycięzcy tych zawodów są już znani, idzie tylko o dopasowanie konkurencji, ale ja przecież aż tak podejrzliwy nie jestem.

  • ~Janusz 16.06.2024 19:52

    Czy może Pan Profesor Jaszczyk przestać posługiwać się zastępczymi zwrotami „solida” i „ekspercka”? Czy Pan Profesor jest w stanie wymienić agencje, na podstawie których "eksperckich ocen środowiskowych" będzie (ma być) prowadzona ewaluacja? Czy nie?

    • ~Andrzej Jajszczyk 16.06.2024 22:49

      O tym jakie agencje będą uwzględniane będzie decydować KEN bądź ministerstwo. My tylko określiliśmy warunki jakie takie agencje powinny spełniać. Są one wyraźnie zdefiniowane w naszym dokumencie.

      • ~Profesor PAN 17.06.2024 12:27

        W samych Stanach Zjednoczonych jest ponad osiem tysięcy grantodajni. Wolałbym ocenić jeden po drugim sto tysięcy polskich naukowców na podstawie całego ich dorobku niż zanalizować wszystkie te agencje. Większość fundacji to funcje religijne albo założone przez jakiś wariatów, którym udało się dojść do pieniędzy, ale są wśród nich fundacje o wiarygodności dorównującej NSF jak np. Fundacja Simonsa. A przecież ewaluacja fundacji musi być dokonana ex ante celem uniknięcia oskarżeń o korupcję. To syzyfowa praca.

  • ~QQ 15.06.2024 09:08

    Autorzy raportu jako jeden z problemów polskiej nauki wymieniają punktozę, ale zupełnie pomijają grantozę. Co więcej, proponowane zmiany tę grantozę na pierwszy rzut oka spotęgują. Z racji biografii autorów projektu myślę, że przypisują oni grantom niezasłużenie duży prestiż.

    - zdobywanie grantów w ogóle nie jest brane pod uwagę przy rankingu shanghajskim, więc przesterowanie ewaluacji na grantozę nie przełoży się na awans polskich uczelni. Systemowe wytwarzanie naukowców, którzy są mistrzami Polski w zdobywaniu grantów to niezrozumienie, że grant jest środkiem do celu, a nie celem samym w sobie.

    - ocena impactu naukowego danego naukowca nie powinna w ogóle ujmować grantów, ta informacja jest ważna dla finansów danej uczelni i awansach w jej obrębie. Jeżeli dobry teoretyk generuje bezkosztowo wybitne publikacje to jest na wagę złota dla polskiej nauki, nie można stworzyć systemu w którym słabsi teoretycy pisząc masę podań grantowych i kumulując projekty prześcigają tego dobrego teoretyka w ewaluacji.

    - wielograntowość niektórych naukowców to patologia i należy ją ukrócić a nie wzmacniać. Jak PI może mieć parę różnych tematycznie grantów jednocześnie? W poniedziałek wykonuje pierwszy grant z NCN, we wtorek ten z NCBR, a potem w czwartek się spróbuje ten drugi z NCN? Granty to nie nagroda i wpis do CV, tylko pieniądze na badania, które trzeba ekspresowo wykonać (konkurencja nie śpi). Postrzeganie grantów jako dodatków do pensji też nie pomaga.

    - mamy też generalnie problem wieloetatowości. Jest to szara strefa, gdzie trudno z zewnątrz odróżnić naukowców pracujących z synergią jednocześnie w nauce i przemyśle od tych, którzy pracę w nauce wykorzystują jako okazję do optymalizacji pensji. Problem jest złożony i częściowo związany ze złym wydatkowaniem środków publicznych. Weźmy przykładowo IDEAS prof. Sankowskiego. Z tego co widzę po kierownikach zespołów to chyba wszyscy jednocześnie pracują w IDEAS i jeszcze gdzie indziej. Znalazłem rekordzistę, co buduje jeden zespół w IDEAS oraz drugi oddzielnie z grantu na uczelni w innym mieście (!), i jeszcze dorabia sobie sprytnie w przemyśle. Powodzenia z takimi praktykami na prywatnych uczelniach w USA.

    • ~Andrzej Jajszczyk 15.06.2024 16:22

      Tu nie chodzi o same granty, tylko o to, że zdobywcy prestiżowych grantów są dobrymi naukowcami na podstawie opinii oceniających wnioski grantowe. W ten sposób pośrednio korzystamy z oceny peer review, nie robiąc tej oceny jeszcze raz. Oszczędza to czasu samym naukowcom, a instytucji ewaluacyjnej pozwala zaoszczędzić czas i pieniądze.

      • ~Profesor PAN 15.06.2024 20:32

        Nie, proszę pana. Grant to nie jest nagroda ani ocena, grant to pieniądze na badania, które zdaniem fundatora zasługują na finansowanie. Czasem są droższe, czasem tańsze, ale droższe nie znaczy lepsze. Stefan Banach, jeśliby żył w tych czasach, granty dostawałby nader skromne, bo do jego badań wystarczałyby kartka i ołówek. A w Kawiarni Szkockiej nie potrzebowali nawet kartek pisząc ołówkiem po blatach stolików. A był najwybitniejszym polskim uczonym czasów nowożytnych.

  • ~janusz 14.06.2024 11:39

    Pan Marcin Przewłoka pisze o peer review. Czy lepsze jest bazowanie na zbiorze 500 publikacji peer review, gdzie recenzenci siłą rzeczy pochodzą z różnych krajów, czy bazować na peer review 20 grantów? Czy trzeba takie rzeczy tłumaczyć na forum? Abstrahując już od peer review grantów w polskich agencjach, gdzie często peer tłumaczy się na "koleżeńska".

    • ~Marcin Przewloka 14.06.2024 14:28

      @janusz
      Mam nadzieje, ze moje komentarze nikogo nie urazily, nie to mialem na celu.

      Co do pytania, poniewaz nie wiem, o czyje 500 publikacji, i o czyje 20 grantow chodzi, nie moge sie odpowiednio odniesc.
      Wydaje mi sie, ze pytanie nawiazuje do pomyslu trybu ewaluacji, ktory proponuje Zespol doradczy przy prezesie PAN. Nie znam szczegolow tego pomyslu. Co wiecej, z tekstow o tym pomysle wnioskuje, ze jest to na razie szkic, i byc moze sami autorzy nie znaja wielu szczegolow.

      Na podstawie tego, co wiem, moge jedynie powiedziec to, co juz napisalem gdzie indziej: wydaje mi sie, ze jest to dobre podejscie, ale jednoczesnie jest to propozycja bardzo droga. Ekspertow poszukiwalbym glownie za granica, a to mogloby kosztowac jeszcze wiecej.

      Nie podobaja mi sie glownie dwie rzeczy:
      - poleganie na grantach, jako pierwszej formy "rejestracji do ewaluacji". Granty per se to nie jest cos, na podstawie czego nalezaloby oceniac naukowe wyniki. To jest proxy, rzeczywiscie, bardzo praktyczne, ale wedlug mnie nie bardzo przystaje do filozofii nauki. [Moze jestem tutaj zbyt konserwatywny?]
      - dwupoziomowosc oceny, w ktorej slabsze instytucje nie podlegaja ewaluacji eksperckiej. Po pierwsze, to dosyc niepotrzebnie dzieli srodowisko naukowe tych "lepszych" i tych "gorszych". Po drugie, ci "gorsi" mogliby wlasnie bardzo skorzystac na ewaluacji eksperckiej, duzo bardziej, niz ci lepsi. Powiem tak: juz chyba lepiej by bylo, gdyby ci "lepsi" bylo oceniani na podstawie Impact Factors i zdobytych grantow, i aby ci "gorsi" otrzymali solidna ocene ekspercka. Ale ogolnie moze lepiej zmierzac do systemu, ktory bedzie ewaluaowal wszystkich wedle tych samych mechanizmow, chocby z tego powodu, ze granica pomiedzy "lepszymi" i "gorszymi" jest bardzo plynna.

      Czyli podsumowujac, propozycja jest dobra, nalezaloby ja ulepszyc, ale finansowo jest to bardzo drogie podejscie. Drogie chyba glownie z powodu tego, jak ma wygladac finansowanie okreslone przez ta ewaluacje.

      Podkreslam, ze nie znam dokladnie pomyslu i oczywiscie moge sie mylic w mojej ocenie. Natomiast stoje twardo za moim komentarzem na temat peer review z jednego postow ponizej. W tym wlasnie upatruje sile tego podejscia.

      • ~Profesor PAN 14.06.2024 23:23

        Ale przecież owa ewaluacja na podstawie grantów to samo sedno pomysłu. Człokowie Zespołu nie zrozumieli podstawowej rzeczy - grant to nie jest nagroda. Eksperymenty naukowe z natury rzeczy są droższe niż analizy przy biurku ale nie znaczy to, że teoretycy są mniej albo więcej warci od uczonych prowadzących eksperymenty. Nauka potrzebuje i tych i tych. W tym systemie fizyk-teoretyk czy matematyk, którzy z grantu sfinansują sobie kilka konferencji, wyjdą na kompletnych nieuków na tle chemika, który potrzebuje milionów na wyposażenie laboratorium.

  • ~janusz 14.06.2024 08:10

    https://www.uw.edu.pl/oswiadczenie-dot-miedzynarodowej-agendy-badawczej-remedy/
    "Rektor UW z ogromnym zdziwieniem przyjmuje działania prof. Agnieszki Chacińskiej, która mimo wyrażenia w ubiegłym roku zdecydowanej woli wyprowadzenia ReMedy z UW, utrudnia ten proces, narażając przy tej okazji na szwank międzynarodową reputację Uniwersytetu Warszawskiego."

    Jaka komisja taka propozycja.

  • ~Łukasiewicz 13.06.2024 23:43

    Pierwszych 5 lat mojej pracy w tym kraju straciłem na wnioskowaniu o granty. W różnych konfiguracjach. Od kilku kolejnych lat robię naukę pomimo polskiego systemu. Publikacje cytowane mam. Sam placę opłaty, bo instytutu nie stać. Zarabiam na swoją naukę sprzątając. Nie, żebym narzekał. Badacze za wojen mieli naprawdę źle. My mamy mimo wszystko lepiej.
    Recenzje grantów są żenujące. Dostałem finansowanie na celujące w gusta tematy. Prawdziwą naukę trzeba robić pomimo.

  • ~Konrad 13.06.2024 20:47

    Ja bym raczej zaproponował coś innego: same pieniądze w ogóle nie powinny być brane pod uwagę przy ewaluacji, ponieważ one są tylko środkiem do ewentualnego osiągnięcia, ale nie gwarancją wysokiego poziomu naukowego jednostki czy dyscypliny. Pod uwagę powinny być brane tylko i wyłączne efekty, czyli same osiągnięcia naukowe - najlepsze publikacje, patenty, wynalazki, wdrożenia itp. To one pokazują, jak skutecznie (lub nie) są te pieniądze wydawane.

    • ~Andrzej Jajszczyk 13.06.2024 22:13

      Zdobycie grantu badawczego dla indywidualnych naukowców w agencji, która stosuje zasadę oceny środowiskowej (peer review) wniosków przez międzynarodowe zespoły ekspertów oznacza, że pomysł badawczy i dorobek wnioskodawcy zostały ocenione przez ekspertów, którzy brali pod uwagę "efekty, czyli same osiągnięcia naukowe - najlepsze publikacje, patenty, wynalazki, wdrożenia itp".

      • ~Realista a nie marzyciel 14.06.2024 06:42

        Zastanawiam się nad wartością "patentów". Co ma większą wartość: publikacja mająca 100 cytowań rocznie czy patent po który nikt nie sięgnął przez 20 lat.

      • ~Profesor PAN 13.06.2024 23:02

        Strasznie podoba się panu słowo "ekspert", używa go pan w prawie każdym wpisie, niekiedy kilka razy. Cóż takiego wynosi człowieka nad innych do grona "ekspertów"? Pieczątka na czole?

        Już w innym wątku pisałem - każdy uczony po dziesięciu latach pracy powinien być ekspertem w swej dziedzinie. Nie ma niczego szczególnego w byciu ekspertem, jeśli się pracuje w nauce. Niemniej to miano nie chroni człowieka przed ludzkimi słabościami. Nie jest roztropne bezwarunkowe zawierzenie ludziom, których ktoś zechciał nazwać "ekspertami."

  • ~Marcin Przewloka 13.06.2024 15:52

    Chcialem tutaj tylko dodac informacje o koszcie brytyjskiej ewaluacji, ktorej ostatnia runda miala miejsce w 2021 roku. Celowo nie tlumacze tutaj, wklejajac bezposrednio ze strony UKRI:

    The headline cost of REF 2021 was estimated as £471 million. This comprised:
    - £17 million direct costs to the funding bodies
    - £24 million for the cost of panel member effort
    - £430 million in costs to higher education providers (HEPs) in preparing for their submissions

    Czyli znaczaca wiekszosc tez sumy stanowi koszt przygotowania dokumentow (aplikacji) przez jednostki podlegajace ocenie. Przygotowanie sie do ewaluacji to olbrzymia praca dla uniwersytetow brytyjskich.
    Koszt przeprowadzenia samej ewaluacji to 41 milionow funtow.
    Nastepna ocena w 2029 roku.

  • ~Profesor PAN 13.06.2024 15:50

    "Ponieważ eksperckie ocenianie wszystkich jednostek nie wchodzi w rachubę z powodu wysokich kosztów, takiej ocenie będą podlegać tylko jednostki najlepsze, kwalifikowane na podstawie uzyskiwanych dotychczas funduszy z grantów."

    Fascynujący pomysł, teraz już nie liczą się publikacje, cytowania, nagrody, honorowe członkostwa, doktoraty honoris causa tylko ile pieniędzy potrafi kto wyżebrać. Przez lata miałem niejasne podejrzenie, że polski uczony ma coś wspólnego z żebrakiem, więc w sumie się cieszę, że sprawa stała się tak jasna. W końcu o odkrycie prawdy w nauce chodzi.

    • ~Andrzej Jajszczyk 13.06.2024 16:02

      Chyba Pan Profesor czegoś nie rozumie. Granty w solidnych agencjach grantowych (a tylko o takie nam chodzi w naszej propozycji) uzyskuje się nie na skutek żebrania, a na podstawie EKSPERCKIEJ oceny pomysłu badawczego i dotychczasowego dorobku aplikującego naukowca, czyli przede wszystkim wyników naukowych opisanych w publikacjach i cytowanych oraz stosowanych przez innych.

      • ~Robert 14.06.2024 17:26

        Przepraszam, chciałby dopytać co Pan rozumie jako "solidna" agencja grantowa? Czy mogę prosić o podanie przykładów niesolidnych agencji?

        • ~Andrzej Jajszczyk 14.06.2024 21:30

          Nie miałem nic nadzwyczajnego na myśli - był to tylko skrót myślowy. "Solidna" miało tu oznaczać agencję, która oferuje konkursy na granty badawcze dla indywidualnych naukowców i stosuje zasadę oceny środowiskowej (peer review) wniosków przez międzynarodowe zespoły ekspertów.

          • ~Profesor PAN 16.06.2024 10:14

            Czy do tych "solidnych" agencji wlicza pan Fundację Simonsa? https://en.wikipedia.org/wiki/Simons_Foundation

            Tak czy nie?

      • ~Janusz 13.06.2024 17:49

        https://prenumeruj.forumakademickie.pl/fa/2018/01/kronika-wydarzen/zarzuty-za-granty/
        https://www.gazetaprawna.pl/wiadomosci/artykuly/1486440,korupcja-ncbir-akt-oskarzenia.html

        Być może się mylę, ale czy to prawda, że FNP w programie MAB przyjmowała wnioski w języku polskim (dla nauk ścisłych oczyiści)? Kto to wtedy recenzował?

        O czym my tu rozmawiamy?
        Państwa propozycja nie powinna w ogóle wejść do dyskusji.

        • ~Robert 14.06.2024 17:30

          Może jednak trzeba uważać z wrzucaniem wszystkich i wszytskiego do jednego mianownika? Na podstawie nagłówków wrzucamy kilkanaście tysięcy naukowców którzy realizowali projekty poprzez NCBR oraz uczelnie wyższe takie jak AGH, PWr, PW itd itd pod jeden mianownik ?

          • ~Janusz 16.06.2024 19:36

            Panie Profesorze, nic takiego nie powiedziałem. Ja tylko twierdzę, że polskie agencje badawcze nie spełniają kryteriów „doskonałości naukowej” (o której tak wiele mówią), aby na podstawie danych z tych agencji prowadzić ewaluację nauki. ( Ciekawy jestem, czy zdaje sobie Pan sprawę, co by się stało z takimi skandalistami -linki, gdyby miało to miejsce w USA.)
            Jeśli chodzi o naukowców z AGH, PWr, z Białegostoku, Torunia … to jest wielu, którzy dostali granty i świetnie je rozliczyli. Niestety, jest jeszcze więcej naukowców, którzy grantów nie dostali, i nie dlatego, że nie są doskonałymi naukowcami.
            Tych ostatnich może być niebawem więcej, na co wskazuje ostatnia dyskusja wśród „ekspertów” NCN. Dokładnie kim byli ci" eksperci", nie wiadomo, bo NCN nie raczył udzielić takich informacji forum akademickiemu.
            „Obie te grupy interesariuszy są żywotnie zainteresowane kontynuowaniem polityki określanej jako „elitarna”. Oznacza to ni mniej, ni więcej tylko przyznawanie grantów tak jak do tej pory, tym samym wnioskodawcom co do tej pory, tylko jeszcze bardziej (więcej).”
            „Chcieliśmy się dowiedzieć, którzy naukowcy będą reprezentować środowisko na spotkaniu w Krakowie. Nasze pytanie pozostało jednak bez odpowiedzi. Rzeczniczka agencji zapewniła jedynie, że relacja z wydarzenia, a także szczegółowy raport zostaną udostępnione na stronie internetowej NCN.”

      • ~Janusz 13.06.2024 17:31

        Szanowny Panie,

        czy uważa Pan, że granty NCBiR też powinny się w to wliczać? Czy przypomnieć Panu kilka nagłówków z gazet? Przecież publikacje są owocem grantów, więc może zostawić tylko publikacje. Jak rozumiem, ten, kto ma dużo grantów, ma dużo dobrych publikacji (przecież są też recenzje tych publikacji i myślę, że na wyższym poziomie niż w NCN i NCBiR). Może Pan tutaj czegoś nie rozumie?

        Być może ilość zdobytych pieniędzy powinna być uwzględniana dopiero po tym, jak jednostka wykaże odpowiedni rekord publikacyjny. A może powinniśmy zrobić tak, że jednostka, która otrzymała dużo pieniędzy, ale nie uzyskała proporcjonalnej ilości wyników naukowych/odkryć, powinna być karana?

        • ~Andrzej Jajszczyk 13.06.2024 19:22

          W naszym dokumencie piszemy: "Powinno się brać pod uwagę wyłącznie precyzyjnie określone konkursy na granty badawcze dla indywidualnych naukowców, przeprowadzane przez agencje, które stosują zasadę oceny środowiskowej (peer review) wniosków przez międzynarodowe zespoły ekspertów.". Czyli NCBR nie wchodzi teraz w grę.

          • ~Profesor PAN 14.06.2024 07:13

            A cóż takiego wyklucza Polaków z grona osób wiarygodnych, "ekspertów" jak to był pan uprzejmy określić? Istotnie, cechą naszego pokolenia jest narodowa mikromania, bo 30 lat temu w Niemczech było czysto a w Polsce brudno ale w tym czasie nieco się zmieniło. A naukowiec powinien iść z postępem.

            • ~Marcin Przewloka 14.06.2024 09:22

              @Profesor PAN

              Podobnie, jak do eceny grantu nie wybiera sie kogos z tej samej jednostki naukowej, tak o ocene pracy grona naukowcow z danego kraju duzo lepiej jest poprosic ludzi spoza tego kraju.
              To zwieksza szanse na to, ze ewaluacja bedzie wolna od komoterstwa, i ze rzeczywiscie bedzie odzwierciedlala dorobek naukowy, a nie znajomosci.

              W pewnych warunkach jest to wazniejsze, w innych mniej wazne. Czytajac komentarze o przyznawaniu grantow i procedurach awansowych w Polsce, wydaje sie, ze w Polsce moze to byc bardziej istotne, niz gdzie indziej.

              To zreszta nie jest tylko "polska specjalnosc", prosze spojrzec tutaj:
              https://forumakademickie.pl/sprawy-nauki/ewaluacja-po-litewsku/

              • ~Profesor PAN 14.06.2024 10:01

                O aferach przy przyznawaniu grantów europejskich słyszałem długo przed przystąpieniem Polski do UE. Do dziś granty europejskie mają złą renomę (poza Polską, dla Polaka wszystko na Zachodzie jest wspaniałe) ale ludzie się o nie ubiegają, bo są wysokie. Zresztą - ocena grantu nawet przez kompetentnych i uczciwych recenzentów jest obarczona gigantycznym ryzykiem błędu, bo przecież to ocena obietnicy. Czasem może się udać bardziej, czasem mniej, czasem w ogóle. Tak się zabawnie składa, że wszystkie moje znaczące prace istotnie zostały napisane w ramach grantów ale podejrzewam, że by też powstały jakby tych grantów nie było.

              • ~janusz 14.06.2024 09:49

                Zgadzam się, że ewaluacja musi być wolna od kumoterstwa. Problem polega na tym, że zaproponowany przez Jajszczyka i Chacińską oraz całą tę komisję system to prosta droga do patologicznej ewaluacji i kumoterstwa. Jest to system, który będzie degradował polską naukę. Głównym kryterium musi być ewaluacja dokonań naukowych; grant nie jest dokonaniem naukowym, tylko obietnicą, a z tym różnie bywa (i nie dlatego, że projekt był bardzo ryzykowny, tylko dlatego, że projekt był słaby, a dzięki kumoterstwu dostał finansowanie).

                • ~Marcin Przewloka 14.06.2024 10:25

                  @janusz
                  @Profesor PAN

                  Tak jak w wielu innych przypadkach, chodzi o zwiekszenie lub zmniejszenie prawdopodobienstwa, ze cos nastapi.
                  W tym konkretnym przypadku chcemy zmniejszyc ryzyko wystapienia kumoterstwa i wykorzystania ukladow. Jak to zrobic? Poprzez dobor ludzi z zewnatrz. Spoza ukladu. To niczego nie gwarantuje, ale zmniejsza szanse kumoterstwa.

                  Podobnie jak dowolny proces peer review. Peer review niczego nie gwarantuje, ale zwieksza/zmniejsza szanse na wystapienie czegos.
                  Czy na tym forum rzeczywiscie trzeba takie rzeczy tlumaczyc?

                  Mi osobiscie tez nie podoba sie za bardzo ten "element grantowy" w propozycji opisanej w artykule. To jest moim zdaniem slabosc tej propozycji, ale niektore rzeczy mozna poprawic w tym pomysle.

      • ~Profesor PAN 13.06.2024 16:25

        Dobrze, nazwjmy to obietnicą: dajcie mi pieniądze a ja coś wymyślę. Zwykle ta obietnica bywa dotrzymywana, choć nie zawsze, ja dotrzymywałem zawsze. Niemniej - w momencie złożenia obietnicy tej pracy jeszcze nie ma. Jeśli obietnica jest przekonywująca, grant zdobywa finansowanie, jeśli mniej - nie zdobywa.

        Pan chce unieważnic wszelkie dokonania i nagrody i oceniać jedynie na podstawie sztuki składania obietnic. Zakładając przy tym, że EKSPERTÓW (tak, koniecznie kapitalikami) przed natychmiastowym wniebowzięciem chroni jedynie sufit: są niezwykle mądrzy, kompetentni i szlachetni. Nie wierzę, by choć jedna osoba się nie uśmiechnęła czytając to zdanie, wszyscy mieliśmy do czynienia z recenzjami grantów.

        Że grant grantowi nierówny, to już osobna sprawa, granty fizyka-teoretyka zawsze będą mniejsze niż fizyka doświadczalnego, kartka papieru jest tańsza niż cyklotron. Einstein w takiej ewaluacji nie miałby szansy. Bareja i Tym nas nauczyli, że prawdziwe pieniądze zarabia się tylko na drogich, słomianych inwestycjach. Nie wiedziałem, że naukę też. I znowu się czegoś dowiedziałem.