Trzecie kryterium skutecznie przestawiło sposób myślenia świata akademickiego na nowy tor. Środowisko podjęło wyzwanie mimo braku doświadczenia. I choć samo kryterium ma ogromny potencjał dla sektora, jego relacji z otoczeniem, to niespójne zasady i uznaniowość ocen podcinają skrzydła ewaluowanym instytucjom. Jak dokończyć wdrożenie tego rozwiązania i przekuć je w realny wpływ?
Jak zarządzać sytuacją, w której nie ma spójnego i klarownego opisu idei wpływu społeczno-gospodarczego, ani kryteriów oceny? Jak odnaleźć się w sytuacji, gdy 20 proc. finansowania jest przyznawane uznaniowo za uznaniowy wpływ przez naukowców, zmuszonych wejść w rolę ekspertów w obszarze, w którym ekspertami nie są? To moim zdaniem najważniejsze pytania, na które potrzebujemy odpowiedzi.
Trzecie kryterium jest ogromną szansą na zacieśnienie relacji sektora nauki z jego interesariuszami i poprawę wizerunku. Nareszcie możemy tworzyć kompleksowy interfejs nauki dla gospodarki. Nie zaprzepaśćmy tego. Sposób, w jaki Ministerstwo Nauki i Szkolnictwa Wyższego zadaje pytania pracownikom naukowym jest najskuteczniejszym narzędziem oddziaływania na ich sposób myślenia i działania. Dlatego poprawmy formularz w części dotyczącej wpływu społeczno-gospodarczego. Zdefiniujmy ów wpływ i stwórzmy kryteria. Pomogą socjologowie, ekonomiści, psychologowie społeczni czy badacze transferu wiedzy. Wszyscy razem, sektorowo, uczymy się nowego podejścia i potrzebujemy klarowności, konkretności i precyzyjnych wytycznych. A zamiast tworzyć działy komunikacji nauki w uczelniach, od razu zainwestujmy w działy odpowiedzialne za wpływ społeczno-gospodarczy. Popularyzacja to przecież jeden ze środków, który prowadzi do tego celu.
Zapraszam do dyskusji wokół 10 dużych znaków zapytania, które postawiłam na bazie moich doświadczeń i obserwacji. Celowo ustrukturyzowałam tekst według punktów, aby ułatwić dyskusję. „Podręcznik dla ekspertów oraz dla ewaluowanych podmiotów w zakresie opisu wpływu działalności naukowej na funkcjonowanie społeczeństwa i gospodarki” to wartościowy materiał. Dzięki niemu możemy doprecyzowywać, modyfikować, nadbudowywać, ulepszać. I to jest celem mojego artykułu.
Potrzebujemy jasnej definicji wpływu, a jeszcze bardziej wskazania, czym on nie jest. Obecne ogólne pojęcia są zbyt szerokie, a nacisk na kwantyfikację kieruje uwagę na ilość zamiast na jakość. Podobnie z dowodami – potrzebna jest lista antyprzykładów w formie załącznika do formularzy oraz instrukcji dla ekspertów. Potwierdzenia udziału w gronach eksperckich, statystyki z mediów czy dane o oglądalności nie dowodzą realnych zmian. To nie kwestia złych intencji uczelni, że zgłaszają je jako dowody, a bardziej niewystarczającego jeszcze doświadczenia w tych kwestiach, jak i braku precyzyjnych wytycznych oraz kryteriów. Katalog sytuacji odwrotnych od pożądanych jest tu wyjątkowo potrzebny. Po pierwszej ewaluacji wpływu widzimy, jak podmioty naukowe rozumieją postawione przed nimi nowe wyzwanie. To świetny materiał, aby pokazać, co wpływem nie jest a jednocześnie wskazać na dobre praktyki i przestawić myślenie kadr zarządzających na nowy tor. A gotowość jest.
Niezbędne są też dobre praktyki mierzenia wpływu, by zarządzający, naukowcy, jak i pracownicy administracji akademickiej, w tym specjaliści ds. komunikacji, mogli je uwzględniać. Psychologowie, socjologowie, ekonomiści czy badacze transferu wiedzy mają zasoby i wiedzę do stworzenia precyzyjnych definicji i skutecznych narzędzi. Poprośmy ich o pomoc.
Obowiązujący szablon zaczyna się od podania danych podstawowych, kolejno: roku ewaluacji, dziedziny, dyscypliny, rodzaju wpływu (wymagany/dodatkowy) i jego tytułu. To najważniejsze informacje, które pomagają urzędnikom resortu nauki w procesie administrowania danymi. Zarazem to najmniej istotne kwestie z perspektywy ocenianego przedmiotu.
Czy nie moglibyśmy prosić o podanie informacji kluczowych z perspektywy sensowności i wagi wpływu? Podaję pięć propozycji:
Ten ostatni punkt jest ważny także dlatego, że zgodnie z instrukcją eksperci oceniający mają za zadanie ocenę korzyści, ale wnioski takie muszą wyciągnąć sami. Z kolei wskazanie katalogu grup docelowych jest niezmiernie istotne, bo ewaluowane podmioty mają z tym problem. Głównie dlatego, że dotychczas jedyną grupą docelową, o jakiej myślały byli naukowcy, dla których przeciwwagę stanowiło tzw. szerokie grono społeczne. Pomóżmy uczelniom i instytutom nazwać, jakie są inne grupy interesariuszy. To wciąż terra incognita.
Dlaczego te pola tekstowe są istotne? Już na wstępie przypominają, o co w pomiarze wpływu chodzi i dlaczego jest ważny, a po drugie – przekierowują myślenie kadry naukowej na triadę: problem – grupa docelowa – zmiana. Sposób, w jaki ministerstwo zadaje pytania pracownikom naukowym jest najskuteczniejszym narzędziem oddziaływania na ich sposób myślenia i poczynania.
Wymagając od naukowców nowego sposobu myślenia, nie wrzucajmy ich w znane im schematy naukowe. Z jednej strony skutecznym rozwiązaniem jest posługiwanie się analogią, jak np. w punkcie 4: „Na wpływ społeczny można patrzeć podobnie jak na cytowania, będące świadectwem tego, że wyniki badań naukowych były inspirujące dla innych naukowców, którzy w swoich kolejnych badaniach wykorzystali to, co zostało opracowane. Udokumentowany wpływ społeczny świadczy o tym, że przeprowadzona działalność naukowa została wykorzystana w celu ulepszenia otaczającego świata oraz pomogła społeczeństwu rozumieć otaczającą go rzeczywistość.”.
Czy dobrym rozwiązaniem jest wyjaśnienie, że tzw. streszczenie opisu wpływu powinno mieć strukturę i charakter, jak w przypadku streszczenia artykułu naukowego (pkt 43)? O ile forma się zgadza, o tyle w przypadku opisu wpływu potrzebujemy, aby naukowcy punkt wyjścia znajdowali w realnym problemie. Jak wiadomo, w streszczeniach naukowych tego się nie wymaga.
Czy dobrym rozwiązaniem jest wymienianie artykułów naukowych jako przykładów dowodów? W podręczniku pojawia się to zarówno jako wzorcowy przykład dla sprawdzających (pkt. 68), jak i oceniających (pkt 91).
Zgodnie z Rozporządzeniem w sprawie ewaluacji jakości działalności naukowej otoczenie społeczno-gospodarcze obejmuje:
Powyższy podział jest doskonałą bazą do ulepszenia. Po co? Przede wszystkim po to, aby kategoryzacja obejmowała rzeczywistość w sposób kompleksowy i wyczerpujący. Wzorcem dla europejskich resortów nauki w tym zakresie jest klasyfikacja obszarów wpływu wypracowana 10 lat temu w ramach Research Excellence Framework (REF). Traktuje się ją jako punkt odniesienia, co też widać w krajowym rozporządzeniu – z jednej strony w katalogu obszarów wpływu umieszczono np. ochronę zdrowia, gospodarkę czy ochronę środowiska, a z drugiej dodano obronność państwa i kategorię „inne”. Pokazuje to otwartość i gotowość resortu na stworzenie naszej krajowej klasyfikacji.
A gdybyśmy zrezygnowali z kategorii „inne” i kompleksowo skatalogowali rzeczywistość, w której żyjemy? I jeszcze doprecyzowali definicje? Dodajmy kategorię „technologie informacyjne”, aby móc osobno katalogować ten jakże ważny fragment gospodarki związany z cyfryzacją. Funkcjonowanie administracji publicznej można rozszerzyć definicyjnie, dodając zmiany legislacyjne (w obecnym zapisie nacisk jest położony na sposób działania, bez nawiązania wprost do faktu zaistnienia zmian prawnych). W kategorii „ochrona zdrowia” warto dodać, że chodzi również o poprawę jakości życia. Przekształćmy „kulturę i sztukę” w „społeczeństwo” (w praktyce chodzi o zmianę postaw, sposobu myślenia i działania grup społecznych) lub dodajmy tę kategorię, gdyż obecnie jej brakuje.
Czy wartościowym rozwiązaniem nie byłoby wprowadzenie w obszarze „gospodarka” dodatkowej skali bazującej na Krajowych Inteligentnych Specjalizacjach? Nie jest tajemnicą, że w praktyce nie są to specjalizacje, ale forma skatalogowania gospodarki. Warto z tej klasyfikacji skorzystać, bo jest oficjalnie zautoryzowana i funkcjonuje jako jeden z punktów odniesienia w rozmowie o rozwoju technologicznym kraju. Wartością zarówno dla Ministerstwa Nauki i Szkolnictwa Wyższego, jak i Ministerstwa Rozwoju i Technologii oraz branż im podległych byłaby możliwość zobaczenia w dużej perspektywie, w jakie podrozdziały gospodarcze wpisują się nasi naukowcy.
Sposób uporządkowania obszarów wpływu to olbrzymia szansa na to, abyśmy zaczęli tworzyć interfejs nauki dla gospodarki.
Trzecie kryterium ma zmienić myślenie naukowców i kadry zarządzającej, przekierowując je na grupy odbiorców spoza akademii. Ujęcie „środowiska akademickiego” w obszarach wpływu mogłoby zniweczyć ten cel. Istnieje ryzyko, że uczelnie zgłaszałyby jako wpływ działania, do których są zobowiązane, np. dbałość o dydaktykę czy rozwój zawodowy naukowców. Z drugiej strony poprawa warunków pracy osób na etatach naukowych, administracyjnych, technicznych w uczelniach czy metod dydaktycznych jest pożądana i wspiera gospodarkę.
Równocześnie punkt 93 w „Podręczniku dla ekspertów” jest szkodliwy, bo wprowadza zamieszanie, głównie ze względu na słowo „tylko”: Beneficjentami wpływu społecznego nie mogą być tylko członkowie środowiska akademickiego lub środowiska naukowego, którzy zawodowo zajmują się prowadzeniem działalności naukowej.
Wskazuje to na niekonsekwencję, która niesie wiele ryzyk. Czy na ten istotny dla akademii wątek nie powinniśmy poświęcić więcej miejsca w opisanych wytycznych?
Nie jest. Popularyzacja może być drogą do wypracowania zmiany. A materiały audio, wideo i publikacje w mediach nie są dowodem, chyba, że zostanie w nich utrwalone świadectwo zmiany.
Wprowadzenie trzeciego kryterium to wystarczający powód dla rektorów uczelni i dyrektorów instytutów, aby zmodyfikować strukturę organizacyjną i wszystkie działy, które odpowiadają za budowanie relacji z otoczeniem społeczno-gospodarczym uporządkować w jeden sensowny i zoptymalizowany proces – oddziaływania na zewnętrzny świat. Tzw. impact offices to obecny trend na uczelniach zagranicznych. Zamiast więc tworzyć działy komunikacji nauki, od razu zainwestujmy w działy odpowiedzialne za wpływ.
Czy we wpływie nie chodzi o jakość, a nie ilość? Dlaczego zmiana dokonana lokalnie ma być oceniana nisko? Czy to dobry pomysł, aby relatywizować wpływ? W zakresie oddziaływania uczelni na rozwój społeczny i gospodarczy jesteśmy wciąż na etapie początkującym. Zależy nam na wdrażaniu konkretnych praktyk i utrwalaniu dobrych wzorców. Wpływ jest albo go nie ma. A każda zmiana na lepsze zasługuje na docenienie. Każdy wpływ, jeśli zaistniał, ma znaczenie. Kryteria konkursowe można zawsze wprowadzić, np. gdy będziemy już na zaawansowanym poziomie, zarówno po stronie jednostek naukowych, jak i oceniających.
Jaki sens ma uznaniowe decydowanie o tym, czy dany wpływ był istotny lub przełomowy? A ocenianie jego zasięgu geograficznego? W przypadku kryterium geograficznego można odnieść wrażenie, że zostało ono sformułowane w zbyt dużym pośpiechu i bez przemyślenia, przynajmniej na poziomie dobranych słów. Co o tym świadczy? Na przykład niespójność na poziomie zapisów.
W punkcie 95 zapisano, że nie chodzi o geografię:
Interpretacja pojęcia zasięg jest zależna od kontekstu opisu wpływu społecznego. Należy to pojęcie interpretować nie w sensie czysto geograficznym lub podziału administracyjnego, ale raczej kompletności i zupełności obejmowania zjawiska, którego dotyczy. Należy rozważyć, czy wpływ społeczny oddziałuje na wszystkich istniejących na świecie przedstawicieli społeczeństwa, podmioty gospodarcze lub środowisko.
Jednocześnie punkt 23 wskazuje wyraźnie, że zasięg regionalny oznacza mniej punktów. To rażąca niespójność, która ma decydujące znaczenie w procesie przyznawania finansowania. Tę kwestię celnie opisuje Marta Natalia Wróblewska w swoim poradniku „Jak napisać opis wpływu” [Warszawa, grudzień 2024]:
Prawdziwym kuriozum polskiej szkoły ewaluacji wpływu społecznego jest geograficzne zdefiniowanie „zasięgu” wpływu. W brytyjskim modelu „zasięg” dotyczy wpływu możliwego do osiągnięcia w ramach danego projektu. […] nasz model oceny ambitnie zakłada, że badacze mają starać się o globalny zasięg wpływu. Tylko on zapewnia maksymalną ocenę w aspekcie zasięgu. Czyżby polscy badacze mieli większe możliwości osiągania międzynarodowego wpływu niż brytyjscy?
Jednym z zadań eksperta jest zweryfikowanie, czy i w jakim stopniu oceniana działalność naukowa przyczyniła się do zaistnienia wpływu społecznego oraz czy aby na pewno ewaluowany podmiot był wiodącą stroną w tej działalności. Nie ma lepszych ekspertów do weryfikacji powyższego od naukowców. Bez znajomości specyfiki danej dyscypliny naukowej, jak i funkcjonowania podmiotów naukowych trudno byłoby to sprawdzić. Pytanie, czy naukowcy mają doświadczenie i wiedzę praktyczną, aby rzetelnie ocenić, „czy problem, którego dotyczy opis wpływu społecznego jest istotny dla społeczeństwa lub gospodarki, czy zaistniały wpływ społeczny zmienia komfort życia, bezpieczeństwo, środowisko, pozycję konkurencyjną przedsiębiorstw itp.”, oraz czy rozwiązanie „ma charakter długofalowy lub rozwiązuje od dłuższego czasu nierozwiązany problem”.
Zdarza się, że pracownik naukowy jest jednocześnie przedsiębiorcą, szczególnie w przypadku nauk inżynieryjnych i technicznych, więc zapewnia szeroką optykę. Taka sytuacja nie jest jednak powszechna w sektorze akademickim. Całe zamieszanie z trzecim kryterium jest w końcu próbą rozwiązania problemu, jakim w ocenie świata pozaakademickiego jest zbyt mała lub żadna znajomość realiów rynkowych.
Czy zatem w proces ewaluacji trzeciego kryterium nie powinniśmy włączyć ekspertów spoza świata nauki? Wyobrażam sobie, że po ocenie dokonanej przez naukowców, opisy i dowody są jeszcze dyskutowane w dużych grupach eksperckich analogicznych do obszarów wpływu. Nikt lepiej nie zweryfikuje wiarygodności dowodów wpływu. Co więcej, w otoczeniu sektora nauki to byłoby bardzo skuteczne, a ponadto pozytywnie odebrane rozwiązanie. Takimi ekspertami mogliby być nawet dziennikarze (sic!). Jeśli chcemy, aby nauka per se miała sprzymierzeńców, zacznijmy angażować w ocenę jej działania praktyków. Ale tylko w zakresie wpływu.
Istotą oceny wpływu jest motywowanie podmiotów naukowych do tego, aby w procesach naukowych uwzględniały interesariuszy spoza akademii. Niejako skutkiem ubocznym jest możliwość zaprezentowania w dyskusji krajowej setek, a nawet tysięcy dowodów na przydatność pracy naukowej dla gospodarki i społeczeństwa. Obecnie źródłem utraconych szans dla naukowców jest sposób prezentowania zebranych danych.
Wyobraźmy sobie firmę z branży energetycznej, która angażuje się w działalność prospołeczną na rzecz uczniów i ma spory budżet na animowanie takich działań w całym kraju. Za pomocą systemu POL-on mogłaby wyklikać, które jednostki naukowe również działają na rzecz młodzieży i to w obszarze energetyki („zrównoważona energetyka” to jeden z KIS, co może pokazywać przydatność wprowadzenia katalogu KIS do listy obszarów, o czym piszę w PYTANIU 4).
Połączenie sił, zintegrowanie wysiłków, stworzenie koalicji i sfinansowanie działań popularnonaukowych to tylko przykłady dostępnych korzyści dla sektora nauki. Gdyby tylko sposób prezentacji danych to umożliwiał, a biznes znał narzędzie, jakim jest POL-on.
Tak. Potrzebujemy nauki interdyscyplinarnej, a brak współpracy między dyscyplinami blokuje rozwój badań. Problem ten dotyczy także ewaluacji dorobku naukowego per se. Nie rozumiem, dlaczego interdyscyplinarność jest dodatkowo punktowana w ocenie wpływu, skoro to pochodna, a nie istota badań. Wpływ jest istotny niezależnie od liczby dyscyplin. Niejasne jest też, jak ekspert może ocenić, czy interdyscyplinarność była kluczowa, co zwiększa punktację aż o 20%.
***
Na zakończenie chciałabym dodać – świętujmy i cieszmy się. W końcu mamy okazję, aby powiedzieć, że wszystkie polskie jednostki naukowe razem dokonały pozytywnych zmian. Zacznijmy nagłaśniać dobre praktyki. Przekaz takiego komunikatu do mediów mógłby mieć taki wydźwięk:
Setki ulepszeń w ochronie zdrowia, bezpieczeństwie państwa, administracji publicznej, a także w kulturze i sztuce. Wszystko dzięki wytężonej pracy naukowców z ponad 600 jednostek naukowych. Tak wynika z danych przedstawionych w ostatniej ewaluacji.
Dla wszystkich, którym zależy na zaangażowaniu naukowców w rozwój kraju, wprowadzenie trzeciego kryterium to wymarzony wprost prezent. Pojęcie „wpływu na otoczenie” wpisało się już na stałe w żargon środowiska akademickiego, a myślenie kadry zarządzającej przekierowano na ideę, którą biznes, dziennikarze czy organizacje pozarządowe od lat chciały wpoić badaczom. Choć te podmioty jeszcze tego niestety w pełni nie dostrzegają, sektor nauki również ma przed sobą lekcję do odrobienia – proces wdrażania kryterium nie został bowiem zakończony. Rysuje się ogromna szansa na zacieśnienie relacji sektora nauki z jego interesariuszami. Czy ją wykorzystamy?
Natalia Osica, ‘pro science’
Ps. Skąd powyższa perspektywa? Pracuję z podmiotami naukowymi od 15 lat i wspieram je w projektowaniu komunikacji i budowania relacji ze światem zewnętrznym. Po ogłoszeniu trzeciego kryterium zaobserwowałam intensywną falę pytań od zdezorientowanych i zaniepokojonych zarządzających z uczelni i instytutów. Obecnie trzecie kryterium jest jednym z najbardziej oczywistych tematów omawianych w jednostkach naukowych przy współudziale działów promocji i biur prasowych. Obserwuję motywację i energię, którą można ukierunkować na właściwe tory. Szkoda ją zaprzepaścić. Szczególnie w kontekście presji i oczekiwań otoczenia na zwiększony dostęp do świata nauki, i kryzys wizerunkowy sektora. Stąd potrzeba napisania tekstu i podzielenia się perspektywą.
Gawkowski: Polska ma stać się europejskim liderem w budowaniu Fabryk AI. To będzie kolejny sukces polskiej nauki na skalę światową, szczególnie w świetle ostatnich działań ministra nauki Wieczorka i wiceministra Gduli. Oby tak dalej!!!
Trzeba powołać nowe Ministerstwo Obiekrywnej Oceny i Ewaluacji Nauki. Największą innowacją nauki polskiej było stworzenie tabeli punktacji czasopism. Nie będzie nikt nam dyktował ile punktów ma mieć Polski Naukowiec? Czy nie robi wrażenia na naukowcach z zagranicy, jeśli ktoś powie, że jego (polski) IF dorobku naukowego wynosi 1000? Największy wpływ na środowisko naukowe miał naukowiec z PG, który zdołał wstrząsnąć nie tylko środowiskiem naukowym, ale i dziennikarskim? Najbardziej podoba mi się popularyzxcja nauki przez dziennikarzy np. Polscy naukowcy opracowali niebieską diodę, która pozwoli na zapis informacji na niespotykaną dotychczas skalę. Polscy naukowcy opracowali metodę produkcji grafenu, której nikt nie posiada na świecie. Polscy naukowcy opracowali lek na raka. Itd. Przypomina mi to Minusterstwo z filmu Zezowate cszczescie i Kobielę w roli Piszczyka.
Dyskusja o ewaluacji toczy się w FA od dłuższego czasu. Poprawa kryterium trzeciego wymaga, według Autorki artykułu, sporo wysiłków. Wytypowała ona 10 pkt. Poza tym w niektórych punktach jest od 3 do 5 podpunktów. Oznacza to, że należy dotychczasowe składowe kryterium trzeciego zaorać i zacząć wszystko od początku. A i tak na końcu trafi to do ekspertów. Obecnie do ekspertów wśród naukowców jest słabe, a może nawet zbliżone do zera, zaufanie. Spowodowane to jest drastycznymi przykładami z NCBiR. Ja osobiście miałem nieprzyjemność spotkać się z podobną sytuacją w NCN. W naszych warunkach zatrudnienie ekspertów do ewaluacji otwiera szeroko możliwości do sterowania ręcznego. Jest to wyraźnie widoczne przy układaniu list czasopism do dyscyplin i ich punktacji. Czasopisma ze zbliżonymi IF mają punktację od 40 do 140, niektóre czasopisma, publikujące artykuły z danej dyscypliny nie są na liście, niektóre, nie związane z dyscypliną – są. W komentarzach do tego artykułu ich autorzy wskazują również na to w stosunku do kryterium trzeciego. Najlepiej podsumował dyskusję nad artykułem ~Alek Rachwald 07.01.2025 11:51. Cytuję: „Trzecie kryterium tak, jak je stworzyli autorzy ustawy, nadaje się wyłącznie do usunięcia i zapomnienia o nim. Jest to narzędzie wstawione do systemu ewaluacji w celu ułatwienia manipulowania wynikami.” Panie Alek, masz Pan rację. Jak najdalej od ekspertów!
PS
1. W Rozporządzeniu dotyczącym ewaluacji ocena wpływu została opisana w paragrafie 23 i zajmuje nieco więcej, niż jedną stronę. W Pani artykule zaproponowano poprawki, zajmujące wielokrotnie więcej stron, niż w Rozporządzeniu. Potwierdza to tezę, że kryterium trzecie jest nienaprawialne.
2. Jeszcze raz o ekspertach. Eksperci z komisji ds ewaluacji obiecali do końca roku 2024 nową listę czasopism. Dzisiaj jest 8.01.2025 r. I gdzie ta lista? Prawdopodobnie jak i za Gowina, może pojawić się w połowie roku. A może i wcale nie pojawi się? A rok pracy ekspertów w komisji minął!
"Setki ulepszeń w ochronie zdrowia, bezpieczeństwie państwa, administracji publicznej, a także w kulturze i sztuce". A czy taki opis wystarczyłby do wysokiej oceny.
Przecież warto w takim tekście jakiś konkrecik dać. Na przykład nowa technika zespolenia jakiegoś złamania, czy coś.
A jest coś co wymaga kogoś, aby przełożył na polski.
Najgorzej ma filozofia. Jak sprawić, aby ktoś na trwałe uwierzył w jakąś idee. Co cztery lata nową.
Czas na młodych...
Bardzo ciekawy artykuł.
Istotną kwestią natomiast nieporuszoną w artykule jest sposób punktowania w ramach dwóch kryteriów oceny zasięgu i wpływu. O ile zasięg jest punktowany 0, 20, 30, 40 i 50 pkt, to już istotność jest oceniana "schodkowo" 0, 10, 25 i 50. Brak możliwości, aby ekspert zróżnicował ocenę pomiędzy opisami poszczególnych jednostek. Są opisy wpływów lepsze i gorsze, ale wszystkie muszą być ocenione albo na 10 albo na 25, nie mówiąc o wartości 50 pkt, która powinna być zarezerwowana dla absolutnie wyjątkowych dokonań. Żadnej pośredniej wartości. Uważam, że jest to absolutnie do zmiany. Ocena została spłaszczona, przez co standardem do osiągnięcia w wielu dyscyplinach jest uzyskanie oceny na poziomie zasięgu krajowego za 40 pkt i wpływu istotnego za 25 pkt, plus zwiększenie o 20% za interdyscyplinarność tj. 13 pkt - razem 75 pkt.
Eksperci powinni mieć możliwość zróżnicowania tej oceny, szczególnie przy tak subiektywnych sformułowaniach dotyczących kryterium istotności.
Dziękuję za ten głos. To co Pan pisze to kolejny poziom, już bardziej szczegółowy, który pokazuje krzywdzący sposób oceny. Dlatego też jedną z moich tez jest to, że wpływ jest albo go nie ma i być może na etapie początkującym, gdy wszyscy uczymy się tego kryterium - i jednostki naukowe, i naukowcy w roli ekspertów, i eksperci z ekosystemu i resort, nie powinniśmy go w ten sposób relatywizować w ogóle. Punkty to jedno. A jak ocenić, czy wpływ jest istotny czy przełomowy? Nie mówiąc już o kryterium, zasięgu, które trochę jest kopią z REF, a jednak nie jest.
Widze, ze pytania troche zblizaja sie do tego, jak ewaluacja jest robiona w Wielkiej Brytanii.
Przypomne, ze tam waga trzech komponentow ewaluacji jest nastepujaca:
Contribution to Knowledge and Understanding (50%)
Engagement and Impact (25%)
People, Culture and Environment (25%)
Nie sugeruje, ze sciagac cos od nich bez zastanowienia i bezkrytycznie kopiowac, ale na stronach REF2029 mozna znalezc sporo informacji, ktore pokrywaja sie czesciowo z pytaniami zadanymi przez Pania Autorke w tekscie powyzej. Czasami nie trzeba wymyslac kola od nowa, juz ktos to juz wczesniej zrobil.
Panie Profesorze, rzecz w tym, że nasze krajowe trzecie kryterium jest wzorowane na REF, a jednocześnie i rozbudowane o nowe wątki, jak i wykrzywione (np. kryterium zasięgu, które w REF odnosi się do tego, czy działanie było kompletne czy tylko częściowo rozwiązało problem, a w Polsce z jednej strony punkty są za zasięg geograficzny, a z drugiej pisze się, że nie chodzi o zasięg geograficzny).
Czas na lekturę stron REF2029 już był. Teraz trzeba poprawić część zapisów, ale też pomyśleć nad naszym oryginalnym wkładem. My też możemy być inspiracją dla innych.
Przy każdym moim pytaniu zawarte są pewne tezy i propozycje.
Przykładowo nakłaniam, aby się jednak zastanowić, czy aby na pewno wykluczanie akademii to dobry pomysł, albo czy warto relatywizować wpływ, gdy wszyscy są początkujący i jest to bardziej szkodliwe niż pomocne (potrzebujemy dobrych praktyk i wzmacniania postaw).
Proponuję też konkretne rozwiązania z poziomu katalogu obszarów wpływu oraz włączenia w ocenę ekspertów z rynku, w tym dziennikarzy.
Podobnie jak Pan uważam, że nie trzeba wymyślać koła od nowa. Przy czym z mojej perspektywy, to, co umieściłam w każdym punkcie jest specyficzne i wychodzi poza schemat REF. Być może nietrafiona była decyzja, aby sformułować ogólne pytania jako wprowadzenie do każdego zagadnienia - patrząc na same pytania i skanując je można odnieść wrażenie, że tekst jest o tym, co już zostało opisane.
Niezależnie, zawsze się cieszę na Pana komentarze i zapraszam do konstruktywnej dyskusji. Pozdrawiam!
Trzecie kryterium w polskiej ewaluacji było inspirowane właśnie impact w REF 2014. Tylko po drodze doszło do pewnych przekształceń, mało korzystnych IMHO
@Natalia Osica
@Marta Wróblewska
Do prefesury jeszcze daleko
:-)
Zas co do mojego komentarza, to rzeczywiscie chyba nie powinienem byl go zamieszczac, bo zwyczajnie nie znam szczegolow polskiego systemu ewaluacji. Tak to jest, jak sie od 20 lat pracuje w Wielkiej Brytanii...
Nie wiedzialem tez, ze polskim system czerpal bezposrednio z brytyjskiego, ale wlasnie jakos podobnie mi to brzmialo... Stad moja sugestia.
Warto zauwazyc, ze brytyjski REF ewoluuje dosyc szybko. Kazda kolejna tura (a zwykle REF odbywa sie co 7 lat) jest troche inna i odzwierciedla tendencje w swiecie nauki. Ostatnio na przyklad zaczeto znacznie wieksza uwage zwracac na rozwoj srodowiska pracy, to znaczy, jak uczelnie dbaja o to, aby pracownicy byli traktowani sprawiedliwie i zeby dawano im mozliwosc rozwoju, a jednoczesnie dbano o to, by mozna bylo dobrze wykonywac swoja robote (stad to kryterium "People, Culture and Environment").
Niestety, w brytyjskim REF jest tez sporo udawania i koloryzowania, tak wiec aplikacje uniwersytetow wyslane do biura REF nie do konca odzwierciedlaja to, co sie naprawde dzieje na uczelni. Nie mozna jednak koloryzowac za duzo, bo wszystkie dzialania musza byc udokumentowane liczbami, statystykami i przykladami z zycia.
Te aplikacje to gigantyczna praca. Nastepny REF jest w 2029, a na uniwersytecie (i na wydzialach) praca przygtotowawcza trwa juz od dobrego roku....
Ewaluacja to nie powinna być ocena w sensie wymierzania kar i nagród. Ewaluacja to zbieranie danych i podejmowanie decyzji służących rozwojowi na ich podstawie, ocenianie efektów działań pod kątem ich wykorzystania i wspierania dalszego rozwoju. Uczelnie powinny poza minimum same konkurować.
Kryteria mogą zostać, jednak ich znaczenie musi się zmienić. Należy skończyć z systemem kontroli, a wdrożyć system ZDROWEJ konkurencji i minimalnych sensownych wymagań. Ocena jednostek jakim kryterium dostępu do uprawnień powinna dotyczyć spełnienia minimalnych wymagań na podstawie sensownych kryteriow. Te minimalne wymagania trzeba redefiniowac co kilkanaście lat. Wskaźniki powinny być a) dla komercjalizacji finansowe, b) dla nauki i edukacji - ocena ekspercka na podstawie najlepszych prac i praktyk edukacyjnych z jednostki c) dla wpływu to o czym pisze Natalia Osica. Nikt tego nie zrobił od czasów powojennych. System się zabkokował.
Skończmy z pruskim modelem w nauce i edukacji.
Trzecie kryterium tak, jak je stworzyli autorzy ustawy, nadaje się wyłącznie do usunięcia i zapomnienia o nim. Jest to narzędzie wstawione do systemu ewaluacji w celu ułatwienia manipulowania wynikami. O ile pierwsze kryterium okazało się (ku zdumieniu naiwniaków) całkowicie nieodporne na manipulowanie przez instytucje ewaluowane, o tyle kryterium trzecie jest analogicznym tylnym wejściem dla kombinatorów z ministerstwa nauki.
Popieram. Papier wszystko przyjmie, a biurokraci tworzą swoją hiperrzeczywistość, by uzasadnić istnienie obecnych i tworzenie nowych urzędniczych etatów w ministerstwach i na uczelniach. Kiedyś będziecie się śmiali/wstydzili (z) tych wszystkich slotów, efektów wpływu, monstrualnych sylabusów, całej tej nikomu normalnemu niepotrzebnej biurokratycznej makulatury. Pamiętam ogłoszoną - wielkim kosztem, z użyciem zespołu zagranicznych ekspertów - listę „uczelni badawczych”. Tę samą listę mogłem wam ułożyć (i każdy inny normalny naukowiec) za darmo w pięć minut, pomyliłbym się może w 1-2 przypadkach uczelni technicznych i medycznych, bo to nie moja działka. Inaczej mówiąc: i tak z góry wiadomo, kto jest tłustym kotem.
Dla mnie debilizmem prymarnym całego systemu jest nieoddzielenie zasad oceny humanistyki od nauki sensu stricto. Winę za to ponoszą i sami humaniści, z obawy, że będą gorszym sortem świata akademickiego. Jeśli nadal tak samo będziemy oceniać kulturoznawcę piszącego przy biurku swe eseje i kilkudziesięcioosobowy zespół chemików, to daleko nie zajdziemy. A i on i oni potrzebni są kulturze i gospodarce.
Absolutnie się zgadzam. Koń jaki jest każdy widzi. Co do humanistyki i nauk tzw matematyczno-przyrodniczych też się zgadzam. Nie mieszajmy różnych systemów walutowych jak to kiedyś powiedział Prezes Ochódzki.
Super, że ten temat wreszcie jest na agendzie! Z mojej perspektywy, a zajmuję się naukowo ewaluacją wpływu społecznego od dekady, wszystkie wymienione przez autorkę kwestie zasługują na pilną interwencję. Miło mi, że wspomniano w artykule mój poradnik "Jak napisać opis wpływu". Po więcej info zapraszam https://martawroblewska.pl/jak-napisac-opis-wplywu-poradnik/