Jako sektor podeszliśmy do ewaluacji wpływu społecznego jak mało ambitny student, na zasadzie: zakuć, zdać, zapomnieć. Tymczasem w Wielkiej Brytanii wyniki skrupulatnie się analizuje, żeby wychwycić niewykorzystane jeszcze szanse na wpływ i zainspirować się osiągnięciami konkurencji. Opowieści o własnych sukcesach wykorzystuje się zaś marketingowo – pisze dr Marta Wróblewska z Uniwersytetu SWPS.
W tym roku akademickim składałam aplikacje w dwóch programach dla młodych naukowców. Ubiegałam się o stypendium Ministra Nauki i Szkolnictwa Wyższego dla wybitnych młodych naukowców i grant LIDER UP z Narodowego Centrum Badań i Rozwoju. W obydwu przypadkach proces aplikacji był czasochłonny, a wniosek został zwrócony do poprawy. Czy chodziło o uzupełnienie szczegółów moich projektów badawczych, uzasadnienie wkładu do rozwoju dyscypliny lub inne informacje niezbędne do merytorycznej oceny mojego profilu? Nie, za każdym razem poprawki dotyczyły aspektów formalnych. W jednym przypadku musiałam umieścić podpis kwalifikowany na załączonych dyplomach, w drugim – przesłać dodatkowe potwierdzenie odbytego lata temu stażu.
Łatanie formalnych dziur
Nie skarżę się na proces aplikowania o środki na naukę jako taki. Nie przeszkadza mi żmudne opracowywanie nowego projektu, pogłębianie znajomości literatury czy nawet praca nad budżetem, matrycą ryzyk itd. To wszystko są elementy pracy naukowej, które, niezależnie od ostatecznego wyniku procesu, wzmacniają mnie jako badaczkę. Zadaję sobie jednak pytanie, czy rzeczywiście najlepszą inwestycją czasu naukowców, a także pracowników instytucji państwowych jest skrupulatne dokumentowanie każdego stwierdzenia w każdym CV?
Jedna z instytucji nie chciała mi uwierzyć na słowo, że jestem współautorką artykułów, w których figuruje moje nazwisko. Musiałam zebrać podpisane deklaracje współautorów, którzy potwierdzali mój „wkład procentowy” w dane dzieło. Inna jednostka nie zaakceptowała zrzutu ekranu ze strony unijnego programu, który wskazywał, że zatwierdzono raport z odbytego stażu. Musiałam zdobyć opieczętowane zaświadczenie od koordynatora. A to wszystko na etapie aplikacji – jeśli nie dostanę grantu, wysiłek mój oraz instytucji poświęcony na papierologię
można uznać za zmarnowany.
Dla porównania, w tym samym roku aplikowałam (z sukcesem) o mały grant badawczy od prywatnej brytyjskiej firmy zarządzającej danymi. Aplikacja miała cztery strony. Nie musiałam załączać ani dyplomów, ani oświadczenia instytucji o zatrudnieniu, ani potwierdzenia autorstwa artykułów. Umówmy się: wszystkie te rzeczy dość trudno byłoby mi sfingować. Zaoszczędzony czas zarówno ja, jak i pracownicy firmy możemy przeznaczyć na merytoryczną pracę nad projektem. Sam proces oceny trwał zaś dwa miesiące, a nie sześć do dziesięciu.
Tęsknota za wskaźnikami
Głęboki brak zaufania między polskimi instytucjami a obywatelami jest widoczny w wielu aspektach życia naukowego. Przykładem jest trzecie kryterium ewaluacji, czyli wpływ społeczny. W toku moich badań nad instytucjonalizacją tego pojęcia dość często spotykałam się z zarzutem „uznaniowości” oceny wpływu społecznego. Wiele osób twierdzi, że kryterium należałoby „owskaźnikować”, a ocenę uczynić bardziej obiektywną.
Tymczasem już teraz ocena wpływu społecznego w dużej mierze opiera się na aspektach formalnych (zgodność dokumentu głównego z załącznikami). Dwa kryteria oceny ujęto zaś w sztywne ramy punktowe. Odeszliśmy daleko od modelu jakościowej oceny eksperckiej, w który pierwotnie miało wpisywać się to kryterium. W efekcie „miękką” materię, jaką są relacje jednostek z zewnętrznymi podmiotami, interakcje, przepływ wiedzy i inspiracji, na siłę wciskamy w sztywny gorset formalizmów.
Czy jednak jedyną alternatywą wobec wskaźników i punktów jest zdanie się na „arbitralną” ocenę ekspertów? Absolutnie nie! W ramach jednego z moich projektów prowadzę obecnie wywiady z pracownikami uczelni dotyczące ewaluacji w trzecim kryterium. Respondenci zgodnie potwierdzają, że im dłużej pracują w przestrzeni pomiędzy badaniami naukowymi a ich wdrożeniem, tym ostrzejszy staje się ich „zmysł dostrzegania wpływu”. To zjawisko znane naukom społecznym pod nazwą „professional vision”. Tak jak księgowy w mig dostrzega błąd w PIT-cie, a nauczyciel wypracowanie napisane przez AI, tak ekspert od wpływu potrafi niemal bezbłędnie oddzielić realny wpływ od tego „napompowanego” na potrzeby ewaluacji. Co więcej, widzi też obszary badań, w których tkwi potencjalny wpływ, czekający na wdrożenie.
Właśnie dlatego w Wielkiej Brytanii – „ojczyźnie” ewaluacji wpływu społecznego – stawia się nie na obudowywanie ewaluacji kolejnymi wskaźnikami, a na tworzenie wokół tego obszaru działalności „infrastruktury”. Większość uniwersytetów ma już dziś oddzielnych specjalistów od wpływu (niekiedy całe zespoły), którzy wspierają badaczy przez cały cykl ewaluacji, a nie tylko poganiają na „ostatniej prostej”. Wyniki ewaluacji skrupulatnie się analizuje, żeby wychwycić niewykorzystane jeszcze szanse na wpływ i zainspirować się osiągnięciami konkurencji. Opowieści o własnych sukcesach wykorzystuje się zaś marketingowo. Tymczasem ogromna baza danych o wpływie społecznym polskiej nauki, jaką jest RAD-on, pozostaje niewykorzystana. Jako sektor podeszliśmy do ewaluacji wpływu społecznego jak mało ambitny student, na zasadzie: zakuć, zdać, zapomnieć.
Dążenie do stabilizacji (za wszelką cenę)
Teoretycznie nikt nad Wisłą nie chce punktozy. Każdy widzi jej absurdy. Bo sztywne regulacje, listy czasopism oraz KEN-owskie przewodniki nie przystają do zniuansowanej rzeczywistości. Ale z drugiej strony wzdrygamy się przed oddaniem władzy w ręce ekspertów. No bo kto ich wybiera? Kto ich szkoli?
Jest dużo wątpliwości (które i ja podzielam). Istnieje naukowe wyjaśnienie tego „rozdwojenia jaźni”. Dużo można wyczytać ze słynnej matrycy wymiarów kultury psychologa Geerta Hofstede. Polska ma wyjątkowo wysoki wynik w wymiarze „unikania niepewności” (UAI). Co to oznacza? Że jako społeczeństwo dążymy do unikania ryzyka oraz do stabilizacji norm za wszelką cenę. W konsekwencji, podchodzimy rygorystycznie do przepisów, oczekując jasnych i jednoznacznych instrukcji. Unikamy sytuacji niedookreślonych, generujących ryzyko. Społeczeństwa, które mają niski wynik w wymiarze niepewności, podchodzą do przepisów bardziej elastycznie i są bardziej otwarte na ich zmianę.
Zamieszczony poniżej wykres (źródło danych: https://www.theculturefactor.com/) zestawia wynik Polski w wymiarze UAI z wynikami innych państw, które wprowadziły ewaluację „wpływu społecznego”: Australią, Zjednoczonym Królestwem, Norwegią i Hongkongiem. Wykres jest spójny z wynikami moich własnych badań. W krajach o niskim UAI ewaluacja wpływu społecznego jest przedsięwzięciem służącym przede wszystkim udzieleniu informacji zwrotnej i planowaniu strategicznych zmian. W krajach o wysokim UAI staje się narzędziem kontroli i dyscypliny.
Temat aż prosi się o pogłębienie. Warto by przyjrzeć się danym z projektu GLOBE, który niuansuje wymiary Hofstedego, zestawiając status quo i stan pożądany. To rzuciłoby światło na kwestię czy trzymamy się sztywno zasad, bo uważamy że tak być powinno, czy może jednak chcielibyśmy mieć więcej elastyczności? Można też pochylić się nad przykładem Ukrainy, która ma bardzo zbliżony do Polski profil w wymiarze unikania niepewności i także niedawno wprowadziła ewaluację wpływu społecznego. Chętnie przeprowadziłabym szerszą analizę. Może nawet wyniki zainteresowałyby twórców polityk ewaluacyjnych? Ale, ale… wzywają mnie moje papiery!
Marta Wróblewska, Instytut Nauk Humanistycznych Uniwersytetu SWPS,
autorka poradnika „Jak napisać opis wpływu społecznego”
Szczęśliwa dr Wróblewska, że pozwolono jej uzupełnić dokumenty do wniosku o stypendium dla młodych naukowców. Ja otrzymałam jedynie informację, że nie przyznano mi stypendium, ponieważ dostarczyłam niewłaściwy dokument.
Widzę więc, że chyba żyjemy w świecie znajomych „Wielkiego Zająca”... I to mi się wydaje największym problemem w Polsce.
Ponadto, wiele rzeczy w CV można po prostu wpisać bez większej możliwości ich weryfikacji. Przy tak ogromnej liczbie wniosków trudno uwierzyć, że wszystko jest dokładnie sprawdzane przez recenzentów. Dlatego uważam, że nie chodzi tu o brak zaufania, lecz o zwykłą transparentność procedur. Choć, szczerze mówiąc, i w tę zaczynam już wątpić.
Komu to wszystko jest potrzebne? Chyba tylko " robiącym to". Jestem przyrodnikiem i socjologiem z ca. 30 lat nawalania się z każdym o lepszy świat. I bez efektu. BO TO POLSKA BETON.. przez te moje 40 lat wszystkie aspekty pogorszyły się. Jestem looserem, przegrywem.. j# punktu, ewaluację, ekspertów z nadania. Pozdro dla prawdziwych naukowców i ludzi z misją!
Dodam, że generalnie ZGADZAM SIĘ z Panem. Te wszystkie ewaluacje, sloty itp. sprawiają wrażenie, jak gdyby były potrzebne tylko DO IMPROWIZACJI. Zaś SEDNO problemu jest nadal "nie ruszone". Co jakiś czas pojawi się wpis kolejnej bardzo mądrej osoby, która coś tam napisze lub powie, dając garść swoich mądrych rad i/albo przemyśleń, i w sumie, MOGĄ one być nawet trafne, ale WĄTPLIWE jest, czy będą dotyczyć właśnie tego sedna problemu. I NADAL NIC nie będzie załatwione, jak należy, nie PRZYBLIŻYMY SIĘ NAWET O KROK do ZNACZĄCEGO rozwiązania problemów polskiego systemu nauki i szkolnictwa wyższego. Przy TYM systemie, W TAKICH warunkach, jakie mamy, NIE należy tego oczekiwać.
Pozwolę sobie zadać Panu kilka pytań:
1. czy od początku Pana kariery tj. po doktoracie, pracuje Pan w branży akademickiej ?
2. czy po doktoracie miał Pan wsparcie od swojego promotora, np. merytoryczne lub też czy skierował Pana do jakiejś grupy badawczej?
2. czy zajęcia dydaktyczne, które Pan prowadzi(ł), są w jakiejś mierze zgodne z Pana działalnością naukową?
Pytam tak z ciekawości.
Czy te liczne oceny formalne, nie wynikają z nieumiejętności lub niechęci do rzeczowej oceny projektu?
Może pierwotnym problemem nie jest brak zaufania, tylko ignorancja oceniających i ich uciekanie przed odpowiedzialnością za podejmowane decyzje?
Szkoda, że Pani wymieszała kilka problemów w jednym artykule. Początek zapowiadał się nieźle.
Co do GB to poniższe zdania pokazuje jak to się już wypaczylo.
"Większość uniwersytetów ma już dziś oddzielnych specjalistów od wpływu (niekiedy całe zespoły), którzy wspierają badaczy przez cały cykl ewaluacji, a nie tylko poganiają na „ostatniej prostej”.
I tyle w tym drugim temacie. .
Na wszystko musi być kwit. Ziobro nie miał to teraz ścigają go po całym świecie.
Słyszałem, że będą podwyżki i profesor będzie zarabiał dwie najniższe pensje. Połowę tego co generał w wojsku i 1/8 tego co kojarzę po specjalizacji. Nie pieniądze w nauce się liczą, ale Skawa i zaszczyty. Nagroda Nobla TK mniej niż mlody kojarzę zarobił w rok.
Ale do jakiej aplikacji wymagana jest deklaracja procentowego wkładu? Czy autorzy wniosków są informowani o tym odpowiednio wcześnie?
Na pewno First Team FENG w FNP.
"Najważniejsze osiągnięcia naukowe Głównego wykonawcy Projektu i ich wkład w rozwój danej dziedziny naukowej (publikacje, zgłoszenia patentowe, patenty, prototypy etc.)"
"W przypadku osiągnięcia zbiorowego, należy precyzyjnie określić wkład Głównego wykonawcy Projektu"
"należy precyzyjnie określić wkład Głównego wykonawcy Projektu" wcale nie oznacza wkładu procentowego, tylko merytoryczny - kto co zrobił etc. To już funkcjonuje w różnych agencjach świata, tylko Polacy zawsze w takim kryterium mają % w głowie (pewnie po poprzednim systemie habilitacji).
Nie posądzam FNP o takie drobiazgi vel małostkowość.
""W przypadku osiągnięcia zbiorowego, należy precyzyjnie określić wkład Głównego wykonawcy Projektu"
To wcale nie implikuje wkładu procentowego. Wystarczy dokładny opis jakościowy.
OK, z chęcią nauczyłbym się, jak w 500 znakach zawrzeć precyzyjne określenie wkładu Głównego wykonawcy Projektu, bardziej precyzyjne niż procentowe, a do tego w ramach tego samego limitu znaków jeszcze "opisać wpływ stawianych hipotez dla danej dziedziny nauki oraz udział Głównego wykonawcy Projektu w ich opracowaniu (czy opublikowana praca/osiągnięcie dotyczy hipotez wysuniętych przez niego/nią samego/samą czy przez innych badaczy oraz czy praca/osiągnięcie stawia nowe hipotezy ważne dla danej dziedziny nauki ewentualnie innych dziedzin). W przypadku osiągnięcia zbiorowego, należy precyzyjnie określić wkład Głównego wykonawcy Projektu."
To tylko z tej uczelni mogli coś takiego bzdurnego napisać "podeszliśmy do ewaluacji wpływu społecznego jak mało ambitny student, na zasadzie: zakuć, zdać, zapomnieć." I powołuje się na WB, jakby tam tylko ewaluacja była przez kolesi i każdy wypada znakomicie w nauce, bo przecież to WB, a punkty, publikacje kto by sobie zawracał głowę nimi. UE wypada jak wypada w ocenie nauki. Jak widzimy coraz gorzej w świecie, czy to punktoza czy "nieomylni eksperci od siamtym owamtym" a wyniki każdy widzi, dołujemy. Ale ci tam z uczelni o siamtym owamtym wiedzą wszystko lepiej i są nieomylni w swoich sądach. Chwalić nas, i drzwiami i oknami walić do nas i zapisywać się do uczelni. Sukces gwarantowany, bo mamy geniuszy samych na uczelni co to wszystko wiedzą "na zasadzie: zakuć, zdać, zapomnieć."
SWPS wlasnie sie bardzo chwali tym sukcesem - gdyby tylko klienci tej szkoly wiedzieli o co chodzi w ewaluacji :D
Dlaczego instytucje proszą o potwierdzone dokumenty? Bo aplikujący potrafia mijać sie z prawdą. A po co procentowy wklad? Bo widzialam udzial rozpisany na 0.1% czyli de facto dopisanie do listy autorow. Na marginesie - uważam, że wkładu nie da się opisać procentowo, ale już opisać merytorycznie udział się da.
Kategoria wpływu społecznego jest pewnie ciekawym zagadnieniem, na potrzeby ewaluacji zatrudnia sie specjalistow od pisania tego punktu -staje sie osobną dziedziną sztuki.
To, że te wszystkie zgody/RODO/potwierdzenia zrozumienia jednego akapitu we wnioskach grantowych nie są po prostu polem do zaznaczenia w systemie to jest chyba jakiś substytut dochodu gwarantowanego i uzasadnienie, że jakieś etaty w jednostkach dokonujących oceny formalnej są bardzo potrzebne. Po co to komu w formie podpisanej/zeskanowanej?
Jeśli państwo nie ufa obywatelom (jak w Polsce), to obywatele nie ufają państwu. Chyba normalne.
Z reguły w krajach anglosaskich bardziej ufają obywatelom, nawet jak ktoś coś oszuka, to w dłuższej perspektywie i tak dąży do tego, aby być w porządku, bo państwo mu ufa a on oszukuje i ten dysonans chcą zmniejszyć.
W Polsce jest odwrotnie, państwo nie ufa, to nawet jak ktoś jest w porządku, a państwo mu nie ufa, to również dąży do zmniejszenia dysonansu, bo skoro mi nie ufają, to niech przynajmniej będzie powód tego, bo inaczej źle się czuję, robię wszystko w porządku, a mnie wciąż nie ufają.
To, że nie ufność państwa wobec obywateli przeradza się w nieufność obywateli wobec siebie, to chyba też jest zrozumiałe.
A co tych lewicowych, to oni zawsze kradli w ten sposób, że zbierali od ludzi by im oddać, ale kwotę pomniejszoną o to co rozdzielili między swoich (często pod płaszczykiem obsługi tej redystrybucji).