Życie akademickie

Chciałbym zwrócić uwagę na istotne różnice w sposobie oceny 
w porównaniu z procedurami Komitetu Badań Naukowych.

Andrzej Jajszczyk

w połowie lutego br. uczestniczyłem w ocenie projektów zgłoszonych w ramach 5. Programu Ramowego Unii Europejskiej. Chciałbym podzielić się wrażeniami z procesu oceny, z nadzieją, że moje doświadczenia okażą się pomocne dla osób przygotowujących przyszłe projekty.

Ocena projektów odbywała się w jednym z budynków Komisji Europejskiej, znajdujących się przy placu Frere-Orban w centrum Brukseli. Zjawiłem się tam rano, w poniedziałek 12 lutego. Mimo że byłem dużo wcześniej, nie uniknąłem sporej kolejki na parterze przy rejestracji i wydawaniu identyfikatorów upoważniających do poruszania się po budynku. Po załatwieniu formalności rejestracyjnych spotkałem się w wyznaczonej sali z grupą recenzentów projektów zgłaszanych w ramach programu IST (Information Society Technologies) i urzędnikami Komisji Europejskiej odpowiedzialnymi za te projekty.

KONFLIKT INTERESÓW

Pierwszym punktem programu jest wspólna sesja wstępna, w czasie której osoba z Komisji Europejskiej przypomina zasady oceny projektów, a także obowiązki recenzentów (ich szczegółowy opis otrzymaliśmy już wcześniej pocztą elektroniczną). Zwraca również uwagę na bardzo ścisłe reguły poufności procedury recenzyjnej. Nie wolno nam ujawniać nie tylko treści ocenianych projektów, ale także, jakie projekty recenzowaliśmy. Dyskutowane są również zagadnienia ewentualnego konfliktu interesów. Powinniśmy ujawniać przypadki, gdy w jakiś sposób jesteśmy związani z instytucją zgłaszającą projekt, ale także z firmą konkurującą ze zgłaszającym. Każdy z recenzentów otrzymuje szczegółowy plan oceny poszczególnych części przydzielonych mu projektów, a także spotkań mających na celu uzgodnienie ocen przez wszystkich recenzujących dany projekt.

Po sesji wstępnej rozchodzimy się do pokoi, w których przygotowujemy recenzje. Każdy z recenzentów pobiera część B propozycji pierwszego z przydzielonych mu projektów. Część B zawiera opis zgłaszanego projektu, obejmując zarówno jego cele badawcze, jak i propozycje sposobów ich realizacji. W części tej nie może być ujawniona tożsamość instytucji, które mają brać udział w projekcie.

Propozycje projektów, które otrzymujemy, są już wstępnie „przefiltrowane” przez personel administracyjny Komisji Europejskiej. Sprawdza się m.in.: czy propozycja projektu została otrzymana przed upłynięciem ustalonego terminu, czy są na niej wymagane podpisy, czy liczba partnerów nie jest mniejsza od wymaganej w danym konkursie, a także czy propozycja zawiera wszelkie niezbędne części i formularze.

Czytam dokładnie część B propozycji i na odpowiednim formularzu wypisuję swoją ocenę. Skala ocen wynosi od 0 (projekt zły) do 5 (projekt znakomity). Poza wpisaniem oceny liczbowej muszę pisemnie ocenić następujące aspekty części B propozycji: jakość proponowanego projektu badawczego i jego wkład do osiągnięcia celów danego programu UE i jego akcji kluczowych; oryginalność, innowacyjność, stopień przekroczenia aktualnego stanu wiedzy, a także wielkość ryzyka związanego z proponowanym projektem; uzasadnienie wybranego podejścia badawczego, metodyka badań i plan pracy prowadzący do osiągnięcia naukowych i technicznych celów projektu.

PLAN ROZPOWSZECHNIANIA

Po ukończeniu oceny części B oddaję w sekretariacie podpisany formularz i dopiero wtedy otrzymuję opis pozostałych części projektu (tj. części A i C). Część A zawiera szczegółowy kosztorys projektu i podział zadań między partnerów. Natomiast w części C twórcy propozycji powinni skomentować następujące cechy projektu:

	wartość dodaną związaną ze Wspólnotą Europejską oraz wkład projektu do polityki Wspólnoty, a w szczególności: europejski wymiar problemu badawczego, europejski wymiar konsorcjum realizującego projekt, wkład projektu do realizacji jednej lub więcej polityk Wspólnoty Europejskiej bądź do zagadnień standaryzacyjnych i regulacyjnych;
	wkład projektu do realizacji społecznych celów Wspólnoty, w tym: wkład projektu do polepszenia jakości życia, zdrowia i bezpieczeństwa, wkład projektu do polepszenia perspektyw zatrudnienia, a także do spożytkowania i rozwoju umiejętności w Europie, wkład projektu do ochrony i polepszenia środowiska naturalnego oraz do oszczędności w zużyciu zasobów naturalnych;
	wkład projektu do rozwoju gospodarczego i perspektyw nauki i techniki, a w szczególności: użyteczność i zakres zastosowań projektu, a także jakość proponowanych planów wykorzystania wyników projektu, strategiczny wpływ projektu i jego potencjał w powiększaniu konkurencyjności partnerów, a także w rozwoju rynku aplikacji partnerów i użytkowników wyników projektu, wkład do postępu technicznego w Europie, w tym strategia rozpowszechniania wyników projektu;
	zasoby, partnerstwo i zarządzanie projektem, a w tym: jakość proponowanego sposobu zarządzania projektem, sposób doboru partnerów i podziału między nich zadań projektu, odpowiedniość przewidzianych zasobów (w tym przewidzianego budżetu) do realizacji poszczególnych zadań projektu.

W przypadku udziału w projekcie partnerów z krajów nie należących do UE, ocenia się również użyteczność takich partnerów z punktu widzenia Unii oraz znaczenie ich wkładu do realizacji całego projektu.

Wszystkie wymienione punkty wymagają pisemnej opinii recenzenta. Opinie takie nie mogą zawierać ogólnych i niewiele mówiących sformułowań typu: „propozycja projektu jest interesująca”. Przy ocenie wkładu projektu do rozwoju gospodarczego bierze się pod uwagę jego perspektywę czasową. W projektach krótkoterminowych niezbędny jest szczegółowy plan biznesowy. Przy projektach, z których wyników będzie można korzystać w dalszej perspektywie, taki plan nie jest potrzebny. Ważnym kryterium oceny projektu jest plan rozpowszechniania jego wyników. Zakłada się, że rozpowszechnianie to nie może ograniczyć się wyłącznie do publikacji. Przy ocenie przewidzianych zasobów ocenia się m.in. komplementarność partnerów. Znikome szanse przyjęcia mają np. projekty zgłaszane wyłącznie przez wyższe uczelnie. W projektach, których wyniki mają być szybko wdrożone, muszą być partnerzy przemysłowi. Ważny jest także podział zadań między partnerów. Źle widziane jest, gdy kilku partnerów tego samego typu (np. uczelnianych) pracuje nad tymi samymi zagadnieniami. Przewymiarowanie bądź niedowymiarowanie budżetu jest zdecydowanie karane obniżeniem oceny (o 1 punkt za każde 10 proc.). Nie warto więc podawać zawyżonego budżetu zakładając, że „Komisja i tak go obetnie”.

Niezależnie od opinii pisemnych wystawiam również cztery odrębne oceny liczbowe (dla każdego z głównych punktów) i zanoszę wypełnione i podpisane formularze do sekretariatu.

UZGADNIANIE OCEN

Czterej recenzenci danego projektu i odpowiedzialny za niego urzędnik Komisji Europejskiej spotykają się następnie w celu wystawienia ostatecznych ocen i uzgodnienia opinii (consensus meeting). Sekretariat dostarcza nam powielone kopie wszystkich opinii indywidualnych, a także formularze zbiorcze. Na wstępie zapoznajemy się z opiniami pozostałych recenzentów. Z kolei następuje uzgadnianie ocen przy wszystkich indywidualnie ocenianych kryteriach. Uzgodniona ocena nie musi być wartością średnią ocen indywidualnych, także w przypadku, gdy są one bardzo zbliżone do siebie bądź nawet identyczne. Np. gdy wszyscy recenzenci wystawili ocenę 4 za jakość naukową i techniczną projektu, a każdy z nich wskazał w ocenie opisowej na inną słabość propozycji, uzasadniającą notę niższą niż 5, ocena zbiorcza może wynieść np. 3 lub 2. Proces uzgadniania not musi być opisany, a oceny uzasadnione w pisemnym sprawozdaniu ze spotkania.

W większości przypadków nie mieliśmy problemów z uzgodnieniem ocen, ale były też przypadki burzliwych dyskusji i sporów, które kończyły się jednak zawsze wypracowaniem wspólnego stanowiska. Każdy z pięciu głównych punktów oceny propozycji projektu musi przekroczyć ustaloną wcześniej wartość progową (np. 3 w przypadku jakości naukowej i technicznej projektu, 2 przy zasobach, partnerstwie i zarządzaniu projektem), aby mógł być dalej rozpatrywany. Na podstawie pięciu głównych ocen oblicza się średnią ważoną (wagi poszczególnych ocen zależą od konkretnego programu i akcji kluczowej). Niekiedy wpisujemy też komentarz sugerujący np. modyfikacje propozycji projektu bądź współpracę z innymi projektami.

Na podstawie przygotowanych przez nas opinii urzędnicy Komisji Europejskiej przygotowują listy projektów z zaznaczeniem ich priorytetów, przygotowują decyzje o odrzuceniu części projektów, a także prowadzą negocjacje z twórcami wstępnie przyjętych propozycji. Komisja podejmuje ostateczne decyzje o finansowaniu bądź odrzuceniu projektów. Zakłada się przy tym, że nie wszystkie fundusze przewidziane na dane wezwanie do składania projektów muszą być wykorzystane (np. gdy poziom zgłoszonych i przyjętych w postępowaniu ewaluacyjnym propozycji nie jest dostatecznie wysoki).

Okazją do szerszej wymiany poglądów i nawiązania kontaktów są wspólne obiady i kolacja jednego z wieczorów. Spośród kilkunastu osób z całej Europy zaangażowanych w ocenę kilku akcji kluczowych przeprowadzaną tego tygodnia byłem jedyną osobą spoza UE.

ISTOTNE RÓŻNICE

Chciałbym zwrócić uwagę na niektóre istotne różnice w sposobie oceny w porównaniu z procedurami Komitetu Badań Naukowych. Pierwszą fundamentalną różnicą jest fakt ustalenia przez Komisję Europejską wyraźnych priorytetów badawczych. Projekt, nawet bardzo dobrze umotywowany i przygotowany, który nie mieści się w obszarach priorytetowych, nie ma żadnych szans na finansowanie. Natomiast w projektach finansowanych przez KBN często się zdarza, że dotację otrzymują projekty słabo związane z dziedzinami najbardziej istotnymi w rozwoju Polski tylko dlatego, że otrzymały nieznacznie wyższą ocenę od projektów o kluczowym znaczeniu dla naszego kraju. Istnieją, co prawda, tzw. projekty zamawiane KBN, ale ich znaczenie jest w praktyce ograniczone.

Projekty europejskie znacznie odróżnia od typowych projektów badawczych KBN konieczność istnienia konsorcjum badawczego, a także ich praktyczne ukierunkowanie (przypomina to tzw. projekty celowe KBN). Inną istotną różnicą jest to, że projekty KBN są oceniane głównie korespondencyjnie (w przypadku projektów europejskich zdarza się to tylko sporadycznie), co nie sprzyja poufności, a przede wszystkim prowadzić może do przypadkowości ocen końcowych (nie ma spotkania recenzentów poświęconego wypracowaniu wspólnej oceny). Pewną rolę uzgadniającą w KBN spełnia zbiorcza ocena członka sekcji, a także tajne głosowanie jej członków. Trudno tu jednak mówić o rzetelnej dyskusji, gdy w ciągu kilku godzin trzeba przeprowadzić nieraz kilkadziesiąt takich głosowań. W przypadku projektów Komisji Europejskiej ocenialiśmy i uzgadnialiśmy oceny tylko 2 projektów dziennie (3-4 godziny na jeden projekt).

Prof. dr hab. inż. Andrzej Jajszczyk jest profesorem w Katedrze Telekomunikacji Akademii Górniczo-Hutniczej w Krakowie.

Komentarze