Pięciu wybitnych polskich informatyków, laureatów grantów Europejskiej Rady ds. Badań Naukowych, opublikowało 2 lutego br. list w sprawie kryteriów oceny publikacji z dziedziny informatyki. Uważamy, że to bardzo ważny głos w dyskusji o polskiej nauce, a propozycje badaczy, którzy prowadzą prace na najwyższym światowym poziomie, powinny zostać uwzględnione w krajowej praktyce oceny badaczy i jednostek naukowych (w przyszłości – uczelni).
red
List Otwarty (Pięciu) Informatyków
Do napisania tego listu skłoniła nas słodko-gorzka informacja wynikająca z niedawno opublikowanych statystyk Europejskiej Rada ds. Badań Naukowych (ang. European Research Council, ERC), zawierająca załączony poniżej rozkład przyznanych w 2017 roku grantów Consolidator Grant z podziałem na kraje.
Z jednej strony informacja jest dla nas dobra, bo to jeden z nas otrzymał ten grant, z drugiej strony jest to jedyny grant, który został przyznany Polsce.
Granty ERC są jednym z flagowych programów finansowania nauki w Unii Europejskiej. Kryteriami ich przyznawania są wyłącznie merytoryczna wartość projektów oraz dorobek ich kierowników. Z tego powodu liczba uzyskanych grantów ERC stała się w ostatnich latach jednym z ważnych kryteriów jakości europejskich jednostek naukowych. W tym roku mija 10 lat od momentu, kiedy został przyznany pierwszy grant ERC i należy podkreślić, że powyższa statystyka jest typowa i w każdym konkursie Polska otrzymuje znikomą liczbę tych trofeów. Naszym zdaniem, podobnie jak pułapka średniego dochodu jest uważana za główną przeszkodę w Strategii na Rzecz Odpowiedzialnego Rozwoju, tak dla polskiej nauki głównym problemem wydaje się być jej mierność, potwierdzona przez statystyki ERC.
Jest wiele przyczyn tego zjawiska, w tym również takie, które trudno zmienić jedną decyzją administracyjną. Jednakże naszym zdaniem, istnieje jedna zmiana, która mogłaby poprawić sytuację w dziedzinie, którą reprezentujemy, czyli informatykę. Zmiana ta jest prosta do wprowadzenia i „bezkosztowa”. Jest nią reforma systemu parametrycznej oceny publikacji przez wysokie punktowanie publikacji w recenzowanych sprawozdaniach konferencyjnych (Poruszaliśmy już tę kwestię w liście do Przewodniczącego Komitetu Ewaluacji Jednostek Naukowych z dnia 09.09.2014, który uzyskał silne poparcie kilku wiodących jednostek naszego środowiska, ale niestety nie został rozpatrzony pozytywnie.). Informatyczne publikacje konferencyjne, ignorowane przez obecny system oceny, przechodzą przez rygorystyczny proces selekcji opartej na kilku recenzjach i publikowane są w sprawozdaniach konferencyjnych w formie, która jest równoważna publikacjom w czasopismach. Możemy z całą stanowczością powiedzieć, że proces recenzji prac na konferencjach jest przeprowadzony w wyższym standardzie, niż np. typowej pracy z fizyki wysłanej do czasopisma (Jeden z nas, Piotr Sankowski, jest też fizykiem.). W szczególności ocena pracy informatycznej jest wynikiem dyskusji panelu ekspertów. Uważamy, że uwzględnienie – na poziomie odpowiadającym ich znaczeniu – najważniejszych konferencji w ocenie pozwoliłoby na dokonanie jakościowego skoku w poziomie badań w informatyce w Polsce. Taka zmiana jasno pokazałaby, szczególnie młodym badaczom, co ma znaczenie i jakie publikacje są kluczowe w drodze po granty ERC. W szczególności my, laureaci grantów ERC, publikujemy mało prac w czasopismach, ogłaszając większość wyników naszych badań na konferencjach, co nie było przeszkodą w ocenie paneli ekspertów ERC.
Taka zmiana zdecydowanie pomogłaby informatyce. W ocenie naukowców fundamentalne jest rozpoznanie i wyróżnienie nawet niewielu osiągnięć wybitnych, na tle dużej liczby prac średnich i słabych, które służą tylko „wyrabianiu” punktów. W naszym środowisku takie prace wybitne publikowane są przede wszystkim na flagowych konferencjach i często nie doczekują późniejszej publikacji w czasopiśmie. Naszym zdaniem, bez diametralnych zmian w ocenie osiągnięć informatyka polska zostanie skazana na kolejne dziesięciolecia mierności, a bez wyraźnej konfrontacji z zagranicą przepaść pomiędzy liderami statystyk ERC a Polską się nie zmieni. Dziesięć lat działania ERC to bardzo długi okres dla nauki, bo oznacza, że w tym czasie zostały wypromowane dwie generacje doktorów. Okres ten został w Polsce zmarnowany, bo tak jak 10 lat temu, tak i teraz te nowe pokolenia badaczy nie są w stanie z powodzeniem aplikować o granty ERC.
Warto zaznaczyć, że Ustawa 2.0 przewiduje wyższe zróżnicowanie w punktacji między średnimi a najlepszymi publikacjami i jest to krok w dobrym kierunku, jednak prawdopodobnie nie doprowadzi do zmiany jakościowej, a tylko ilościowej, bo „mistrzowie Polski” pozostaną „mistrzami Polski”. Co więcej – i to jest główną motywacją, dla której piszemy ten list – w ferworze zmian zostanie przegapiony problem informatyki i ważności dla niej publikacji konferencyjnych.
Sygnatariusze tego listu otrzymali 8 z 27 wszystkich przyznanych Polsce grantów ERC, co stanowi aż 30-procentowy wkład. Wszyscy jesteśmy informatykami i pracujemy w tym samym miejscu ‒ Instytucie Informatyki Uniwersytetu Warszawskiego. Za ten stan rzeczy odpowiada mądrość kierownictwa Instytutu (wieloletnim dyrektorem instytutu był prof. Krzysztof Diks, który od 2016 pełni obowiązki przewodniczącego Polskiej Komisji Akredytacyjnej), które jasno mówiło, że naszym celem jest publikowanie na najlepszych konferencjach informatycznych, a nie zbieranie punktów „ministerialnych”, słusznie ucząc nas i naszych młodych kolegów, że najważniejsze jest to, jak oceniają nas koledzy z innych dobrych ośrodków, a nie tabelka policzona przez algorytm stworzony przez ministerstwo.
Istotność informatyki i co za tym idzie ważność tego problemu nie tylko jest pochodną dotychczasowych sukcesów, ale też ogromnego jej znaczenia w rozwoju współczesnej technologii, gdzie właściwie każdy przedmiot zaczyna być „smart”. Dlatego też niniejszym chcielibyśmy przypomnieć naszą propozycję zmian zawartą w liście z dnia 09.09.2014.
Propozycja zmian
Uważamy, że ministerialna lista czasopism powinna zawierać również konferencje informatyczne. Proponujemy, aby ocenę publikacji konferencyjnych stworzyć na podstawie listy rankingowej publikowanej przez Computing Research and Education Association of Australasia (CORE –- http://www.core.edu.au/index.php/conference-rankings). Ranking ten został stworzony na potrzeby oceny uczelni przez Australian Research Council w ramach Excellence in Research for Australia (ERA) evaluation (http://www.arc.gov.au/era/era_2010/era_2010.htm), a także stanowił ważny element oceny prac z informatyki w ramach Research Assessment Exercise w Wielkiej Brytanii. Choć, jak to zwykle bywa w takich sytuacjach, jest on wynikiem pewnego kompromisu i sami nie zgadzamy się z nim w stu procentach, to generalnie uważamy go za dość miarodajny. Ponieważ próba jego modyfikacji otworzyłaby pole do długich dyskusji, to sugerujemy, aby przyjąć go za obowiązujący w Polsce bez żadnych zmian, zostawiając stworzenie polskiego rankingu jako ewentualne zadanie na przyszłość.
W ramach rankingu CORE wszystkie publikacje otrzymują kategorie A*, A, B, oraz C. W przypadku konferencji kategorie te oznaczają:
Dla przykładu konferencje z kategorii A* grają wiodącą rolę w każdej z poddziedzin informatyki i każdy informatyk śledzi listę prac przyjętych na niektóre z nich. Dlatego, ze względu na rolę, jaką grają te konferencje w środowisku informatycznym, trzeba je porównywać do najlepszych czasopism w dziedzinie i w związku z tym proponujemy następującą punktację za publikacje konferencyjne uwzględnione na liście CORE:
Jesteśmy też świadomi tego, że uwzględnienie konferencji informatycznych w rankingach ministerialnych może wywołać naciski ze strony pozostałych naukowców na dodanie do nich również innych konferencji. Dlatego chcemy wyraźnie podkreślić, że sytuacja w informatyce jest wyjątkowa i generalnie nie popieramy podobnego ruchu w przypadku innych dziedzin.
Z wyrazami szacunku,
prof. Mikołaj Bojańczyk
dr Marek Cygan
dr hab. Stefan Dziembowski
dr hab. Marcin Pilipczuk
dr hab. Piotr Sankowski