Wystąpienia konferencyjne są niezwykle ważnym elementem pracy naukowców i niezbędnym czynnikiem ekosystemu nauki na świecie. By dać szansę należytego rozwoju polskiej nauki, należy utworzyć polski ranking konferencji naukowych, obejmujący najważniejsze z nich we wszystkich dyscyplinach i poddyscyplinach naukowych. Wszyscy polscy naukowcy powinni móc czynnie uczestniczyć w konferencjach na równych i sprawiedliwych zasadach.
Konferencje wyłącznie dla informatyków?
Czy polska nauka ma szansę na rozwój w takich warunkach?
Jerzy Domżał, Robert Wójcik
Przed reformą ministra Jarosława Gowina, podczas ewaluacji jednostek naukowych, punktowane były publikacje konferencyjne indeksowane w bazie Web of Science. Przyznawano wtedy 15 punktów za publikację (najwyżej punktowane czasopisma otrzymywały 50 pkt.). Jednakże, w obecnym systemie, punktowane są publikacje konferencyjne zgodnie z rankingiem konferencji ICORE. To australijska baza konferencji ważnych z punktu widzenia informatyki australijskiej. Została ona stworzona jako przewodnik dla naukowców z Australii i okolic zajmujących się naukami informatycznymi. Jej twórcy podają [“Advice on use of the CORE conference rankings”, Rankings Advisory Committee of Alan Fekete, John Grundy, Maria Garcia De La Banda, Michael Winikoff, Shazia Sadiq and Rankings Co-ordinator Lin Padgham. Approved by CORE exec August 2021. Available at https://portal.core.edu.au/conf-ranks/], że :
(a) jakość publikacji może być jednym z czynników oceny konferencji, jednak w większości przypadków to skala zainteresowania jest głównym kryterium wpływającym na ocenę;
(b) używanie rankingu jako jedynego kryterium przy podejmowaniu decyzji o wysłaniu artykułu nie jest rekomendowane;
(c) ocena jakości działalności naukowej danej osoby na podstawie tylko rankingu konferencji jest niewłaściwym podejściem.
Baza ICORE nie została utworzona w Australii po to, by stała się obowiązującym prawem w Polsce. Wprowadzenie tego rankingu jest ukłonem w kierunku informatyków, jednak wprowadza ogromne niesprawiedliwości w stosunku do pozostałych polskich naukowców, szczególnie w dyscyplinie naukowej informatyka techniczna i telekomunikacja.
Należy zauważyć, że równoważną dla informatyki technicznej częścią nazwy dyscypliny naukowej informatyka techniczna i telekomunikacja jest telekomunikacja. Dość powiedzieć, że angielska nazwa tej dyscypliny to Information and Communication Technologies (ICT), co w języku polskim oznacza wprost teleinformatykę, a nie informatykę techniczną i telekomunikację. Brak spójności terminologicznej jest również bliżej nieuzasadnionym ukłonem w stronę informatyki. Warto także zauważyć, że konferencje telekomunikacyjne nie są ujęte w bazie ICORE lub są w niej absolutnie niesprawiedliwie zmarginalizowane. Powoduje to przyznanie części naukowców z dyscypliny punktów za ich publikacje konferencyjne, a pozostałym nie. To, zamierzone bądź nie, wzmacnianie informatyki względem telekomunikacji powoduje, że w nieformalnym odczuciu „na rynku” dyscyplin naukowych funkcjonują po prostu dwie informatyki (jest przecież jeszcze osobna dyscyplina informatyka), a telekomunikacja jest niespecjalnie chcianą dostawką. Tak jest oczywiście w Polsce, bo na świecie telekomunikacja, a szerzej teleinformatyka to jedna z najprężniej rozwijających się dyscyplin naukowych, ze stałym ogromnym potencjałem w zakresie wdrażanych innowacji. Polskie podejście prowadzi do tego, że przykładowo w AGH naukowcy zatrudnieni w Instytucie Telekomunikacji, a więc zajmujący się wprost naukowo telekomunikacją, nie są reprezentowani na żadnym decyzyjnym stanowisku (takie są dwa) w dyscyplinie informatyka techniczna i telekomunikacja od początku jej istnienia i to pomimo faktu, że reprezentują najliczniejszy wydział w tej dyscyplinie. Źle skonstruowana dyscyplina wpływa jednak destrukcyjnie nie tylko na telekomunikację, ale też na samą informatykę. Ten niekorzystny wpływ wynika wprost z faktu źle położonych akcentów w zakresie publikowania. Zbyt wysoka punktacja za zdecydowaną większość publikacji konferencyjnych, przy jednoczesnym znacznie wyższym współczynniku akceptacji artykułów względem wiodących czasopism, sprawia, że polscy informatycy znacznie chętniej publikują na konferencjach niż w czasopismach. A to ma już, w międzynarodowym ujęciu, bardzo niekorzystny wpływ na rozwój polskiej nauki. Wystarczy wspomnieć o międzynarodowych ekspertach oceniających wnioski grantowe w NCN, którzy jednoznacznie wyżej oceniają publikacje z czasopism niż z konferencji. Podobnie jest w grantach ERC i całym ekosystemie światowej nauki. Awansu polskich uczelni w międzynarodowych rankingach uczelni też nie sposób się dopatrzeć w ostatnich latach.
Dlaczego wykorzystanie bazy ICORE nie jest dobrym rozwiązaniem?
W poddanym pod konsultacje projekcie rozporządzenia ministra nauki w sprawie sporządzania wykazów wydawnictw monografii naukowych oraz czasopism naukowych i recenzowanych materiałów z konferencji międzynarodowych z dn. 31.10.2024 r. zapisano m.in., że „W ramach dyscypliny naukowej informatyka oraz dyscypliny naukowej informatyka techniczna i telekomunikacja w wykazie czasopism będą ujmowane materiały z konferencji. W dyscyplinach tych najważniejszą formą aktywności naukowej są wystąpienia konferencyjne, dokumentowane w postaci artykułów opublikowanych w prestiżowych i uznawanych na całym świecie materiałach z konferencji.”. Jest to stwierdzenie, z którym trudno się zgodzić z uwagi na fakt, że powszechnie uznaną za najważniejszą formą publikacji wyników badań naukowych są artykuły w czasopismach, w tym przede wszystkim z listy JCR. Informatyka i telekomunikacja są ważnymi gałęziami nauki, jednak nie wyróżniają się szczególnie pod tym względem. Jak w każdej innej dyscyplinie naukowej, konferencje są ważne, ale na pewno nie ważniejsze od najlepszych czasopism, a przynajmniej zdecydowana większość z nich ma rangę niższą niż czasopisma. Trudny do wytłumaczenia jest zatem fakt wyróżnienia tylko tych dwóch dyscyplin, co jednocześnie oznacza, że w pozostałych dyscyplinach za artykuły konferencyjne nie będą przyznawane punkty. Chyba nikogo realnie uprawiającego naukę nie trzeba przekonywać jak ważny jest udział w konferencjach i jak wiele pożytku przynosi nauce obecność polskich naukowców w międzynarodowych gremiach. Dziś tej szansy większość naukowców w Polsce jest zwyczajnie pozbawiona. Co gorsza, wskazanie wyłącznie jednego rankingu – ICORE – w dodatku z punktacją odpowiadającą najlepszym czasopismom, nie wpływa korzystnie na rozwój polskiej nauki, nawet w informatyce.
Propozycja zmiany
W dn. 14.11.2024 r.. została utworzona petycja do ministra nauki o uwzględnienie punktowanych konferencji naukowych we wszystkich dyscyplinach naukowych w Polsce. Jest ona dostępna pod linkiem: https://www.petycjeonline.com/petycja_do_ministra_nauki_o_uwzgldnienie_punktowanych_konferencji_naukowych_we_wszystkich_dyscyplinach_naukowych_w_polsce#form
Zachęcamy do składania podpisów pod tą petycją. Przed upływem terminu konsultacji rozporządzenia zostanie ona przekazana Ministrowi Nauki.
Dr hab. inż. Jerzy Domżał jest profesorem uczelni w Instytucie Telekomunikacji AGH. Specjalizuje się w sieciach IP ze szczególnym uwzględnieniem gwarantowania jakości obsługi i sterowania przeciążeniami.
dr hab. inż. Robert Wójcik jest profesorem uczelni w Instytucie Telekomunikacji AGH. Specjalizuje się w inżynierii ruchu, w tym w zagadnieniach związanych z transmisją wieloma trasami i sieciami sterowanymi programowo.
Dlaczego drodzy informatycy tak bardzo hejtujecie tę propozycję? Autorzy przecież zaznaczyli, że dopuszczają wyższą punktację dla wąskiego grona najlepszych publikacji konferencyjnych. Naprawdę uważacie, że w informatyce jest 60 konferencji zasługujących na 200 pkt, i kolejne 120 konferencji na 140 pkt? Zdecydowana większość z nich ma przecież przeszacowaną punktację i tu autorzy mają 100% racji. Sami informatycy to przyznają się z tego śmieją. Istotą tej petycji jest chyba jednak głównie rozszerzenie zakresu konferencji. To też wam przeszkadza? Wy macie 60 konferencji za 200 pkt. i kolejne 60 czasopism za 200 pkt. Telekomunikacja ma niecałe 50 czasopism za 200 pkt. i brak konferencji A jesteście w jednej dyscyplinie, która ma łączyć a nie dzielić. Fajnie tak?
60 konferencji na całym świecie nie wydaje się przesadzoną liczbą biorąc pod uwagę szerokość dyscypliny - obecnie jako "informatyka" zakwalifikowane są rzeczy od inżynierii sprzętu, przez programowanie, informatykę teoretyczną (której bliżej do matematyki), inżynierię danych, uczenie maszynowe (chyba najszybciej rozwijająca się gałąź nauki w ogólności), po sieci komputerowe i telekomunikację. To tak, jakby do elektroniki ktoś wliczył całą metalurgię bo kable są z metalu i połowę czasopism fizyki bo przecież elektronika to szczególny przypadek równań Maxwella ;).
Problem raczej z tym, że podział informatyka/informatyka techniczna to fikcja - chyba wszystkie konferencje są przypisane do obydwu, a takie uczenie maszynowe nie do końca wiadomo w której dyscyplinie jest (różne uczelnie mają inne podejście). Uważam, że podział na dyscypliny jest sztuczny i należałoby go znieść, a nie używać jako miarkę ilości czasopism/konferencji. Należy patrzeć w drugą stronę - jesli gdzieś jest za dużo pozycji to pewnie dana dyscyplina jest zbyt szeroko zdefiniowana.
Autorzy tekstu wspominają o ERC. Co ciekawe, w informatyce Polacy otrzymujący granty ERC na ogół publikują w dużym stopniu na konferencjach ocenianych przez ICORE jako A*. O ile wiem w telekomunikacji żadnych grantów ERC w Polsce nie było.
Co chciał pan dowieść tym tekstem?
Zgodność ICORE z najwyższymi standardami w ocenie badań w informatyce, stosowanymi w Europie i na świecie.
Chyba inaczej rozumiemy słowo "dowód." A nawet jeżeli owa organizacja zasługuje na natychmiastowe wniebowstąpienie - jaki ma to związek z manifestem panów Domżała i Wójcika?
Krótki komentarz to nie elaborat. Jeśli będziemy deprecjonować ICORE i konferencję, to polska informatyka będzie oddalać się od światrowej, bo ta światowa jest z ICORE spójna. Tak więc postulat Panów Domzala i Wójcika jest wprost szkodliwy dla rozwoju informatyki.
Oczywiście. Jeśli ustalona kwota jest przeznaczona na finansowanie informatyki i telekomunikacji, to każda złotówka wydana na telekomunikację zubaża informatykę, więc można powiedzieć, że finasowanie telekomunikacji jest wprost szkodliwe dla rozwoju informatyki. Państwo polskie musi tylko zdecydować, czy chce rozwijać jedynie informatykę czy może też telekomunikację. A może też fizykę, matematykę, historię a może nawet (kto wie?) archeologię śródziemnomorską?
O ile wiem kwoty przyznawane na finansowanie poszczególnych dyscyplin w Polsce nie zależą od liczby zebranych punktów w ramach tych dyscyplin.
Owszem zależą. W ślad za zdobytą liczbą punktów uzyskuje się kategorię, a ta w algorytmie przekłada się na pieniądze. Nagrody przyznaje się za punkty.
Bzdury na resorach Pan pisze. Autorzy nie postulują zakazu wyjazdu na konferencje, a wręcz odwrotnie domagają się, by wszyscy mieli taką możliwość. Ścięcie punktów dla większości konferencji za obecne 200 i 140 pkt. nie zabije informatyki, a będzie zwyczajnie sprawiedliwe względem innych. Jeśli konferencja spadnie z 200 na 100 pkt lub 140 pkt to już przestanie być wartościowa dla informatyków? Co za bzdura :) Przecież świat dalej będzie wiedział, że to najlepsza konferencja na świecie, której żadne czasopismo nie dorówna :)
Oczywiście, że świat i informatycy dalej będą publikować na najlepszych konferencjach. Robiliśmy to także gdy były za 0 punktów. W efekcie granty ERC w informatyce są i regularnie się pojawiają. Ile ich przyznano w elektronice? Ile w telekomunikacji?
@~Profesor PAN Obawiam się, że prof. Pawlak żył i publikował w innych czasach niż obecne. Proces badawczy zmienił się znacząco przez ostatnie pół wieku, proszę sobie to uświadomić i się przyzwyczaić. O maszynie Pawlaka z resztą też już nikt nie pamięta, a i zbiory przybliżone wykładane są jedynie na przedmiotach typu "historia informatyki polskiej".
Dziwne, zmarły prof. Pawlak nie uznawał za swe największe osiągnięcia obecności na kilku konferencjach i otrzymania kilku grantów, nie pamiętam nawet, czy się o granty starał. Był bardzo skromną osobą ale znał wartość swych osiągnięć: zbiorów przybliżonych i maszyny Pawlaka. Czy czasy takich uczonych jak Pawlak już minęły?
Nie wiem, pewnie żadnego. Podobnie jak żadnego dla informatyka publikującego wyłącznie na konferencjach. Ale jakie to w ogóle ma znaczenie w kontekście tematu dyskusji? Gratulujemy wam grantów ERC. Ale może porównamy liczby wdrożeń waszych rozwiązań i rozwiązań elektroników do przemysłu? Tak samo byłoby to "mądre" w kontekście komentowanego tekstu. A grantów z NCN elektronicy mają znacznie więcej niż informatycy - i to też niczego nie dowodzi :) Wziął Pan na wokandę najmniej istotny fragment tego tekstu, a meritum skutecznie Pan pomija. Warto, żeby było sprawiedliwie czy nie? 60 konferencji informatycznych zasługuje na 200 pkt, a kolejne 120 na 140 pkt? Tak czy nie?
Czym innym jest uzyskanie punktów w oparciu o artykuły konferencyjne a czym innym ustanowienie w oparciu o konferencje trzonu swojego dorobku naukowego - bo o to rozumiem chodzi autorom. Jeśli w innych dyscyplinach nie ma punktów za udział w konferencji, z wiadomych powodów ich liczba w dyscyplinie zmniejsza się, a co za tym idzie kontakty, wymiana wiedzy itd. Z jakiego powodu TYLKO jedna dyscyplina naukowa uzyskała możliwość rozwijania się w oparciu o konferencje z zagranicznej listy, nie uznanej przez większość krajów? Bo tak jest taniej i efektywniej :) - polscy informatycy mają maksymalną liczbę punktów (nawet za 2 stronicowy artykuł). Eldorado dla jednych, a reszta niech sobie radzi na znacznie gorszych warunkach i z większą konkurencją. Najtrudniej ma telekomunikacja, która będąc w jednej dyscyplinie z informatyką i informatyką techniczną (ten podział już powoduje, że przynależność do obu informatyk zwiększa liczbę artykułów i punktów na naukowca) nie mogąc jeździć na wartościowe konferencje związane z teleinformatyką czy telekomunikacją (bo nie ma ich w bazie CORE) nie konkuruje z informatykami na uczciwych zasadach. Albo trzeba opracować europejską bazę konferencji punktowanych dla wszystkich, albo dać wszystkim równe warunki rozwoju.
> Jeśli w innych dyscyplinach nie ma punktów za udział w konferencji, z wiadomych powodów ich liczba w dyscyplinie zmniejsza się
Biorąc pod uwagę, że z listy konferencji za 200 pkt. żadna nie jest konferencją polską (co najwyżej cieszymy się, jak jest jakiś Polak w komitecie bo to już duży sukces) to wydaje się, że ich liczba od polskiego systemu punktowania nie zależy ;)
> nie uznanej przez większość krajów
Tylko nieliczne kraje mają tak sformalizowany system ewaluacji jak my, takie USA nie muszą "uznawać" oficjalnie żadnego rankingu.
> polscy informatycy mają maksymalną liczbę punktów (nawet za 2 stronicowy artykuł)
Bez przesady, artykuły konferencyjne z informatyki mają zwykle od 7 do 14 stron głównego tekstu plus do kilkudziesięciu stron załączników (dowody matematyczne, dodatkowe analizy), do tego często kod źródłowy implementacji przy wynikach eksperymentalnych. Nawiasem mówiąc to nie ilość stron stanowi o wadze osiągnięcia, skończmy ze zwyczajem, że książka na 200 stron jest lepsza od artykułu na 10 stron tylko dlatego, że autor rozpisał się bardziej nad tymi samymi wynikami.
> nie konkuruje z informatykami na uczciwych zasadach.
To może problem jest jednak z tym, że musi konkurować w pierwszym miejscu?? Dlaczego cała dyskusja począwszy od samej petycji jest na zasadzie "tylko żeby sąsiad nie miał lepiej niż ja"? Może warto się zastanowić nad indywidualnymi zasadami dla każdej dyscypliny i np. wydzielić telekomunikację z informatyki technicznej?
"Bez przesady, artykuły konferencyjne z informatyki mają zwykle od 7 do 14 stron głównego tekstu plus do kilkudziesięciu stron załączników"
Tu nie ma żadnej przesady. Poster na forum czy workshopie przypisanym do konferencji A* na dokładnie te same 200 co full paper w proceedingsach konferencji właściwej. I jest to wykorzystywane nagminnie.
Pomijając inne kwestie,
"> nie konkuruje z informatykami na uczciwych zasadach.
To może problem jest jednak z tym, że musi konkurować w pierwszym miejscu?? Dlaczego cała dyskusja począwszy od samej petycji jest na zasadzie "tylko żeby sąsiad nie miał lepiej niż ja"? Może warto się zastanowić nad indywidualnymi zasadami dla każdej dyscypliny i np. wydzielić telekomunikację z informatyki technicznej?"
To jest właśnie kwintesencja problemu i jego źródło. Skoro sąsiad ma lepiej, to lepiej wypadnie w każdej kategoryzacji, w każdym konkursie, w każdym porównaniu. Może Pan chciałby mieć wspólne konto bankowe z sąsiadem z mieszkania obok, na które wpływałyby wasze jednakowe pensje, ale sąsiad miałby prawo wypłacić zawsze 4 razy tyle co Pan. Przecież to świetny układ. Polecam.
Myli Pan źródło problemu z efektami. Nikt niczego słusznie przyznanego nie chce zabierać informatykom. Problem jest w tym, że informatycy sami widzą, że system jest nieuczciwy i mocno, niewspółmiernie korzystny dla nich. Ale za nic w świecie nie chcą zrezygnować nawet z ułamka tych niesłusznie przyznanych przywilejów. I w tym jest problem.
I owszem, najlepiej byłoby wydzielić telekomunikację z tej toksycznej dyscypliny. Prof. Domżał już o tym też pisał https://forumakademickie.pl/sprawy-nauki/dlaczego-telekomunikacja-powinna-byc-osobna-dyscyplina-naukowa/
I co? Jakikolwiek odzew ze strony informatyków? Żaden. Ani kompromisu i równych zasad w dyscyplinie ani rozdzielenia dyscyplin - najlepiej niech zostanie tak jak jest, bo informatycy mają świetnie. To zwykły egoizm i brak uczciwości.
W naszej dyscyplinie na szczęście takich nierówności nie mamy, ale brak konferencji dla elektroników też jest nieuczciwy. Boimy się tylko, że jak nam zostaną dodane (zwrócone), to się informatycy obrażą.
Z jakiego powodu TYLKO jedna dyscyplina naukowa uzyskała możliwość rozwijania się w oparciu o konferencje z zagranicznej listy, nie uznanej przez większość krajów?
Chyba jest oczywiste: przedstawiciele tej dyscypliny byli blisko ucha tego, co decyduje. Przecież Polską rządzą lobbyści.
Ciekawe kto będzie finansował te konferencje..
Ciekawe kto dziś finansuje konferencje informatyków.
Napięcia wewnątrz dyscypliny Autorów to jedno. Proszę sobie jednak wyobrazić, jak CORE z masą konferencji 200-punktowych, na których pojawiają się też w dużej liczbie Polacy, wpłynęła na wewnętrzne stosunki wewnątrz uczelni. W tym np. na odsetek trafiających do osób, publikujących na CORE, nagród rektora czy "środków konkursowych" z IDUB-ów. To zwykle są już całkiem przyzwoite pieniądze, jak na uczelniane standardy.
Dlatego informatycy CORE będą bronić jak przysłowiowej niepodległości.
Jasne jest, że konferencje CORE zostały wprowadzone do ewaluacji na wyraźną prośbę informatyków uniwersyteckich. Jak się cofnąć do konferencji z serii NKN, to można nawet z dużą dozą pewności wskazać nazwisk(a/o) głównego zwolennika tego pomysłu. Informatyków technicznych doklejono w ramach tzw. maskirowki, nie przejmując się konsekwencjami ani dla nich, ani dla "telekomunikantów". Domyślam się, że z punktu siedzenia ówczesnych doradców Gowina ani informatyka techniczna, ani telekomunikacja nie zasługiwały na miano poważnych nauk :-( .
W każdym razie pokazali państwo doskonały przykład, że ewaluacja jest nie tyle obiektywną miarą czyichś sukcesów naukowych, co podstawowym narzędziem polityki naukowej państwa. I że Gowin zamiast polityki przemyślanej, wprowadził do systemu szaleńca, który wyniki ewaluacji ustala, młócąc wokół siebie cepem.
Przeważająca większość osiągnięć ostatniej dekady w dziedzinie uczenia maszynowego (część informatyki technicznej) została opublikowana nie w klasycznych journalach, lecz jako artykuły konferencyjne. Od sieci residualnych (ResNet, jeden z pierwszych uniwersalnie skutecznych neuronowych modeli wizyjnych), przez sieć typu transformer (bazują na nich wszystkie dzisiejsze modele językowe, w tym GPT), po modele typu latent diffusion (generowanie realistycznych obrazów czy filmów, np. stable diffusion), autorzy tych przełomowych odkryć uznali, że właściwym miejscem ich prezentacji jest właśnie artykuł konferencyjny.
Co więcej, konferencje takie, jak NeurIPS czy ICML mają większą liczbę cytowań i przyciągają więcej zainteresowania niż dowolny journal w dyscyplinie, a konferencja CVPR ma obecnie 2 najwyższy współczynnik H5 na świecie (indeks H dla prac opublikowanych w ostatnich 5 latach), przebijając między innymi Science, The Lancet czy Cell. Zauważyć należy, że konferencje w tej dyscyplinie mają pełen proces recenzji artykułu, utrzymujący najwyższe standardy (w tym podwójnie ślepy proces recenzji, ścisłe określone kryteria oceny czy zasady unikania konfliktów interesu), a artykuły ukazują się w druku tak samo, jak w klasycznym czasopiśmie. Konferencje te są właśnie określane jako kategoria "A*" w rankingu ICORE i są uznane na całym świecie jako najlepsze.
Pod tym względem stanowisko autorów powyższego tekstu, że "Realnie większość z najlepszych konferencji można porównać do czasopism z „grupy 100 pkt.”" jest nie tyle kontrowersyjne lecz wprost **błędne**. Zakładam w dobrej wierze, że wynika to ze specyfiki ich dziedziny badań. Możliwe, że w telekomunikacji faktycznie journale mają większe znaczenie, a konferencje są jedynie wydarzeniem "towarzyskim". Taka sytuacja ma miejsce w wielu dyscyplinach, np. w wielu naukach społecznych. Natomiast sugerowałbym jednak autorom przed wyrażeniem takiego stanowiska poświęcić chwilę na zweryfikowanie czy jest ono zgodne z faktami i uwzględnia specyfikę wszystkich dyscyplin, nie mówiąc już o dziedzinach w obrębie samej informatyki technicznej.
Sieci neuronowe - moda naukowa więc cytowania, IF i h-indeksy dokładne wskazują, że ten obszar jest wyjątkowo modny.
Ne każdy się tym zajmuje więc nie wiem dlaczego ci co się tymi sieciami zajmują mają być uznawani za lepszych od tych którzy się nimi nie zajmują nie mają tylu cytowań tak wysokich IF i h-indeksów
Nikt nie twierdzi, że mają być uznawani za lepszych. Natomiast autorzy powyższego tekstu wprost twierdzą, że mają być uznawani za *gorszych* od innych, bo ich środowisko wybrało recenzowane publikacje konferencyjne, a nie klasyczne journale jako bardziej prestiżowe w dyscyplinie. W petycji bezpośrednio postulują, aby ich artykuły były warte *połowę mniej* punktów tylko dlatego, że w bibliografii jest napisane "proceedings of..." zamiast "journal of...". Co gorsza bazują to nie na naukowych danych o publikowaniu w konkretnych dyscyplinach, tylko na jak to określają "realnej wartości" publikacji (cokolwiek by to znaczyło), zaczerpniętej wydaje się w najlepszym przypadku z rękawa. Nieco zastanawiające podejście - nie ważne jaka jest specyfika innych dziedzin nauki, nie ważne czy coś ma sens czy nie, grunt żeby miarka była taka sama dla wszystkich i oparta o własne widzimisię, bo jeszcze przypadkiem sąsiad będzie mieć lepiej niż inni. W niektórych peryferiach polskiej nauki nadal najwyraźniej trzymają zasady sowieckie równania w dół.
Proszę się nie martwić, każda moda przemija. W przyszłym sezonie będzie się nosić coś innego. Kto jest tak mądry, by umieć przewidywać ludzką głupotę, będzie bardzo bogaty. Można też robić swoje i liczyć na to, że moda tam też zajrzy.
Proponuję autorom doczytać na stronach CORE, że ranking ewoluował i aktualnie promowany jest również w środowisku włoskim i hiszpańskim. Ewaluacja realizowana jest przez międzynarodowe zespoły i jest w pełni transparentna. Wbrew temu co piszą autorzy artykułu, ocena konferencji dokonywana jest głównie na podstawie obiektywnych danych pozyskiwanych z otwartych baz danych, m.in. SCOPUS, DBLP.
Nikt nie broni innym naukom niż informatyka aby utworzyły własne rankingi i zadbały o transparentność oceny. Ale karać kogoś za jego ciężką pracę, bo samemu się nie ma mocy sprawczych to patologia. Zamiast składać petycje, żalić się że ktoś ma "lepiej" proponuję zająć się ciężką pracą, bibliometria, ustalaniem transparentnych I obiektywnych zasad.
"Zamiast składać petycje, żalić się że ktoś ma "lepiej" proponuję zająć się ciężką pracą, bibliometria, ustalaniem transparentnych I obiektywnych zasad."
A można zamiast tego zająć się nauką, zwłaszcza jeśli się jest na etacie naukowym? Ciężką pracę w zakresie bibliometrii zostawiając tym, którzy za tę pracę biorą pieniądze. Czy już minęły czasy, kiedy naukowca było stać na luksus pracy naukowej?
Jakiej by punktozy nie wprowadzić, zadowolnych z niej będzie najwyżej 1% naukowców.
A co uważam o wartości materiałów konferencyjnych? Ponad 40 lat temu moja ówczesna narzeczona (która studiowała poligrafię) przyniosła mi tom materiałów konferencyjnych, na których uczyli się budowy okładki, bo autorem jednego z materiałów był promotor mojej pracy magisterskiej. Znalazłem tam jeden artykuł, który wykorzystałem w pracy doktorskiej. To był jeden jedyny raz, kiedy zajrzałem do materiałów konferencyjnych. Punktowanie ich jest nieporozumieniem.
Jak rozumiem uważa Pan, że nie należy punktować publikacji konferencyjnych na podstawie 1 artykułu, który przeczytał Pan ponad 40 lat temu?? Nie wiem co tu jest nieporozumieniem. Proponuję zerknąć np. na https://openaccess.thecvf.com/CVPR2023?day=all i ocenić jeszcze raz.
Tak, nie należy punktować materiałów konferencyjnych. Ranga ich jest przynajmniej dziesięć razy niższa niż pism periodycznych, a tych punktacja potrafi wynosić 0. Prosty rachunek 0/10=0.
Przecież to w informatyce właśnie pisma periodyczne reprezentują najniższej jakości publikacje. W porównaniu do konferencji takich jak NIPS albo CVPR takie Nature to niskiej rangi świerszczyk.
No, no no, acceptance rate obu na poziomie 25% to tak superelitarnie, że wszyscy zbledli z wrażenia...
Proszę pana, informatyka to spora nauka, być może są jej działy, w których doniesienia konferencyjne mają wartość większą niż publikacje w pismach. To jest tylko argument przeciw Centralnym-Komisjom-Wszystko-Wiedzącym, pewne (a być może nawet wszystkie) rzeczy lepiej oceniać lokalnie. Wiem tylko, że najważniejsza polska praca z dziedziny informatyki (a być może najważniejsza polska praca z całej nauki) została opublikowana w zwykłym piśmie. Mowa oczywiście o Rough Set Zdzisława Pawlaka.
Parcie na CORE (I jest tam tylko dla zmyłki) jest naprawdę zastanawiające. Przecież tą bazą zajmuje się dorywczo kilku ludzi na krzyż, opóźnienia aktualizacji miejscami przekraczają dekadę, a czasopisma zbrandowane jako "Information Systems" (bez jakiejkolwiek konsekwencji - niektóre tak, niektóre nie) z niej wyleciały. Jakby to też nie była informatyka. Są inne zestawienia, jak chociażby Qualis, ale nie - CORE i do przodu. Nie patrząc, czy przyjęto jako full paper, jako short czy cokolwiek innego...
Proszę porównać wyniki ewaluacji 2021 i 2017 wśród jednostek parających się informatyką. Nie będzie to może tak całkiem poprawne metodologicznie, bo porównywać się będzie dyscyplinę z wydziałem, niemniej, tam, gdzie to porównanie da się zrobić, różnice wyjdą gigantyczne.
Nie ma więc znaczenia, czy CORE jest aktualizowana i czy sama z siebie jest metodologicznie poprawna. Ważne, że zastosowanie akurat tego kryterium winduje kogo trzeba. Stąd to parcie.
W kontekście Qualis, to aktualizacja faktycznie jest dużo lepsza... ostatnia w czerwcu 2017 roku. W sumie jeszcze 3 lata i może dobiją do wspomnianej dekady. Dla informacji ostatnia aktualizacja CORE miała miejsce nie dekadę temu, a w tym roku.
Wiem kiedy miała miejsce i wiem jaki odsetek konferencji był "aktualizowany". Sugeruję zapisać się do zespołu roboczego, może wtedy tego typu stwierdzenia nie przejdą przez gardło bez zakrztuszenia się...