W „Nature” ukazał się artykuł pokazujący skalę ukrytego wykorzystania ChatGPT w pisaniu prac naukowych. Jego autorka powołuje się m.in. na badania dr. hab. Artura Strzeleckiego z Uniwersytetu Ekonomicznego w Katowicach, który jako pierwszy udokumentował takie przypadki w czasopismach z najwyższej ćwiartki rankingu Scopus.
Przypomnijmy, analiza przeprowadzona przez dr. hab. Artura Strzeleckiego z Katedry Informatyki na Uniwersytecie Ekonomicznym w Katowicach miała na celu sprawdzenie, jak w najlepszych (według wskaźników bibliometrycznych) czasopismach wygląda proces recenzji i akceptacji publikacji zawierających fragmenty wygenerowane za pomocą sztucznej inteligencji. Badacz wykazał, że w coraz większej liczbie publikacji naukowych pojawiają się fragmenty dialogów z chatbotami. Zidentyfikował 89 artykułów indeksowanych w pierwszym i drugim kwartylu według wskaźnika CiteScore publikowanego przez Scopus.
Jeszcze dwa lata temu najczęściej wskazywano na frazę Regenerate response. Obecnie zidentyfikowano już kilkanaście różnych pozostałości, takich jak np. As of my last knowledge update, które jednoznacznie potwierdzają, że tekst został częściowo wygenerowany za pomocą AI. Tego typu artykuły przechodzą pełny proces recenzji: są czytane przez recenzentów, zatwierdzane przez redaktorów prowadzących, a także poddawane korekcie językowej. Mimo to, ani na etapie tworzenia, ani podczas recenzji, fragmenty dialogów z AI często pozostają niezauważone – pisał w styczniu dla „Forum Akademickiego”.
Między innymi do jego badań odwołuje się autorka artykułu, który ukazał się wczoraj w „Nature”. Zwraca uwagę, że naukowcy (oprócz Strzeleckiego to m.in. Alex Glynn z University of Louisville w Kentucky) ujawnili charakterystyczne frazy, takie jak „As an AI language model” czy „Regenerate response”, w setkach publikacji z różnych dziedzin, zdradzające udział ChatGPT w ich powstaniu. Podnosi także problem ryzyka kaskady błędów – nieujawnione wtręty AI są już cytowane w literaturze, co może multiplikować niezweryfikowane informacje. Jak zauważył A. Strzelecki, problem ten dotyczy wielu dyscyplin naukowych, m.in. medycyny, informatyki, nauk technicznych, socjologii, edukacji, ekonomii czy zarządzania.
„Nature” donosi również o zjawisku tzw. cichej korekty, czyli usuwania przez wydawców chatbotowych fraz z już opublikowanych artykułów bez oficjalnych errat.
Sposób reagowania czasopism i wydawców na wykrycie fragmentów AI w publikacjach jest zróżnicowany. Wydawcy stosują różne podejścia: wycofywanie artykułów, publikowanie korekt i oznaczanie zmodyfikowanych tekstów, wskazywanie artykułów jako potencjalnie wygenerowanych przez AI bez dokonywania zmian w ich treści, a także tzw. stealth correction. Ten ostatni przypadek, polegający na usuwaniu fragmentów dialogów z AI bez oznaczenia zmiany, budzi szczególne kontrowersje. Tego typu praktyki można zaobserwować, porównując oryginalny tekst z poprawionym – pisał u nas naukowiec z Uniwersytetu Ekonomicznego w Katowicach.
Redaktorzy „Nature” skontaktowali się z wydawcami, m.in. Springer Nature, Taylor & Francis, IEEE, którzy poinformowali, że wszystkie oflagowane artykuły są obecnie sprawdzane.
MK
Jak treści generowane przez AI przedostają się do renomowanych czasopism?
No dobra.. Czytam ja w tym artykule iż:
"Jeszcze dwa lata temu najczęściej wskazywano na frazę Regenerate response. Obecnie zidentyfikowano już kilkanaście różnych pozostałości, takich jak np. As of my last knowledge update, które jednoznacznie potwierdzają, że tekst został częściowo wygenerowany za pomocą AI."
Autor twierdzi, że użycie frazy "regenerate response" *jednoznacznie potwietdza, że tekst został częściowo wygenerowany za pomocą AI". A skąd autor to wie? To czlowiek nie może użyć takiej frazy? To jest zakazane? Bo tak na logikę oznaczaloby to, że sam autor napisał swój tekst za pomocą AI, bo przecież użył w swym tekście frazy "regenerate response". Czy on jednak może jej używać bez podejrzewania o korzystanie z AI, ale inni już nie?
Ja wykorzystuje chat do tłumaczenia. Co w tym zdrożnego. To jest tylko narzędzie. Nic poza tym.
Mam wrażenie że polskie środowiska akademickie popadają w panikę moralną w kwestiach AI tak jakby zagrażał im ten świetny kompilator i tłumacz języka angielskiego. Mam nadzieję że to tylko kwestia nieuzasadnionej niskiej samooceny w polskiej nauce i że mają oni coś więcej do zaoferowania niż to co robią LLMy.
Ten komentarz jest dofinansowany ze środków Unii Europejskiej i wygenerowany za pomocą SI.
@Babajaga, a artykuł czytała czy ograniczyła się do nagłówka? Bo tu nie chodzi o polskich naukowców i ich samoocenę.
A czemu wpadają? Chat GPT zabiera pracę tłumaczą i ludziom którzy przedtem zajmowali się kompilowaniem informacji z różnych artykułów. Nie chcą stracić pracy, sprawa prosta jak but.
Google translator już od lat zabierał pracę tłumaczom, opłacane przez uniwersytety grammarly sprawia, że nawet korekta nie jest potrzebna. Może odłączmy naukowcom internet, aby znów korzystali z tych usług. A no tak, połowa z nich nie miałaby finansowania aby za to płacić. Możemy też wrócić do przeglądu literatury w bibliotekach zamiast korzystając z baz online.
Bądźmy innowacyjni, ale nie próbujmy nawet nadążyć za obecnymi technologiami. To się na pewno uda.
Kiedyś drwale nie używali pił spalinowych
No cóz, dotyczy to tylko humanistów. Dla ścisłowców liczy się nowy wynik doświadczalny lub teoretyczny. AI tego nie wygeneruje. Treśc to otoczka.
Hahaha, niezła naiwność.
Zgadzam się, dodatkowo praca nad related work to typowe zadanie dla AI.
Sorry, nie doczytałem i w poprzednim komentarzu niepotrzebnie przyczepiłem się do "Nature".
Cóż. Świadczy to o Nature i o jakości recenzji tamże. Może cokolwiek przereklamowany wydawca?
Ja po prostu nie mogę sobie wyobrazić żeby cokolwiek wartościowego zostało odkryte przez sztuczną inteligencję taką, jaka jest na obecnym etapie rozwoju. Co innego jakieś prace pomocnicze, ale szczerze mówiąc, to nawet nie wierzę w możliwość napisania przez AI porządnego, krytycznego, ukierunkowanego na rozpatrywany problem przeglądu literatury.
Oddzielna kwestia to recenzje. Uczciwy recenzent, który rzeczywiście przeczyta ze zrozumieniem pracę, będzie się starał wychwycić błędy i luki, też raczej nie przepuściłby czegoś takiego. A że dziś recenzje odbywają się w pięć minut - rzut oka na artykuł, czy optycznie wygląda na ładny i poważny - to mamy, co mamy.
A co mamy? Rzeczywiście, jak słusznie zauważają autorzy eseju, za chwilę "wiedza" wygenerowana przez AI zacznie się reprodukować w następnych artykułach powołujących się na ten "skażony" sztuczną inteligencją i będziemy żyć w świecie samonapędzających się halucynacji (z tym, że ta masa bzdur, którą publikują dziś żywi, ale dostatecznie cyniczni ludzie poddani zasadzie "publish or perish" , już teraz przypomina jedną wielką halucynację).
Nie wiem, jakie recenzje "odbywają się w 5 min", ja robię rzetelne recenzję i takie również otrzymuję, merytoryczne. Nie znam się na AI i nie określę na bazie kilku słów, czy była stosowana, ale sprawdzam źródła, z których korzystali autorzy, a podejmuję się tylko recenzji w temacie, który znam. Recenzje nie wyeliminują zastosowania AI, ale autorzy podpisują deklarację, czy ją używali- wszystko zależy od uczciwości autorów...
Recenzje nie mają sensu. Nauka powinna dorosnąć i naukowcy powinni publikować co tylko chcą na własną odpowiedzialność. Po co pudrować czyjąś ignorancję? Moim zdaniem to nie pomaga.
Chyba nie wiesz, czym jest recenzja naukowa.
Wygoogluj sobie xd
Tylko proszę pamiętać, że jak dotychczas dostęp do publikowania jest co do zasady wolny, każdy może to zrobić (jeśli tylko przejdzie recenzję). I tak musi pozostać. Jeśli jednak wyjmiemy element recenzji, to będziemy mieli prace naukowe takich naukowców, jak (i tu proszę sobie wstawić nazwiska co głupszych a bardziej pyskatych polityków z nielubianej przez siebie partii, względnie takich samych dziennikarzy, polityków trzecioligowych, ludzi z zaplecza polityki itd.). Pomijając to, jak pan będzie w takim gąszczu się poruszał i odnajdował wartościowe rzeczy, to nauka ma jeszcze dziś pewien poziom zaufania społecznego, słowo naukowca jeszcze różni się jeszcze w swej wadze od zabobonu, a tak to szybko przestanie.
Pełna zgoda.
Kto uważa że AI może kiedykolwiek spełnić twórczą rolę a nie jedynie narzędzie do pisania raportów biurokratycznych albo szkolnych wypracowań na poziomie dostatecznym niech posłucha opinii Rogera Penrose'a
https://youtu.be/0GwVqOBErDg?si=EuxAUTnuOtzawhSK
i zapozna sie z pojęciem tzw. "szachów symetrycznych" - Penrose'a.
Ale używanie AI do pisania miernych tekstów oraz od niedawna nawet recenji (zob. np. Retraction Watch) to tylko wierzchołek góry lodowej spadającego poziomu światowych badań naukowych ujawniającego się także ideologizacją badań (tzw. "kryzys klimatyczny lub osiagniecia tzw. "nauk"gender). Inflacja bezwartościowych publikacji poprzez wprowadzenie do Web of Sciece i Scopus czasopism o niskim poziomie ale duzych kosztach publikacji.
https://paolocrosetto.wordpress.com/author/milanphd/
Skutek widać obecnie w USA gdzie tzw. "DOGE" uzywa sobie (często słusznie a czasem niesłusznie) na grantach dopuszczanych do finasowania bez uzasadnionej krytyki. Kryzys zaufania do badań naukowych i procesu publikacyjnego dopiero się zaczyna. Szkoda że Polska w tych światowych procesach przemian jest jak zwykle w ogonie.
Widać to także na tym Forum Akademickim gdzie niektórzy bronią systemu ewaluacji nie tylko nie do obrony ale głęboko szkodliwego bo psującej etos badań młodych badaczy i generującego wielomilionowy wypływ pieniędzy słuzący tylko poprawie samopoczucia naukowcom uprawiajacych badania na niskim pozionie.
Artykuł raczej przedstawia znacznie niedoszacowanie użycia AI w tworzeniu artykułów naukowych. Na świecie w 2021 roku (według Science business net) pracowało 8,8 miliona naukowców. Każdy z nich średnio publikował dwie prace rocznie, co daje około 18 milionów artykułów naukowych. Poruszanie się w tym gąszczu prac jest dla człowieka praktycznie niemożliwe. Np. WoS potrafi znaleźć kilkadziesiąt tysięcy pozycji bibliograficznych do "modnych" zagadnień.
Zatem nie należy się dziwić, że istnieją firmy, wykorzystujące kilka różnych dużych modeli językowych, umożliwiających generowanie tekstów naukowych w bardzo krótkim czasie (np. dwie godziny), z pełną istniejącą bibliografią oraz językiem pozbawionych "wtrąceń" np. z ChataGPT. Na Twarzoksiążce mam pełno reklam takich firm, i to w dodatku w cenach niższych niż zakup pojedynczego artykułu z czasopism closed access.
Prywatnie teraz "walczę" z pracą swojego dyplomanta, który być może skorzystał z takiej oferty. Mocnego dowodu nie mam, poruszam się w przypuszczeniach, jakkolwiek nie są one podparte tekstem pracy, tylko zupełnie innymi czynnikami.
Zatem podsumowując: być może to nie jest tylko kilkaset artykułów, tylko ich liczba w ciągu roku może sięgać kilkuset tysięcy. Może obecne modele wykrywające tego rodzaju teksty umożliwiają wykrycie tylko niektórych przypadków? Pytanie jest otwarte, a odpowiedzi na to pytanie trzeba jednak szukać. Ignorowanie tego problemu po prostu zabija naukę jako taką i zamiast zdobywania nowej wiedzy uzyskujemy wyłącznie produkcję plików pdf na potrzebę jakiejkolwiek ewaluacji (niezależnie o jakim państwie mówimy czy piszemy).
Zrobiłem praktyczny test. Wygenerowałem różnymi modelami tekst o zadanej tematyce i parametrach. Jednocześnie całkowicie sam napisałem ten tekst. Tak zwane "detektory" "wykrywające" udział AI w tworzeniu tekstu uznały moją twórczość jako 100% produkt ChatGPT. Tak wygląda w praktyce śledztwo w sprawie. Natomiast zupełnie nie rozumiem o co tu chodzi? Przecież generatory tekstu AI co najwyżej zrobią sprawną kompilację, a nie jakaś wartość dodaną. Nie zrobią pomiarów, nie przeprowadzą ankiet, nie zbudują urządzenia itd. Walka i "wykrywanie" udziału narzędzi AI w tekście jest porażką, bo to oznacza, że nie potrafimy merytorycznie ocenić publikacji i wydaje się nam, że jeśli stworzy to człowiek, to jest ok (nawet jeśli jest miałkie), a jeśli program, to już nie jest ok. Prawdą jest, że nie jesteśmy w stanie ewaluować na wysokim poziomie takiej lawiny twórczości, bez żadnej większej wartości - co za różnica, czy "ta dziura" wykopana została łopatą czy koparką... To jest taka sama dziura. I tu jest prawdziwy problem.
Teraz będą pojawiali się masowo autorzy, którzy będą pisali o tym jak to inni autorzy używają AI w publikacjach, taki nowy trend i łatwość "wskoczenia" z publikacją do czasopisma...
Koparką bieże się garściami a łopatą warstwami.
Koparką bieże się garściami a łopatą warstwami.
Najważniejsze żeby publikowali prawdziwe zdania. A nie półprawdy czy fałsz.
Czyli w NATURE też już jest AI. NAGRODY NOBLA OSTATNIO OTRZYMALI NAUKOWCY KORZYSTAJĄCY Z AI. JEST NARZĘDZIE TRZEBA GO UŻYWAĆ. TAK JAK KOŁO OGIEŃ CZY ELEKTRYCZNOŚĆ. NIKT TEGO NIE ZATRZYMA I BARDZO DOBRZE.
Miedzy uzyciem oprogramowania wykorzystyjącego sztucznye sieci neuronowe do żmudnych wyszukiwań i analiz w genetyce (obszar tej nagrody Nobla) a używaniem chatGPT do pisania szkolnych wypracowań, słabych artykułów lub innych tekstów o miernej wartości jest taka różnica jak między krzesłem a krzesłem elektrycznym.
Demis Hassabis i John M. Jumper:
Opracowali model AI, który rozwiązuje 50-letni problem przewidywania złożonych struktur białek.
Znaczenie:
Nagroda uznaje przełomowe prace w dziedzinie projektowania i przewidywania struktur białek, które mają ogromne znaczenie dla zrozumienia i modyfikacji białek w celach medycznych, farmaceutycznych i innych.
Uznanie dla AI:
Nagroda jest również hołdem dla sztucznej inteligencji, która w znacznym stopniu przyczyniła się do tych osiągnięć.
WSKAZANA RÓŻNICA KOMPLETNIE NIETRAFIONA.