Wraz ze wzrostem dostępności narzędzi sztucznej inteligencji wykorzystywanych przez autorów tekstów do poprawy języka, coraz częściej obserwuje się ich użycie do generowania całych fragmentów treści, które następnie trafiają do artykułów naukowych i są publikowane w czasopismach akademickich – wynika z analizy dr. hab. Artura Strzeleckiego z Katedry Informatyki na Uniwersytecie Ekonomicznym w Katowicach,
Przeprowadzone przeze mnie badania wskazują, że w coraz większej liczbie publikacji naukowych pojawiają się fragmenty dialogów z chatbotami, co potwierdza, że części tekstów zostały wygenerowane za pomocą sztucznej inteligencji. Zidentyfikowałem 89 artykułów indeksowanych w pierwszym i drugim kwartylu według wskaźnika CiteScore publikowanego przez Scopus. Liczba ta jest prawdopodobnie znacznie większa, jednak celem mojej analizy było sprawdzenie, jak w najlepszych czasopismach, według wskaźników bibliometrycznych, wygląda proces recenzji i akceptacji publikacji zawierających tego typu fragmenty.
Obserwuje się rosnącą liczbę różnorodnych fragmentów dialogów ze sztuczną inteligencją pojawiających się w pracach naukowych. Jeszcze dwa lata temu najczęściej wskazywano na frazę Regenerate Response. Obecnie zidentyfikowano już kilkanaście różnych pozostałości, takich jak np. As of my last knowledge update, które jednoznacznie potwierdzają, że tekst został częściowo wygenerowany za pomocą AI. Tego typu artykuły przechodzą pełny proces recenzji: są czytane przez recenzentów, zatwierdzane przez redaktorów prowadzących, a także poddawane korekcie językowej. Mimo to, ani na etapie tworzenia, ani podczas recenzji, fragmenty dialogów z AI często pozostają niezauważone.
Publikacja artykułów z fragmentami AI w renomowanych czasopismach może prowadzić do poważnych problemów. Tego rodzaju treści mogłyby zostać niezauważone w materiałach konferencyjnych, rozdziałach książek czy czasopismach o niskiej jakości recenzji. Analiza najlepszych wydawnictw według wskaźników CiteScore i Impact Factor wykazuje, że liczba takich artykułów dynamicznie rośnie. Coraz więcej z nich jest cytowanych przez inne prace naukowe, co prowadzi do powielania błędów. Co istotne, problem ten dotyczy wielu dyscyplin naukowych, m.in. medycyny, informatyki, nauk technicznych, socjologii, edukacji, ekonomii czy zarządzania.
Sposób reagowania czasopism i wydawców na wykrycie fragmentów AI w publikacjach jest zróżnicowany. Wydawcy stosują różne podejścia: wycofywanie artykułów, publikowanie korekt i oznaczanie zmodyfikowanych tekstów, wskazywanie artykułów jako potencjalnie wygenerowanych przez AI bez dokonywania zmian w ich treści, a także tzw. stealth correction. Ten ostatni przypadek, polegający na usuwaniu fragmentów dialogów z AI bez oznaczenia zmiany, budzi szczególne kontrowersje. Tego typu praktyki można zaobserwować, porównując oryginalny tekst z poprawionym.
Polityki wydawnicze pozwalają na korzystanie z narzędzi AI poprawiających język, jednak pełną odpowiedzialność za treść artykułu ponoszą autorzy. Konieczne jest zatem zwiększenie świadomości wśród autorów i wydawców w zakresie wpływu sztucznej inteligencji na jakość i integralność prac naukowych.
Ze szczegółowymi wynikami analizy można się zapoznać w artykule opublikowanym w czasopiśmie Learned Publishing (w otwartym dostępie).
Artur Strzelecki
Scopus nie wprowadza jednolitych zasad, ale czasopisma indeksowane w tej bazie mogą dopuszczać użycie narzędzi AI jako wsparcia w pisaniu prac naukowych. Najczęściej obowiązuje wymóg ujawnienia użycia AI w manuskrypcie, zakaz wskazywania AI jako autora lub współautora oraz pełna odpowiedzialność autora za treść publikacji.
Myślę że AI jest wszędzie obecne. Poprostu styl pracy trzeba dostosować do obecnej sytuacji. Mamy wybór albo stosować AI albo nie. AI pracuje nad naszym pomysłem. Dostosowuje tekst do naszych wskazówek. Jest modelewm językowym więc generuje zdania i tekst, ale żeby je dostosować i tak musimy je uzupełnić, sprawdzić i przebudować. Czy faktycznie zmniejsza ilość pracy przy pisaniu publikacji? Myślę że nie. Pomaga w przeglądaniu i analizie artykułów. Pomaga w burzy mózgów. Pomaga w korekcie językowej tekstu oraz parafrazowaniu tekstu. Zastępuję kontakt z ludźmi. Zdania które buduje nie zawsze spełniają nasze oczekiwania. Prawdą jest też że wprowadza sporo błędów merytorycznych. Nie zastapi korekty i udziału człowieka w pracy naukowej. Mimo to myślę że udział AI w naszym życiu już jest zbyt duży i zbyt duże inwestycje poczyniono na rozwój tej technologi żeby od niej odstąpić. Musimy nauczyć się z niej korzystać i przyzwyczaić do nowego stylu pracy.
To wszystko trochę zależy od sytuacji. AI może pomagać w badaniach, których człowiek ze względu na swoje naturalne ograniczenia wykonać nie jest w stanie. Ale wtedy powinno to być konkretnie wskazane. I główna myśl powinna być po stronie ludzkiego autora. Natomiast wszelkie inne sytuacje, czy może większość, to już są sprawy głęboko wątpliwe. Bo przecież praca naukowa powinna być NASZA. Wszyscy ci, którzy co do istoty przy użyciu AI "piszą" nie swoje prace, to g... nie naukowcy. Na przykład to całe wszechobecne teraz poprawianie języka angielskiego.... Czy wtedy praca będzie faktycznie twoja? Przecież to klamstwo i jawne oszukiwanie się. Oczywiście to w pewnym sensie drobnostka, ale jakoś mnie to odrzuca. Myślę, że dużo jeśli nie wszystko zależy od jakości moralnej, że tak to ujmę, samych naukowców. Choć tu też jest problem, że taki prawdziwy moralny naukowiec może przegrać z niemoralnym, który się niemoralnie wspomaga... Ogólnie coś mi się wydaje, że to chodzenie na łatwiznę przy użyciu AI doprowadzi ostatecznie do naszego zidiocenia.
Czyli co? Należy usunąć z przestrzeni publicznej AI, jak to zrobił minister Gdula likwidując instytut. Zatem nie wiem dlaczego jego usunięto ze stanowiska? A może nie chcą sztucznej inteligencji te osoby, które boją się że AI wykaże iż ich prace dotychcasowe to fałsz i jeden wielki plagiat. I co wtedy, czy będą pozbawiani tytułów naukowych? A może nie chcą tego lekarze, bo okaże się że AI wykaże iż ich diagnoza i proces leczenia były błędne. A może AI nie chcą biegli sądowi gdyż okaże się, że ich opinia zakresu np. medycyny to jedno wielkie oszustwo? A może nie chcą tego prawnicy, gdyż okaże się, że ich ocena prawna jest błędna? A może nie chcą politycy bo AI wykaże, że ich programy polityczne i obietnice to jedna fikcja. Co robić, jak żyć? Używać, czy nie używać, oto jest pytanie? Autor również,, użył sztucznej inteligencji, aby wykazać, że inni jej używali. Błędne koło, które się toczy i jest już nie do zatrzymania. Zatem AI może zostać użyta w celach rozwoju ludzkości lub do jej upadku.
AI niestety robi dużo błędów merytorycznych. Uczy się na tekstach opublikowanych pisanych przez ludzi. Czy ona naprawdę potrafi w ocenić czy jest to prawdziwy czy fałszywy tekst? Czy myślenie autora jest poprawne? Czasami mijały epoki zanim człowiek zmienił zdanie na temat jakiegoś pogladu. Wiedza się zmjenia. Poglady się zmieniają wraz z rozwojem wiedzy, czułości metody etc. Można traktować AI jako narzędzie pracy, oprogramowanie ale nie powinno się jej traktować jako ostateczną wyrocznię. AI może analizować szybciej duże zbiory danych, pod kątem pod jakim wskażemy. Pamięć ludzka jest jednak wybiórcza a pamięć AI i człowieka ograniczona.
Pewnie się nie znam, ale w mojej dziedzinie Al nie opracuje za mnie celu, metodyki badań, a już na pewno nie przeprowadzi badań empirycznych przy pomocy różnych urządzeń pomiarowych w różnych warunkach (tak bardzo ogólnie). Natomiast byłabym wdzięczna gdyby AI wyręczyła mnie w żmudnym pisaniu wstępu i części dot. researchu. Wolałabym zająć się kolejnymi badaniami niż marnować masę czasu na udowadnianie sensu badań (zwykle badacz robi to zanim do nich przystąpi i wie co w temacie piszczy), tworzenia części tekstu której i tak nikt w branży nie czyta, bo ważne jest przecież to „mięso” a ja mając umysł ścisły tracę czas na to wszystko co chyba najbardziej odstręcza mnie od pisania kolejnego artykułu.
Oczywiście, te części pracy nie mogą być puszczone na żywioł, bo jednak chciałabym poprawić aby tam był sens, który chcę przekazać, spójność pracy itp. Przegląd też musiałabym dokładnie zweryfikować i może coś dodać lub zmienić. Jednak to już inny wysiłek, niż pisanie wszystkiego od nowa, wymyślanie tych treści, które są jednak tylko dodatkiem do mojej pracy, i chciałabym żeby zajmowały mi jak najmniej czasu i nerwów a tak nie jest. Bo o ile badania mnie cieszą o tyle jak myślę o pisaniu tej całej części która poprzedza opracowanie moich badań mnie wzdryga, i nie rozumiem dlaczego nie mogłabym się wspomóc AI, oczywiście z moimi poprawkami i wskazówkami.
Szczerze mówiąc, to nie wiem, jak AI może sama napisać przegląd literatury. On musi być nakierowany na nasz wynik, aby móc wykazać element nowości. Czyli AI musi znać nasz rezultat, a już do tego potrzebna jest wiedza dziedzinowa, ten czat musiałby więc być tak mądry jak naukowiec. Dalej krytycznie oceniać całą literaturę pod kątem stosunku do naszego pomysłu i wykazać postęp.
Jednak te wszystkie czaty to ciągle w większości modele językowe, tzn. koncentrujące się przecież na aspekcie gramatycznym, a nie semantycznym, a gdzież jeszcze do semantyki odpowiadającej wiedzy naukowca, nie przeciętnego człowieka. Jeśli więc AI pisze komuś wstęp, to to w dzisiejszych czasach produkuje bajanie, i rzeczywiście z samego tego powodu użycie czegoś takiego jest moim zdaniem niedopuszczalne. Jeśli gdziekolwiek to przechodzi, to to jest naprawdę dzwonek alarmowy dotyczący zwyczajów publikacyjnych w nauce: jakości publikacji, braku faktycznej recenzji, etc.
Rzetelnego przeglądu z pewnością jeszcze nie zrobi, ale skoro się tak szybko rozwija to pewnie kwestia czasu. Dlatego napisałam że mogłaby mnie wyręczyć raczej w czasie przyszłym. Obecnie myślę że na jakimś jeszcze słabym poziomie jest w stanie przygotować takie opracowanie, nakierowanie na wynik przecież nie jest problemem, najpierw robimy badania i je opracowujemy a potem część pisemna, więc zaczynając od końca może ulepić początek, gdy odpowiednio zlecimy zadanie. Co do wstępu czy uzasadnienia tematu badań, sądzę że już teraz nie jest to wielki problem. Wystarczy odpowiednie promptowanie i wiele można wycisnąć w różnych kontekstach, nawet z odniesieniami. To też kwestia dziedziny, wiadomo że w naukach humanistycznych czy społecznych wygląda to inaczej i rzeczywiście nie wyobrażam sobie fragmentów pracy pisanych przy wspomaganiu AI. Natomiast np. w naukach technicznych (może nie w każdym zakresie), gdzie większość zainteresowanych czyta opracowanie od części cel / metodyka badań, a resztę uznaje się trochę za „dorabianie ideologii” bo tak trzeba (oczywiście piszę z przymróżeniem oka, , bo czasem zagląda się w odniesienia, jeżeli nie zna się dobrze tematu) uważam że mogłaby wesprzeć, bez szkody dla wartości artykułu. Znam osoby które dysponują ciekawymi wynikami badań, mają pomysły a nie ma kto tego opisać. Tutaj podkreślę raz jeszcze że pomóc to nie znaczy zastąpić. Należałoby poprawić i wzbogacić treści o swoją wiedzę, po niezbędnej weryfikacji. W chwili obecnej nie mam doświadczeń z takimi publikacjami, w sensie ich nie tworzę, ale wyobrażam sobie że w niektórych sytuacjach takie narzędzie byłoby przydatne bez szkody dla wartości pracy, pod warunkiem że autor podchodzi do tego krytycznie i wie co robi.
Niesamowite. Muszę zapamiętać tę frazę "As of my last knowledge update" i gdy ją zastosuję, autor uzna, że skorzystałem z LLM. Autor, niestety, nie zauważa sedna sprawy. AI, owszem, może wygenerować te części artykułu, które nie są jego wartością dodaną, czyli być może kiedyś (wreszcie) przestaną być składowymi publikacji - bo będą po prostu odsyłacze. Natomiast jeśli artykuł nie ma żadnej wartości dodanej, to nie wynika to ze sposobu jego napisania, tylko... po prostu miernej zawartości. I tu akurat AI, odpowiednio skonfigurowane na bazę odpowiedniej tematycznie wiedzy, może bardzo pomóc we wskazaniu, jakie to "novelty" jest w publikacji, a może właśnie żadne. I zmartwię wszystkich przeciwników AI, już teraz potrafią one, na prośbę, tak zmodyfikować tekst, że tzw. "detektory" nie znajdują niczego (0-2% wskazujące na użycie ChatGPT itp.). Zatem warto przemyśleć sposób oceny, recenzji, prawidłowego znajdywania wartości artykułu, a nie, czy był napisany "z pomocą", co będzie niedługo oczywistością.
Nie zastąpi w decyzjach ale dzieki solidnej analizie może pomóc je podjąć. Skoro to narzędzia, które są tworzone aby pomagać ludziom to powinny być dopuszczone do wykorzystania.
Polecam artykuł odnośnie detektorów:
https://www.binance.com/pl/square/post/8749765826513
Ostatnio wręczono nagrody NOBLA za stworzenie i wykorzystanie AI w badaniach naukowych i rezultaty tych badań . AI to narzędzie pomagające człowiekowi, być może w wielu decyzjach i działaniach go zastąpi. NIE BAĆ się AI.
Może jedna z tych "rewolucyjnych" zmian w polskiej nauce powinna być taka:
podczas konkursów na postdoca, adiunkta etc., czy też podczas konkursów o granty, jak tez przy postępowaniach habilitacyjnych, najwięcej będą się liczyć prace danego delikwenta napisane BEZ pomocy AI, a trochę mniej przy pomocy AI. ;=) ;=) ;=)
Przypomniało mi się tutaj pewne zdarzenie z mojej "kariery" krótkofalarskiej (przy okazji pozdrawiam wszystkie Koleżanki i Kolegów, którzy zajmowali się kiedyś lub nadal zajmują się hobby o nazwie "krótkofalarstwo"), sprzed lat. Mianowicie, bardzo dużym ułatwieniem w łącznościach na pasmach amatorskich w zakresie UKF są specjalne stacje przekaźnikowe tzw. przemienniki. Przez całe lata łączności przeprowadzone za pośrednictwem przemienników, nie były zaliczane do współzawodnictw. Kiedyś, podczas dyskusji, na zebraniu jednego z OT PZK, jeden z Kolegów stwierdził, że gdyby miał wysyłać kartę QSL (potwierdzenie łączności), za taką łączność, to musiałby ją wysłać przemiennikowi...
Wydaje mi się, że jak się po prostu rzetelnie recenzuje artykuł, to nie ma szans przepuszczenia płodu AI. Styl to jedno, ale przede wszystkim taki artykuł ma błędy i dziury, a często tekst jest po prostu bezsensowny/niezrozumiały. To są jednak bardziej modele językowe, które nawet dość wymownie, ale plotą bzdury. Mam wrażenie, że parę takich prac odwaliłem, nie myśląc nawet, że to AI, ale jak temat się zrobił modny, to wstecznie zaczynam wychwytywać charakterystyczne cechy (np. długie oczywiste, popularnonaukowe opisy używanych narzędzi i kompletna dziura w momencie, w których oczekiwałbym jakichś bardziej specyficznych konkretów).
A że recenzowanie dziś wygląda tak, że "bardzo ładna praca, tylko trzeba tu, tu wstawić przecinek" - i dopijamy herbatkę, bo wystygnie, to już inna sprawa.
@Fidelio
Ale prosze wytlumaczyc, po co recenzent manuskryptu lub grantu mialby marnowac czas na wgryzanie sie z sprawe tego, czy autor pisal dany tekst zupelnie samemu, czy przy pomocy AI?
Czy nie lepiej skupic sie na tresci w sensie czy strona naukowa jest taka, jaka byc powinna? Czy tekst jest logiczny, merytorycznie poprawny i przekonujacy? Czy prezentowane dane/wyniki pozwalaja wyciagnac takie a nie inne wnioski? To przeciez jest sednem pracy recenzenta.
Dokładnie o tym piszę - skrupulatna recenzja spowoduje odrzucenie tekstu AI z powodów merytorycznych.
Chyba że korekta człowieka sprawiła, że merytorycznych błędów nie ma w tekście.
@Fidelio
No ale AI nic do tego nie ma. Tekstow pisanych przy pomocy AI wcale nie trzeba odrzucac; to moga byc calkowicie poprawne prace. Mozna probowac opublikowac tekst stworzony z udzialem AI, ktory bedzie swietny. I powinien przejsc recenzje bez problemu, poniewaz nie bedzie mial zadnych wiekszych "ulomnosci". A mozna probowac przepchnac artykul pisany w 100% przez czlowieka, ktory sie nie bedzie nadawal do niczego.
AI to tylko narzedzie. Jak sie je poprawnie uzywa, to ulatwia pisanie, jednak nie gwarantuje niczego. Sedno recenzowania tkwi zupelnie gdzie indziej.
Zgadzam się w zupełności.
Boję się tego. Przyjdą może czasy, że będzie to trzeba zaakceptować. Sądze, że nie za mojego życia. Natomiast wierzę, że ciągle jeszcze przy jednej z najbardziej złożonych czynności umysłu ludzkiego, jaką jest prowadzenie badań / pisanie artykułu, a badania te mają przecież stanowić nowość i zmieniać naszą wiedzę, AI nie jest w stanie wykonać więcej niż czynności pomocnicze. Mniej więcej akurat tyle, ile jestem w stanie zaakceptować ze względów, nazwijmy to, etycznych. Mówię oczywiście o prawdziwych artykułach (fakt, że AI może jakoś prowadzić rozmnażanie artykułów w papierniach i te artykuły są potem przyjmowane, uważam za dyskredytujące przyjmujące je czasopisma i dyskredytujące zwyczaje w dzisiejszej nauce).
"Boję się".
I w tym momencie myślenie naukowe się kończy a zaczyna "bajanie".
Idąc tym tropem na "boję się" zamiast myślenia o AI polecam "modlę się"...
Zapewniam pana (panią), że się modlę i nieźle na tym wychodzę.
Natomiast taki (religijny właśnie) entuzjazm do "naukowości" niestety u co mniej ostrożnych prowadzi do ostrych błędów poznawczych. Na początek zwracam uwagę, że sama sztuczna inteligencja na takim etapie, na jakim znajduje się w tej chwili, nie jest już za bardzo nauką. Podobnie jak np. modelowanie matematyczne, bardziej jest sztuką, działalnością opartą na intuicji. Coraz mniej posługuje się aparatem naukowym.
Jest jeszcze kwestia, o czym mówimy: o uzyskaniu rezultatu, czy o opisaniu go w artykule. To drugie, to trochę inna para kaloszy, dużo prostsza rzecz, choć i tu używanie AI powoduje u mnie lekki niesmak.
@Fidelio
Nie jestem pewien, czy do konca rozumiem, co chce Pan przekazac, ale pisze o tym dlatego, ze uzywanie AI do pisania artykulow jest jak najbardziej dozwolone i nie przekracza zadnych przepisow czy wytycznych pism naukowych.
Tak wiec nie "przyjdą może czasy, że będzie to trzeba zaakceptować.", tylko ten czas jest wlasnie teraz. Prosze przeczytac w moim koemntarzu ponizej ten kawalek tekstu, ktory wkleilem ze strony Nature: "the use of an LLM (or other AI-tool) for "AI assisted copy editing" purposes does not need to be declared. In this context, we define the term "AI assisted copy editing" as AI-assisted improvements to human-generated texts for readability and style, and to ensure that the texts are free of errors in grammar, spelling, punctuation and tone."
Podobnie, jak mozna korzystac z tego, co oferuje na przyklad MS Word, ktory rowniez jest pomocny w pisaniu tekstow wszelakich, z naukowymi wlacznie.
Dlatego tez te wszystkie komentarze mowiace o tym jak to zaraz trzeba bedzie wyrzucac do kosza wszystkie artykuly, w przygotowaniu ktorych autorzy uzyli AI, zwyczajnie nie maja oparcia w obecnie funkcjonujacych zasadach i wytycznych pisania artykulow naukowych. To sie oczywiscie moze zmienic, ale obecnie uzywanie ChatGPT jako narzedzia, ktore ulatwia wyrazanie swoich mysli oraz formuowanie pewnych komunikatow i wypowiedzi jest dozwolone. Autorzy odowiadaja za to, aby tekst byl w absolutnej zgodzie z tym, co oni chca wyrazic; to jest bardzo wazne.
Oczywiscie, artykuly napisane w calosci przez AI, nie powinny byc publikowane ("do not include generative editorial work and autonomous content creation").
Pani Doroto, prosze nie bac sie stosowania AI. "Protezować swoją inteligencję sztuczną inteligencją" mozna w takim samym stopniu, jak protezujemy swoja zdolnosc pisania recznego pisaniem na komputerze. Na komputerze latwiej pisze sie, niz przy uzyciu gesiego piora, albo nawet maszyny do pisania. Nie ma tym nic zlego, ze uzywamy komputerow, podobnie, jak nie ma nic zlego w stosowaniu AI w zakresie, w jakim powinna ona byc stosowana.
Hmm...naukowiec, który musi protezować swoją inteligencję sztuczną inteligencją żeby napisać publikację, nie powinien być naukowcem.
Przypominam, że mózg nieużywany zanika, dokładnie tak jak mięsień :-).
czy widzi Pani różnicę w tych dwóch promptach wysłanych do AI? "napisz mi artykuł o wpływie opadów monsunowych w Indiach na rozwój dorożkarstwa w Polsce" a "popraw styl podanego tekstu tak aby miał formę akademicką używaną przy publikacji artykułów naukowych"?
No nie. Tekst pisany z użyciem AI może być merytoryczne dobry. Kwestia w jakim celu i zakresie AI była używana. To narzędzie jak każde inne.
@Dorota "Hmm...naukowiec, który musi protezować swoją inteligencję sztuczną inteligencją żeby napisać publikację, nie powinien być naukowcem.
Przypominam, że mózg nieużywany zanika, dokładnie tak jak mięsień :-)."
Bez obaw o skutki "nieużywania" mózgu w przypadku wielu naukowców, a już na pewno w przypadku przedstawicieli dziedzin ścisłych. Przez ostatnie 20 lat pracy na uczelni musiałem mój mózg upodobnić trochę do urządzenia typu "telewizor", aby co jakiś czas mógł być on zmuszanym do przełączania się pomiędzy kanałem o nazwie "fizyka", czy "logika matematyczna", a kanałem o nazwie "programowanie obiektowe", "inżynieria oprogramowania" itp. i na odwrót... :=)
Żyjemy w Polsce, więc to zjawisko miało i ma miejsce w dość dużym nasileniu, w przypadku w ogóle dość dużego odsetka innych ludzi pracujących w dziedzinach ścisłych. Jedyną "osłodą", jakiej można było oczekiwać od kręgu decydentów, były wieści o rychłej "rewolucji na polskich uczelniach" itp. ;=) No, może jeszcze wyłączenie z użytku "GILOTYNY" o nazwie "obowiązek robienia habilitacji", też osładzało życie... :=)
Prosze Panstwa, narzedzia do wykorzystania AI w pracy naukowej wyrastaja jak grzyby po deszczu. Tak wiec decyzje podjete dzisiaj moga nie miec zastosowania za rok. Ale jesli chodzi konkretnie o urzywanie narzedzi AI do pisania artykulow naukowych, to nalezaloby moze spojrzec w to, jaki na dzisiaj mamy stan akceptacji w pismach i wydawnictwach naukowych w tym temacie.
W tym celu chcialbym dla ulatwienia podac tylko jeden przyklad, z 'Nature' (mam nadzieje, ze tlumaczenie na polski nie jest potrzebne). Prosze zwrocic szczegolna uwage na ostatnie zdanie:
AI authorship
Large Language Models (LLMs), such as ChatGPT, do not currently satisfy our authorship criteria. Notably an attribution of authorship carries with it accountability for the work, which cannot be effectively applied to LLMs. Use of an LLM should be properly documented in the Methods section (and if a Methods section is not available, in a suitable alternative part) of the manuscript. The use of an LLM (or other AI-tool) for “AI assisted copy editing” purposes does not need to be declared. In this context, we define the term "AI assisted copy editing" as AI-assisted improvements to human-generated texts for readability and style, and to ensure that the texts are free of errors in grammar, spelling, punctuation and tone. These AI-assisted improvements may include wording and formatting changes to the texts, but do not include generative editorial work and autonomous content creation. In all cases, there must be human accountability for the final version of the text and agreement from the authors that the edits reflect their original work.
https://www.nature.com/nature-portfolio/editorial-policies/ai
Coraz gorzej z tym moim polskim: chodzilo mi oczywiscie o "używanie narzędzi".
Najmocniej przepraszam.
Czyli "must be human...".
@Ireneusz
W rzeczy samej
Do tysięcy artykułów wycofanych z czasopism o wysokich wskaźnikach bibliometrycznych z powodu wykrycia nierzetelności autorów dopiero po opublikowaniu tekstu dojdą kolejne tysiące wycofywane po czasie z powodu wykrycia współautorstwa sztucznej inteligencji. A podobno system oceny redakcyjnej i system recenzji miały być doskonałe w czasopismach wysoko punktowanych. W tych czasopismach miały być podobno publikowane jedynie wartościowe prace. Niestety, cały ten system wraz z punkcikami jest śmiechu warty.
Czy można mówić o współautorstwie AI? AI to oprogramowanie, narzedzie do pracy. Jeśli AI powinno być traktowane jako współautor publikacji naukowej to czy oprogramowanie do generacji Rycin oraz oprogramowanie do analizy statystycznej lub oprogramowanie do tworzenia bibliografi naukowej powinno być współautorem publikacji naukowej?
Powinno być tak.
Authors: Chat GPT et al.
Gratuluję weny tym "produktywnym" naukowcom. I współczuję konsekwencji. Im oraz współautorom tychże prac.
AI nie może być autorem publikacji ponieważ nie może brać odowiedzialności za tekst który będzie publikowany. AI to oprogramowanie to narzedzie i powinno być traktowane na równi z innymi narzędziami takimi jak: oprogramowaniem do analiz statystycznych, korekty językowej, tworzenia rycin oraz bibliografi. Weszlismy w nową rzeczywistość. Kiedyś nie używano w pracy komputerów a teraz korzysta z nich musi prawie każdy, teraz wchodzi AI i staje się ona rzeczywistością, nowym powszechnym narzędziem pracy.
Znając polskie uwarunkowania, choć może w innych krajach mają do tego inne podejście, jak taki autor należy do przyjaciół władz to nic mu się nie stanie,.
Raczej wypadałoby wskazać żródła informacji w publikacji naukowej, AI też.
Autor poruszył współczesny nasilający się problem i poniżej tekst odpowiedzi przez Copilot, którego "nakarmiło FA" :-)
Aby zwalczać pisanie prac naukowych przez AI, można zastosować kilka metod:
Wykrywanie treści generowanych przez AI: Narzędzia do analizy tekstu mogą identyfikować charakterystyczne frazy i struktury, które sugerują, że tekst został wygenerowany przez AI.
Edukacja autorów i recenzentów: Zwiększenie świadomości na temat wpływu AI na jakość i integralność prac naukowych może pomóc w lepszym rozpoznawaniu i eliminowaniu takich treści.
Polityki wydawnicze: Wydawcy mogą wprowadzać zasady dotyczące korzystania z narzędzi AI, wymagając od autorów pełnej odpowiedzialności za treść artykułów.
Korekta językowa: Dokładna korekta językowa może pomóc w wykrywaniu i usuwaniu fragmentów generowanych przez AI.
Te metody mogą pomóc w utrzymaniu wysokiej jakości i integralności prac naukowych, minimalizując ryzyko publikacji treści generowanych przez AI.
Kiedys w jeden detektor AI wrzucilem publikacje znajomej pani profesor... ja wiem, że to nie jest do końca sprawdzone, nie można temu wierzyć tak jak czatowi GPT. Jednakowoż dziwnym trafem u tej pani wykazało, że w wiekszosci artykulow po 70-100% introduction pisała sztuczna inteligencja. A już zupełnie powaliło mnie, jak zobaczyłem, że i w dyskusji, w metodyce, we wnioskach też. Myślalem, że detektor wadliwy, analizowalem inne teksty, porównywalem styl.
To nie detektor wadliwy. To pani profesor.
To jest w pewnym sensie nierzetelność naukowa. I teraz pytanie: jak to załatwiać? Komu zgłaszać?
Powstaje pytanie, czy są konkretne poszlaki, że te teksty generowała sztuczna inteligencja. Na przykład umęczone frazy, rażące błędy merytoryczne, albo szczere wyznanie typu "I am a large language model." Wtedy można i nawet powinno się anonimowo oflagować te prace na PubPeer, po prostu dlatego, żeby inni nie marnowali czasu na lekturę.
Jeśli czegoś takiego nie ma, to jest to tylko interesujące spostrzeżenie o stylu tej pani.
Redakcji czasopisma, w którym artykuł został opublikowany i załączyć raport z analizy.
Drogi Autorze,
opiszę to zjawisko jednym słowem - koszmar! Za to Pana praca jest bardzo rzetelna, gratuluję! Zgodzę się z tym, że poprawianie tekstu za pomocą AI (jak chociażby autokorekta, której i tak trzeba pilnować) jest dopuszczalne, za to generowanie całych fragmentów tekstu w mojej ocenie już nie.
Cóż za hipokryzja... Krytykuje się studentów i doktorantów za pisanie wypracowań, prac dyplomowych za pomocą (nie z pomocą!) chata GPT, a co robią ich mentorzy? GENERUJĄ dziesiątą w kwartale pracę. Prawie czapki z głów, no już prawie dałem się nabrać na tę nadzwyczajną płodność naukową. To zwyczajne oszustwo, choć pokuszę się o stwierdzenie, że nadzwyczajne, bo oszukuje się współautorów, edytora, recenzentów, aż wreszcie odbiorców.
Czy jest Pan w stanie polecić rzetelny komercyjnie dostępny detektor treści generowanych przez AI?
Marzy mi się, by tak wszystkie artykuły sprawdzić. :)
W ogóle większość patologii w nauce, poczynając od spółdzielczości, przez pozoranctwo, do używania AI i papiernictwa to działania, które przypominają mi drobne krętactwa na studiach. Tylko wtedy tacy kiepscy studenci ostatecznie zostawali w tyle, natomiast w nauce jest teraz wręcz przeciwnie - robią karierę, eliminując uczciwych, no i niestety - zajmując stanowiska i domykając patologiczny system.
Fidelio,
pięknie podsumowane! Nie można wymagać uczciwości od studentów, skoro taki przykład dostają. Z tego, co widzę w komentarzach, to nie ma jednoznacznych wytycznych (choć moim zdaniem są, np. etyka naukowca), które pozwoliłyby na eliminację tej patologii. W zasadzie każdy wypowiada się ze swojej perspektywy; zarówno przeciwnicy pisania artykułów czatem GPT, jak i zwolennicy mają po części rację.
Zacznie się reagowanie i nerwówka, gdy faktycznie wydawnictwa lub ktokolwiek się zabierze za rozliczanie tego typu "dzieł".
Pozdrowienia :)
Myślę że za jakiś czas studenci będą uczeni otwarcie jak korzystać z narzedzi AI, żeby uzyskiwać merytorycznie poprawne odpowiedzi. Do tego zmierza świat. AI bedzie (już jest) wszechobecne. Jeśli czas potrzebny do generacji dobrej jakości merytorycznej publikacji z pomocą oprogramowania AI skróci się kilkakrotnie to pracownicy nie korzystajacy z AI bedą mniej wydajni publikacyjnie i albo zaczną korzystać z AI albo zostaną zwolnieni. Dostępność narzędzi pracy się zmienia, możliwości się zmieniają, praca się zmienia i rola człowieka się zmienia w tworzeniu publikacji.
Jak tłumaczy się lub poprawia swoje tłumaczenie w tłumaczu deepl opartym o AI to też detektor rozpoznaje jako AI. Jednak jak są ogólniki i frazesy to wtedy treść też pisało AI