Teoretycznie przygotowanie całego artykułu naukowego z wykorzystaniem sztucznej inteligencji jest dziś możliwe bez większego problemu w przypadku każdego tekstu niezawierającego badań empirycznych. Czy jednak jesteśmy już na tym etapie, żeby choć część odpowiedzialności za stworzone dzieło przerzucać na maszynę?
Prowadząc pogłębione badania literaturowe w zakresie wykorzystania sztucznej inteligencji w pisarstwie naukowym (academic writing), zauważyłem 3 modele współpracy człowieka z maszyną. Pierwszy nazwałem wspierającym (supportive model). Zakłada on wykorzystanie AI jak każdego innego narzędzia typu Excel czy SPSS Statistics. Autor wydaje polecenie (językiem formalnym bądź wciskając przycisk), otrzymuje odpowiedź (np. wynik analizy) i pracuje dalej.
Drugi, który nazwałem kolaboracyjnym (collaborative model), zakłada współpracę na zasadzie menedżer-pracownik. Polega ona na wydawaniu przez człowieka poleceń algorytmowi językiem naturalnym, a także na ocenie i konsultacji proponowanych przez maszynę rozwiązań i procedurze iteracyjnej, która kończy się w momencie uzyskania przez człowieka satysfakcjonującego rozwiązania.
Wreszcie trzeci model, który nazwałem partnerskim (partner-like model), zakłada współpracę równoległą, to znaczy maszyna pracuje nad określonymi zadaniami niezależnie od człowieka i w ich obszarach samodzielnie podejmuje decyzje. Wydaje się jednak, że póki co nie wchodzi w grę symulacja odpowiedzi czy zachowań żywych ludzi, choć być może już niedługo (zob. film). Odpowiednio „promptując” aplikacje typu Answer This, Gemini Deep Research czy Chart GPT, teoretycznie można stworzyć tekst przeglądowy od początku do końca, jedynie z minimalnym udziałem człowieka. Na obecnym poziomie rozwoju technologii to jednak jest raczej wada niż zaleta (Tomczyk, Brueggemann, Vrontis, 2024).
Ze względu na charakter generatywnej sztucznej inteligencji (generative artificial intelligence, GAI), pierwszy model należy już do przeszłości, a trzeci jest dopiero przyszłością. Cała rewolucja w procesie tworzenia artykułu naukowego z wykorzystaniem AI dokonuje się obecnie w ramach modelu kolaboracyjnego. Sprawdźmy zatem, jak można przygotować artykuł przeglądowy z wykorzystaniem tego właśnie modelu współpracy. W tym celu wykorzystamy procedurę przygotowywania systematycznego przeglądu literatury opracowaną przez Vrontis, Christofi (2021). Procedura zatem jest klasyczna, choć potężnie „dopalona” technologią.
Zanim zaczniemy pisać, najpierw czytamy. Dużo i najlepiej szybko. Etap ten nazywa się scoping analysis. Z jednym i drugim bywa kłopot, kiedy prowadzimy jednocześnie 3 projekty, zajęcia na uczelni i mamy jednocześnie gromadkę dzieci w domu. Co czytać? Od czego zacząć, a co pominąć? Podpowie nam aplikacja Consensus. Prosta i efektywna wyszukiwarka tekstów po wpisaniu pytania w języku angielskim (każdą aplikację AI spośród tu wymienionych warto pytać w tym języku, np. does customer satisfaction positivelly impact customer loyalty?) przeszuka serwis Semantic Scholar i pokaże nam listę tekstów na ten temat. Czy wszystkie? Oczywiście nie, tylko te, które jest w stanie zidentyfikować pod kątem adekwatności odpowiedzi na postawione pytanie. W praktyce jednak będzie to co najmniej kilkadziesiąt pozycji. Zapyta ktoś: a nie lepiej szukać w Scopus czy Web of Science? Jeśli znamy słowa kluczowe, to pewnie tak (większa transparentność i większa liczba tekstów), ale na tym etapie może być z tym trudno. W Consensusie zadaje się pytanie językiem naturalnym, co bardzo ułatwia pracę. W odpowiedzi dostajemy listę artykułów z jednozdaniową odpowiedzią na zadane pytanie. Pół godziny powinno wystarczyć na ich przejrzenie – mamy dzięki temu wstępną orientację w temacie.
Następnie formułujemy problem badawczy. Ta sama aplikacja (Consensus) pokazuje, jaki odsetek znalezionych tekstów odpowiada pozytywnie na pytanie, jaki – negatywnie, a jaki – „być może”. Przykładowo, jeśli 95% zidentyfikowanych tekstów jest na „tak”, zaś 5% na „nie”, to należy poważnie się zastanowić, czy warto dalej badać ten temat. Wydaje się on bowiem być już wyeksplorowany, a wyniki stosunkowo jednoznaczne.
Jak zatem sprawić, by nasze pytanie było bardziej sexy? Robi się to zazwyczaj w trzecim etapie, zwanym analizą kontekstu (context analysis). Wzbogacając pytanie badawcze o kontekst, nadajemy mu nowy wymiar, np: does customer satisfaction positivelly impact customer loyalty in B2B market? Wyniki mogą być mniej jednoznaczne i problem przez to stanie się ciekawszy poznawczo.
Kiedy mamy już problem badawczy, przechodzimy do wyszukiwania literatury (literature identification). Tu także możemy wykorzystać aplikację Consensus, a dodatkowo polecam jeszcze Elicit i SciSpace. Tam również zadając pytanie językiem naturalnym uzyskujemy listę tekstów. Połączone zestawy wyników z 3 aplikacji dają już całkiem pokaźny zbiór, który stanowi świetne uzupełnienie wyników wyszukiwania w aplikacjach klasycznych, takich jak Scopus czy Web of Science. Z każdej z wymienionych aplikacji bazy łatwo da się wyeksportować do formatu csv, który otworzymy w aplikacji Excel.
Następnie z całego zestawu wybieramy literaturę, która nas szczególnie interesuje (literature selection). Dzięki funkcji prezentacji wyników w tabeli, w Elicit i SciSpace możemy łatwo sumaryzować treść artykułów, pokazywać kluczowe wnioski i na tej podstawie wybrać najistotniejsze dla nas teksty.
Dalej możemy tworzyć dodatkowe kolumny w tabelach wygenerowanych przez Elicit i SciSpace tak, aby wyciągać z nich kolejne istotne informacje (data extraction). Przykładowo, dodając kolumnę methodology, aplikacje same zidentyfikują i przypiszą wykorzystaną metodykę badań dla każdego ze znalezionych artykułów. Zabieg ten wzbogaca wiedzę autora i daje możliwość dokonania analizy pod wybranym kątem.
Jejwyniki finalnie służą do przygotowania analizy tematycznej systematycznego przeglądu literatury (thematic analysis). Na podstawie wyników ekstrakcji danych oraz analizy pełnych tekstów z PDF w aplikacji ChatDoc autor przygotowuje pre-writing ostatecznej wersji artykułu. To niezwykle ekscytująca część pracy, gdyż polega na rozmowie z dużą liczbą PDF-ów! (jak to zrobić? – zob. film) Po wgraniu wszystkich dokumentów do tej aplikacji, badacz zadaje pytania w kolejności wątków, jakie chciałby uwzględnić w analizie tematycznej. Aplikacja udziela odpowiedzi, które stanowią podstawę do przygotowania przez autora własnej pracy i ostatecznej wersji tekstu.
Wreszcie przygotowany tekst sprawdzamy za pomocą narzędzi do proofreading (Quillbot, Grammarly czy PaperPal i wzbogacamy o przypisy (w Zotero bądź Mendeley). Choć te ostatnie aplikacje nie korzystają z silników sztucznej inteligencji, to i tak są niezwykle użyteczne w procesie automatyzacji procedury tworzenia referencji.
Konkludując, w obecnych czasach przygotowanie artykułu przeglądowego z wykorzystaniem narzędzi automatyzacyjnych, głównie modeli językowych, jest niezwykle proste z technicznego punktu widzenia (film). co w żadnym razie nie znaczy „prostackie”, i wymaga pracy w kilku aplikacjach jedna po drugiej. W tej sytuacji wiele osób zadaje sobie pytanie, czy naukowcy jeszcze będą potrzebni? Otóż w modelu kolaboracyjnym niewątpliwie tak, gdyż to oni oceniają jakość pracy maszyny. W modelu partnerskim już niekoniecznie.
dr Przemysław Tomczyk
Autor jest adiunktem w Katedrze Marketingu Akademii Leona Koźmińskiego. Specjalizuje się w zakresie roli sztucznej inteligencji w pisarstwie naukowym oraz automatyzacji nauki. Ma na koncie kilkadziesiąt publikacji naukowych, jest twórcą kanału na YouTube „dr Przemek Tomczyk AI”. Prowadzi szkolenia z tworzenia tekstów naukowych i analiz statystycznych z wykorzystaniem sztucznej inteligencji.
Zdecydowanie AI wiele ułatwia, również w pracy naukowca. Każde narzędzie może być zarówno dobre, jak i złe - kwestia użytkowania i użytkownika. Przecież nożem można pokroić chleb, można też komuś zrobić krzywdę.
Co do AI widzę następujące zagrożenie - drastycznie spadnie liczba oczytanych, mających wiedzę ludzi. Nawet teleturnieje nie będą miały kogo przyjmować albo... też obniżą poziom. :)
Zastanawia mnie kwestia pisania artykułów za pomocą AI, bo przecież autorzy deklarują, żę praca jest ich samodzielnym dziełem, zatem czy złożenie takiej deklaracji, gdy artykuł pisał CzatGPT jest zgodne z prawem? Bo z prawdą na pewno nie.
Kolejna sprawa. Co się stanie, jeśli jeden z autorów pracy radośnie "pisze" artykuł za pomocą AI i nie informuje o tym reszty współautorów? Ciekawe, czy przy awansach naukowych będzie to sprawdzane. Moim zdaniem powinno, szczególnie że styl pisania np. Czata GPT jest specyficzny - zwłaszcza w języku polskim. Od razu widać, kto się tym posługuje, tym bardziej, gdy na co dzień jego mowa jest daleka od kwiecistej i pełnej kultury.
Pozdrowienia
Dzięki za komentarz!
Wykorzystanie AI może obniżyć kompetencje kognitywne badacza. No bo po co się wysilać, kiedy coś może wykonać zadanie za nas?
Co do samodzielności dzieła, warto kierować się wytycznymi wydawnictwa. A te bywają różne - od całkowitego zakazu po sporą swobodę.
Odnośnie stylu ChatGPT - warto pamiętać, że to narzędzie ogólne. Są narzędzia specjalistyczne, piszące językiem naukowym, np Scite
Dziękuję za artykuł. Ze swojej strony dodam, że sprawdza się:
1. Opracowanie własnej metodologii pracy z AI.
2. Wielokrotne iteracje (w tym przy wykorzystaniu różnych narzędzi).
3. Poddawanie korekcie mniejszych fragmentów tekstu (do kilku akapitów). W takich przypadkach AI może pełnić rolę dobrego redaktora technicznego z wydawnictwa naukowego i znacząco ulepszyć nasz tekst. (Swoją drogą, pytanie akademickie: czy tekst po recenzjach, redakcji i korekcie nadal pozostaje „naszym” tekstem?).
4. Rozmowa ze źródłami. Dzięki temu możemy ocenić ich jakość i przydatność przed pełnym przeczytaniem. Zauważyłem, że liczba tekstów „kontekstowych” czytanych lub przeglądanych przeze mnie w trakcie pisania artykułów wzrosła o 29-30%.
5. Ostatnia wersja tekstu zawsze przechodzi przez trzy etapy recenzji: osobistą (jestem dość krytyczny), żony (ta sama dziedzina, jeszcze większy krytycyzm) oraz ChatGPT, z podniesionymi kryteriami analizy do poziomu „mega krytykant”.
Jeszcze raz dziękuję za poruszony temat. Pozwolę sobie również zauważyć pewien zabawny paradoks: Pański tekst dla części odbiorców może wydawać się „zbyt wcześnie”, a z punktu widzenia technologii – już przestarzały (ze względu na szybkie pojawienie się agentów AI).
Tekst został skorygowany przez mojego osobistego asystenta AI.
Dzięki za szczegółową odpowiedź. Działania są super, ja szczególnie lubię rozmowę ze źródłami. Wgrywam 50 PDFów do aplikacji (fajnie sprawdza się ChatDOC albo NoteBookLM), zadaję pytanie i dostaję odpowiedź. Świetna metodyka opracowywania notatek.
I uwaga końcowa - pełna zgoda, choć ja traktuję niektóre aplikacje jak agentów.
Żałosne! To jest wielokrotny plagiat, w tym ostateczny, bo napisany przez AI. Róbta tak dalej!
Panie Przemku,
Consensus jest bardzo, bardzo ograniczony, jeśli będziemy sie nim posługiwać, pominiemy olbrzymi odsetek artykułów naukowych. Pod tym katem dużo lepiej radzi sobie Scholar GPT. Proszę porównać i rozważyć modyfikację artykułu. Zapraszam do kontaktu również na prv jeśli ma Pan dostep do maila w podpisie
Bardzo dziękuję Panie Grzegorzu. W tekście wyraźnie piszę, że trzy aplikacje AI do wyszukiwania tekstów mają charakter uzupełniający. Oczywiscie wsrod nich sa lepsze i gorsze. Faktem jest, że każda z nich da kulka, a czasem kilkanaście pozycji, ktorych nie znajdziemy gdzie indziej. Jest to zatem dodatek do kwerendy.
Adres niestety się nie wyswietla, ale proszę zajrzeć na mój kanał. Jest tam mój adres e-mail. Link do kanalu w moim bio
Sztuczna inteligencja może być na tym etapie tylko problemem dla pseudonauki. Prawdziwa nauka polega na wykonywaniu badań naukowych, opisanie ich wyników publikacji to tylko końcowy etap, wisienka na torcie a nie istota rzeczy. (Oczywiście można wszystko zmyślić ale to nie nauka tyko kodeks karny)
A jeśli sztuczna inteligencja zrobi coś lepiej od Ciebie? Np znajdzie wątkli w literaturze, któych Ty nie widzisz. Odrzucisz, bo to "nie Twoje"?
Raczej chodziło o to że pisanie publikacji nie jest najistotniejsze, jeżeli poprzedzone było badaniami - to co zrobiono jest ważne a opisanie tego tak czy siak, lepiej lub gorzej, z AI lub bez jest drugorzędne (tak czy inaczej w publikacji będą wyniki moich badań tzn. Prawdziwa Nauka).
Zgoda. Sam proces badawczy (np realizacja eksperymentów) także coraz częściej jest wspierany przez algorytmy AI, głównie w naukach o zdrowiu
Bicie piany. Od lat AI recenzuje teksty naukowe i odpowiada za korespondencję z autorami i co.... Znakomita większość manuskryptów jest odrzucana przez lub na podstawie recenzji AI i co.... Podyskutujcie o ograniczeniach dla wydawców.... Ale niestety Wydawcy mają w świecie nauki pozycję hegemona decydują o wszystkim i nawet duże państwa nie są w stanie się im przeciwstawić. A my tymczasem podgryzamy się nawzajem.
Czy zdecydowana większość to zapewne zależy od dziedziny, obszaru badań i konkretnego czasopisma. Z pozycją wydawców niewiele możemy zrobić, dopóki uczelnie wydają publiczne pieniądze na publikowanie wyników badań. Każde wydawnictwo ma swoją AI policy, w ramach któej naukowiec może korzystać z AI. Jeśli dzięki temu, mieszcząc się w tych ramach, pisze lepiej i szybciej, to dlaczego nie? Choć oczywiście nie każdy lubi.
Tekst jest bardzo "generatywny". Napisany przez sztuczną inteligencję?
Elicid, Scispace czy Consensus wykonują tylko wstępną filtrację, poza tym nie robią nic więcej niż Gemini, ChatGPT czy Claude. Z mojego doświadczenia wynika, że Gemini poradzi sobie lepiej z dużą ilością literatury niż np. Elicit. No i kluczowa sprawa, pominięta przez autora, gdzie gromadzić i jak przeglądać ogromne ilości danych z przeglądu literatury.
Ten artykuł nie został napisany przez AI. Styl jest zupełnie inny. Nie zgadzam się, że pierwszy model przechodzi do historii.
Jest ciągle wiele osób, które korzystają z tego modelu. Podobnie jak wiele osób wciąż ręcznie tworzy przypisy, to jednak jest ich coraz mniej. To nie wyjątki decydują o tym, co jest historią.
Styl nie jest już dzisiaj problemem. Najłatwiejszy sposób żeby kontrolować styl, to przesłanie AI próbki swojego tekstu, i zaznaczenie w promptcie, żeby trzymała ten styl. Są też liczne narzędzia online zmiany stylu na bardziej ludzki.
Nie wiem, czy artykuł był napisany przez AI, tylko że merytorycznie wygląda na taki. Wymieniono kilkanaście narzędzi, niektóre bez sensu, niektórych brakuje. Tak pisze AI, jeżeli źle przygotujemy prompt.
Dziękuję za komentrarz.
Nie, został napisany ręcznie, ale porównanie do treści generatywnych traktuję jako komplement. Proszę zwrócić uwagę na niezwykle czytelną strukturę tekstów generowanych przez LLM. Jeśli osiągnąłem podobną, to tylko się cieszyć. Być może pewien wpływ na formę moich tekstów ma fakt, że je dyktuję. Stanowią one dla mnie formę rozmowy z hipotetycznym odbiorcą.
Przechodząc do merytoryki. Ma Pan (Pani?) rację, że narzędzia AI do wyszukiwania literatury mają charakter pomocniczy. Podkreślam to wyraźnie w tekście. Czy Gemini radzi sobie lepiej niż Elicit? Zależy, w jakim aspekcie. No i kwestia danych - każda z przywołanych przeze mnie aplikacji daje możliwość eksportu bazy do Excela, o czym też piszę. Powstają ładne, zgrabne tabelki, któe fajnie się czyta. Podobne do tych wygenerowanych w Scopus.
- Spreadsheet (Excel itd) nie jest właściwym pojemnikiem na dane przy tworzeniu artykułu naukowego, potrzebna jest relacyjna baza danych. Na razie, nie znam narzędzie AI, które potrafiłoby tworzyć takie bazy (swoją drogą, powinno być, bo tworzenie relacji jest podstawą działania LLM). Można generować dane do plików (np. JSON) a później ręcznie zaczytywać do bazy.
- Wykorzystanie AI do tworzenia artykułu, nie jest moim zdaniem wadą. Przez chwilę tak będzie traktowane przez konserwatywną społeczność naukową, ale myślę, że w przyszłości LLM AI będzie nieodzownym NARZĘDZIEM pracy naukowca, jak komputer dzisiaj, tyle że bez człowieka się nie obejdzie. Na pierwszej stronie helpa do Chata GPT jest napisane, żeby uważać z tworzeniem bibliografii za pomocą Chata, bo będzie halucynował przy obróbce linków.
Nie przesadzajmy. 99% albo wręcz 99,9% naukowców nie ma żadnego pojęcia o Json i relacyjnych bazach danych. Dla nich zwykły klasyczny arkusz w Excelu będzie dobrym narzędziem. Artykuł dotyczy wykorzystania AI przez naukowców, a nie naukowców informatyków. A drugi punkt - jak najbardziej się z tym zgadzam
Dziś kontrola człowieka jest konieczna, jutro może nie być. Stąd wizja modelu partnerskiego.