Od lutego każda jednostka prowadząca studia wyższe lub szkołę doktorską może całkowicie bezpłatnie zbadać, czy dana praca dyplomowa została napisana z użyciem sztucznej inteligencji. Nowa funkcja Jednolitego Systemu Antyplagiatowego pozwoli jeszcze skuteczniej walczyć z nieuczciwością.
Narzędzia do automatycznego generowania tekstu są coraz bardziej popularne ze względu na łatwość w obsłudze i możliwości, które oferują użytkownikom. Korzystanie z pomocy „maszyn” przy pisaniu tekstów, w szczególności jako wsparcie przy poprawie jakości i poprawności treści, zwiększa zapotrzebowanie na takie programy. Tworzenie tekstów przez narzędzia sztucznej inteligencji może zwiększać produktywność i kreatywność użytkowników. Zdarzają się jednak próby generowania całości lub znacznej części tekstu i podpisywania go swoim nazwiskiem. Takiedziałania wzbudzają uzasadnione kontrowersje.
Narzędzia takie jak ChatGPT są popularne także wśród studentów, jednak nie istnieją jeszcze dane na temat skali tego zjawiska. Nauczyciele akademiccy zgłaszali zapotrzebowanie na narzędzie, które pozwoliłoby im sprawdzić, czy student korzystał z pomocy sztucznej inteligencji przy pisaniu pracy. W tym celu eksperci Ośrodka Przetwarzania Informacji rozbudowali Jednolity System Antyplagiatowy.
Dzięki powstaniu JSA, wszystkie prace inżynierskie, licencjackie, magisterskie i doktorskie są analizowane za pomocą tego samego narzędzia. Zapewniliśmy tym samym większą niż w latach wcześniejszych porównywalność wyników weryfikacji oryginalności prac dyplomowych pomiędzy wszystkimi ośrodkami z całej Polski – przyznaje dr inż. Jarosław Protasiewicz, dyrektor Ośrodka Przetwarzania Informacji.
Wprowadzenie Jednolitego Systemu Antyplagiatowego okazało się dużym sukcesem. Jeszcze w 2016 roku zaledwie 30–40 proc. prac dyplomowych było analizowanych pod kątem plagiatu. Od 2019 roku takim obowiązkiem objęte są wszystkie prace. System stale jest rozwijany przez ekspertów OPI, którzy pracują nad jego rozbudową i modernizacją.
Niedawno jednak pojawiło się nowe wyzwanie, jakim jest wzrastająca popularność narzędzi do automatycznego generowania treści. Dlatego niezwłocznie przystąpiliśmy do pracy, aby dodać do JSA funkcję, która pomoże promotorom w identyfikacji, czy dana praca dyplomowa została napisana przy pomocy narzędzi takich jak choćby popularny ChatGPT – dodaje dyrektor OPI.
Jak JSA wykrywa zastosowanie sztucznej inteligencji?
Metoda detekcji wdrożona do systemu JSA opiera się na hipotezie, że im większa regularność w tekście, tym jest większe prawdopodobieństwo, że został on wytworzony przez model językowy. Założenie takie ma swoje źródło w zastosowanym algorytmie, który jest w stanie wygenerować tekst regularny i przewidywalny.
Model zastosowany w JSA został przeszkolony na dużym zbiorze danych tekstowych. Jego działanie najprościej wytłumaczyć stosując miarę Perplexity. Zgodnie z naszymi założeniami, tekst wytworzony przez losowy dobór słów powinien charakteryzować się wysoką wartością Perplexity, natomiast tekst bardzo szablonowy i przewidywalny niską wartością Perplexity. W przypadku tego ostatniego właśnie istnieje zasadne podejrzenie, że powstał on przy użyciu sztucznej inteligencji – tłumaczy Małgorzata Wartacz, kierowniczka projektu JSA w OPI, która odpowiada za rozwój systemu.
Dodaje przy tym, że JSA nie daje stuprocentowej pewności co do tego, czy tekst jest plagiatem lub został napisany przez sztuczną inteligencję – określa wyłącznie prawdopodobieństwo. Dlatego zawsze ostateczna decyzja należy
do promotora. To on weryfikuje raport otrzymany z JSA i stwierdza, czy dana praca dyplomowa jest oryginalna. Warto podkreślić, że na razie na rynku nie istnieje żadne rozwiązanie, które lepiej pomogłoby udzielić odpowiedzi na pytanie – czy tekst został napisany przez sztuczną inteligencję? Nawet twórcy technologii ChatGPT nie mają takiego narzędzia, które byłoby w stanie dokładnie ocenić czy praca została napisana przez bota, czy przez człowieka.
Nie jest to przy tym ostatnie słowo ekspertów z OPI odpowiedzialnych za JSA. Cały czas rozwijają oni narzędzia do detekcji tekstu napisanego przez AI. Wraz z rozwojem nowych możliwości zastosowania sztucznej inteligencji do opracowywania różnych treści i analiz, będą pojawiać się również nowsze rozwiązania do ich wykrywania.
JSA – ponad 400 instytucji i 100 tys. użytkowników
Rola, jaką pełni JSA w szkolnictwie wyższym, jest niezwykle istotna. Narzędzie OPI dostępne jest w każdej instytucji w Polsce uprawnionej do nadawania tytułu zawodowego lub stopnia naukowego. W ciągu czterech lat od uruchomienia JSA w styczniu 2019 roku za pomocą systemu przebadano już około 1,5 mln prac dyplomowych. Średnio na jednego promotora przypada 12 takich prac. Ponad 440 instytucji używało JSA od momentu uruchomienia systemu i ma on już ponad 100 tys. użytkowników.
System OPI stanowi realne wsparcie dla pracy każdego promotora w Polsce. O znaczeniu wpływu JSA na cały system szkolnictwa wyższego najlepiej świadczą dotychczasowe statystyki. Dotychczas ponad 320 tys. prac, które zostały uznane przez system za potencjalne plagiaty, nie zostało zaakceptowanych przez promotorów. Oznacza to, że JSA pomógł zapobiec ponad 320 tys. nadużyć, polegającym na nieprzestrzeganiu prawa autorskiego.
MK, źródło: OPI
Każdy promotor, to inne podejście do JSA i wszystkich jego wskaźników. Od kilku lat pomagam studentom w redukowaniu wskaźnika podobieństwa, po cofnięciu przez promotorów prac do poprawy i z zaskoczeniem przyjmuję informację, że prace są cofane lub odrzucane, ponieważ wykazane zostało podobieństwo w ORPPD i BPA z innymi pracami dyplomowymi, do których studenci nie mieli jakiejkolwiek, nawet najmniejszej możliwości uzyskać dostępu. W ostatnim przypadku, w którym pomagałem, jednemu studentowi wykazało podobieństwo z 36 innymi pracami. Jakie było zaskoczenie, że po dokładnym przeredagowaniu całej pracy od deski do deski wskaźnik spadł jedynie o 2%, a długość najdłuższych fraz wzrosła 3- lub 4-krotnie, z ok. 6 tys. do ponad 25 tys. Absurdalne wyniki pojawiły się również, w mojej własnej pracy dyplomowej, która była pierwszym w skali całego kraju opracowaniem naukowym konkretnej nowej kwestii. System wykazał podobieństwo z 11 różnymi pracami, a wskaźnik podobieństwa wynosił kilka procent - i to z samych prac dyplomowych, ponieważ żadne inne źródła (akty prawne, internet, bazy instytucji) nic nie wykazały.
Tym samym uważam, że dodawanie "jakiegoś" wskaźnika dotyczącego sztucznej inteligencji, przyniesie więcej problemów niż korzyści i to nie tylko dla studentów, ale też promotorów i uczelni.
Aktualnie nie ma żadnych narzędzi, które mogłyby określić, czy dany tekst powstał za sprawą AI, czy nie. Sami twórcy ChatuGPT nie potrafią tego zrobić.
Ponadto, jeśli ktoś myśli, że jest sporo prac, które powstają za pomocą AI i niezauważalnie przechodzą weryfikację promotorów, pragnę uspokoić i zachęcić do samodzielnego wykorzystania możliwości ChatuGPT. Niestety (lub stety) aktualnie dostępne "generatory tekstu" zamiast tekstów naukowych do wykorzystania chociażby w pracy dyplomowej, produkują jakiś nienaukowy bełkot, który - od tekstu typowo naukowego - potrafią odróżnić już studenci na studiach magisterskich, a niektórzy i na licencjacie.
Bardzo się cieszę, że pojawiła się tu wypowiedź człowieka który musi sobie radzić z tymi pseudo ułatwieniami. Może twórcom "sprawdzaczy" czyli testów różnej maści da ta wypowiedź do myślenia.
No właśnie Cyt.: "... Dotychczas ponad 320 tys. prac, które zostały uznane przez system za potencjalne plagiaty, nie zostało zaakceptowanych przez promotorów... " a to tylko prawdopodobnieństwo cyt.: "... Dodaje przy tym, że JSA nie daje stuprocentowej pewności co do tego, czy tekst jest plagiatem lub został napisany przez sztuczną inteligencję – określa wyłącznie prawdopodobieństwo. Dlatego zawsze ostateczna decyzja należy
do promotora ...". Co jeśli promotorzy pójdą na "łatwiznę" i każde "prawdopodobniestwo" potraktują jako fakt? A jak traktowane są cytaty np. w pracach humanistycznych?