Polscy naukowcy opracowali duży model językowy LongLLaMA, który potencjalnie pozwoli obsługiwać 64 razy więcej tekstu niż ChatGPT. Osiągnięcie badaczy z Uniwersytetu Warszawskiego, Instytutu Matematycznego PAN oraz ośrodka IDEAS NCBR zapowiada nowy krok w rozwoju modeli językowych.
LongLLaMA to „polski” duży model językowy, dostępny dla każdego w internecie. Może obsługiwać jednorazowo 8 tysięcy tokenów, czyli w przybliżeniu 30-50 stron tekstu, a w przypadku niektórych zadań znacznie więcej, nawet 256 tysięcy tokenów, chociaż to tylko wynik techniczny. Przyjmijmy, upraszczając, że 1 token to 1 słowo. Oznacza to, że 2 tysiące słów składa się na ok. 7-stronicowy artykuł, z kolei 256 tysięcy słów to w przybliżeniu długość powieści Harry Potter i Zakon Feniksa albo Ulisses.
Model oparty na oprogramowaniu OpenLLaMA, stworzonym przez Meta (właściciela Facebooka), opracowali: Szymon Tworkowski, Konrad Staniszewski, Mikołaj Pacek i Piotr Miłoś – badacze związani z IDEAS NCBR, Uniwersytetem Warszawskim i Polską Akademią Nauk, oraz Yuhuai Wu, jeden ze współtwórców xAI, start-upu Elona Muska, a także Henryk Michalewski, związany z UW i Google DeepMind.
Od marca pojawiają się pierwsze duże otwarte modele językowe o otwartym kodzie źródłowym. Pozwalają one naukowcom na zaawansowane prace, bo obecnie nie możemy stworzyć własnego LLM od zera. Kiedy Meta wypuściła OpenLLaMA, naukowcy z całego świata, między innymi nasza grupa, wzięli go na warsztat i modyfikowali – wyjaśnia dr hab. Piotr Miłoś, lider zespołu badawczego w IDEAS NCBR, który przyczynił się do opracowania modelu. – LongLLaMA jest w stanie przetwarzać znacznie większy kontekst niż było to wcześniej możliwe, czyli potrafi w jednym kawałku „zjeść” znacznie więcej tekstu.
Ogromne możliwości i niezwykła dokładność
Przewaga LongLLaMA nad innymi modelami polega na tym, że potrafi przetwarzać bardzo długie dane wejściowe. Dzięki temu generuje bardziej spójne i trafne odpowiedzi. Może obsłużyć dowolną ilość kontekstu bez obcinania go i wypełniania, co pokazały testy z hasłem. Badacze sprawdzali, czy po otrzymaniu bardzo długiego promptu LongLLaMA będzie w stanie przypomnieć sobie hasło podane na początku.
Podczas, gdy OpenLLaMA dawała sobie radę tylko z promptem o długości 2 tys. tokenów (w przypadku dłuższych kontekstów jej efektywność spadała do zera), LongLLaMA utrzymywała 94,5 proc. dokładności po otrzymaniu promptu o długości 100 tys. tokenów i 73 proc. dokładności po otrzymaniu 256 tys. tokenów.
Co więcej, model ten potrafi obecnie wytwarzać spójne teksty o długości 8 tys. tokenów, a potencjalnie nawet 256 tys. tokenów, w czym znacząco przewyższyłby m.in. ChatGPT. Istotne, że zużywa stosunkowo mało energii – do korzystania z LongLLaMA wystarczy pojedynczy procesor – i pracuje bardzo szybko. Może być wykorzystywany do wszystkich zadań, w których już pomagają nam chatboty. Chodzi np. o generowanie i edycję tekstu, rozmowę z użytkownikiem, tworzenie streszczeń, tłumaczenie itd.
Czym różni się LongLLaMA od ChatGPT?
LongLLaMA w przeciwieństwie do najsłynniejszego dotąd chatbota – ChatGPT – nie posiada interfejsu w internecie, ale każdy może pobrać model ze strony HuggingFace i uruchomić go na własnym komputerze. Otwarte oprogramowanie mogą modyfikować informatycy na całym świecie, co odróżnia je od oprogramowania ChatGPT, które nie zostało udostępnione publicznie, choć wiadomo, że również bazuje na architekturze Transformer. Jest to rodzaj architektury sieci neuronowej, która analizuje tekst, aby rozróżnić skomplikowane powiązania między słowami na wielu warstwach, ucząc się wzorców na podstawie ogromnych ilości danych. Technologia ta zrewolucjonizowała przetwarzanie języka naturalnego, umożliwiając chatbotom generowanie tekstu, tłumaczenie, rozmawianie z użytkownikiem i wiele innych zadań na poziomie niedostępnym wcześniej dla sztucznej inteligencji.
Kiedy zadajemy pytanie chatbotowi korzystającemu z Transformera, zmienia on tekst na tokeny. Są to fragmenty informacji, zwykle mające długość pomiędzy jednym znakiem a jednym słowem. W zdaniu „W 2023 roku, niespodziewanie, chatboty zmieniły nasze życie” czatbot może zobaczyć przykładowo siedem słów, liczbę 2023, dwa przecinki i kropkę. Dzięki dzieleniu tekstu na tokeny sztuczna inteligencja potrafi efektywnie przetwarzać informacje.
Jednak liczba tokenów, jaką może przyjąć chatbot jest ograniczona – w przypadku ChatGPT 3.5 limit tokenów wynosi 4096, OpenLLaMA – 2000, a Google Bard – około 1000. Dlatego, gdy zadajemy chatbotowi długie pytanie lub podajemy dużo informacji, może być konieczne ucięcie lub pominięcie niektórych fragmentów, aby zmieścić się w limicie tokenów. Większość istniejących chatbotów nie potrafi analizować całej książki, długiej rozmowy czy artykułu.
Pełny potencjał dużych modeli językowych jest często ograniczony ze względu na to, ile kontekstu może przyjąć dany model – tłumaczy dr hab. Piotr Miłoś. – Dlatego wprowadziliśmy Focused Transformer, technikę wykorzystującą proces szkoleniowy inspirowany uczeniem kontrastowym (contrastive learning). To nowatorskie podejście pozwala na strojenie (fine-tuning) dostępnych już LLM, tak by były zdolne przyjmować większy kontekst.
Badacz dodaje, że modele takie jak LongLLaMA wydają raczej surowe informacje, na których dopiero można coś zbudować, np. analizować tekst albo produkować kod.
LongLLaMA to duże osiągnięcie, ponieważ pokazuje, że duże modele językowe mogą pokonać ograniczenia związane z długością promptów i wytwarzać długie teksty, które będą przydatne dla człowieka – konkluduje naukowiec związany z IDEAS NCBR i Instytutem Matematycznym PAN.
Publikacja poświęcona LongLLaMA – Focused Transformer: Contrastive Training for Context Scaling – została przyjęta na prestiżową konferencję NeurIPS 2023 w Nowym Orleanie.
MK
