Aktualności
Badania
20 Grudnia
Źródlo: www.pw.edu.pl
Opublikowano: 2018-12-20

Studenci PW stworzyli algorytm do przekształcania wideo w komiks

Studenci Wydziału Elektroniki i Technik Informacyjnych Politechniki Warszawskiej opracowali algorytm do przekształcania wideo w komiks. Comixify automatycznie wybiera najciekawsze i najważniejsze klatki z przesłanego filmu, a potem układa je, dopasowuje do ramek i przerabia graficznie. Tak powstają kadry komiksu.

Comixify jest rezultatem projektów dyplomowych realizowanych przez studentów od początku roku. Pomysł narodził się dzięki połączeniu zainteresowań studentów (związanych z komiksami i transferem stylu przy użyciu uczenia maszynowego) oraz dotychczasowych publikacji Zakładu, w tym m.in. tej dotyczącej przewidywania popularności treści w Internecie. Przekształcanie filmu w komiks jest podzielone na dwa główne etapy: ekstrakcję klatek i transfer stylu.

Najpierw wyodrębniane są reprezentatywne sceny z nagrania. Żeby to zrobić, rozwinięto algorytm oparty o metodę uczenia ze wzmocnieniem (Reinforcement Learning), a mający na celu inteligentne podsumowanie filmu. Poprzez dodanie modułu estymującego jakość zdjęcia oraz jego popularność, Comixify jest w stanie nie tylko wybrać z filmu klatki najbardziej reprezentatywne, ale również te, które prezentują najwyższy potencjał estetyczny i mają największą szansę na popularność. Po uzyskaniu ramek odbywa się transfer stylu do obrazów, czyli nadanie im komiksowego charakteru. W tym celu studenci wdrażają generatywny model sieci neuronowych typu GAN. To technika uczenia maszynowego za pomocą dwóch różnych sieci: generatora i dyskryminatora. Podczas trenowania algorytm otrzymuje dane (np. obrazki), które generator wykorzystuje do tworzenia nowych instancji danych. Dyskryminator zaś ma na celu sprawdzenie, czy instancja pochodzi z zestawu danych treningowych (prawdziwych), czy wygenerowanych przez sieć generatora (fałszywych). Proces trwa do momentu, w którym generator będzie tworzył instancje tak podobne do zestawu treningowego, że dyskryminator nie będzie już w stanie stwierdzić różnicy.

Na stronie internetowej Comixify można już zobaczyć m.in. komiksy wygenerowane z fragmentów filmów „Pulp fiction” i „Gwiezdne wojny: Część I – Mroczne widmo”. Narzędzie opracowane przez zespół z Politechniki Warszawskiej każdy może też bezpłatnie przetestować, przesyłając własne pliki (do 50 MB) albo korzystając z linków z YouTube’a. W Comixify nie ma obostrzeń dotyczących długości filmu.

Publikacja naukowa opisująca algorytm ukazała się w Internecie 12 grudnia 2018 roku i z miejsca wywołała falę zainteresowania od Japonii, przez Australię, Indie, Francję, po Stany Zjednoczone. W tym czasie strona internetowa projektu zanotowała ponad 140 tysięcy wejść, wygenerowano na niej kilkanaście tysięcy komiksów, a twórcy otrzymali liczne wiadomości od zainteresowanych rozwiązaniem producentów filmowych oraz wydawców komiksów z Europy i Stanów Zjednoczonych. W niedalekiej przyszłości projekt zostanie rozszerzony o nowe funkcjonalności: generowanie kolejnych layoutów oraz rozpoznawanie głosu, które umożliwi dodawanie do obrazów także tekstu. Odpowiadając na międzynarodowe zainteresowanie, autorzy Comixify szukają również możliwości finansowania dalszych prac. Obecnie komiksy (w różnych formach: od rysunkowej do filmowej) cieszą się ogromną popularnością na całym świecie. Twórcy muszą się więc liczyć nie tylko z rosnącym zapotrzebowaniem na tę formę sztuki, ale też z coraz większymi oczekiwaniami odbiorców. Dlatego rozwiązanie stworzone na PW może ułatwić, a nawet zrewolucjonizować sposób, w jaki przetwarza się wideo na komiksowe obrazy.

Projekt stworzyli studenci Wydziału Elektroniki i Technik Informacyjnych: inż. Maciej Pęśko, Adam Svystun i inż. Paweł Andruszkiewicz pod opieką naukową pracowników Zakładu Grafiki Komputerowej Instytutu Informatyki: prof. dr. hab. inż. Przemysława Rokity i dr. inż. Tomasza Trzcińskiego.

Źródło: PW

 

Dyskusja (0 komentarzy)