Czy w nowoczesnej muzyce dyrygenta zastąpią algorytmy sztucznej inteligencji? W których brzmieniach przyszłości komputerowe bity wyprą muzyczne nuty? Jaka jest szansa, że kompozytorem będzie wciąż człowiek? Na Politechnice Warszawskiej prowadzone są pionierskie prace na temat zastosowań AI i głębokich sieci neuronowych do analizy oraz tworzenia muzyki.
A gdyby tak instrumenty nauczyły się same grać? Czy skomponowana w ten sposób muzyka odbiegałaby od napisanych przez człowieka kompozycji? Czy jesteśmy w stanie nauczyć maszyny rozumieć muzykę tworzoną przez człowieka? Sztuczna inteligencja wspólnie z uczeniem maszynowym rzuca wyzwanie współczesnym twórcom muzyki. Odpowiedzią na pytania z domeny music information retrieval zajmuje się dr inż. Mateusz Modrzejewski z Zakładu Grafiki Komputerowej Wydziału Elektroniki i Technik Informacyjnych Politechniki Warszawskiej. Takie pionierskie w skali światowej badania realizowane są nie na największych scenach operowych, lecz w laboratoriach stołecznej uczelni.
W badaniach łączę swoje dwie największe pasje: muzykę oraz zagadnienia związane z głębokimi sieciami neuronowymi będącymi podstawą uczenia maszynowego i zastosowań sztucznej inteligencji. Jako jazzowy perkusista z bogatym doświadczeniem scenicznym znam i rozumiem strukturę muzyki, a jako inżynier zapisuję ją nie tylko w postaci nut, ale także przedstawiam w języku komputerowym. A to jest doskonały zbiór danych wejściowych do maszynowego przetwarzania, analizy i komponowania utworów przez algorytmy sztucznej inteligencji – tłumaczy dr inż. Mateusz Modrzejewski.
Jego badania opierają się na wykorzystaniu głębokich modeli neuronowych, w tym sieci rekurencyjnych i generatywnych sieci typu GAN oraz nowoczesnych reprezentacji opartych na podejściu transfer learning. Nowe metody opracowywane są z wykorzystaniem dużych zbiorów danych w formacie audio i w formatach symbolicznych, takich jak MIDI (Musical Instruments Digital Interface). Po przetworzeniu poszczególnych utworów z wykorzystaniem algorytmów sztucznej inteligencji, możliwe jest wygenerowanie zupełnie nowej muzyki spełniającej określone założenia czy też trafna i dokładna klasyfikacja istniejącej muzyki według zadanych kryteriów, takich jak identyfikacja wokalisty, nastroju i instrumentów bądź rozpoznanie gatunku muzycznego. Autorskie rozwiązania przedstawione zostały na konferencji Artificial Intelligence and Soft Computing.
Muzyka jest bardzo abstrakcyjnym komunikatem, głęboko zakorzenionym w ludzkiej inteligencji i wrażliwości. W przypadku generowania muzyki, uwypuklamy aspekt kompozycyjny – kodujemy nuty w postaci ekspresyjnych reprezentacji tekstowych lub w formie graficznej zwanej piano roll. Sztuczna inteligencja staje się tu sprzymierzeńcem ludzkiego kompozytora, dostarcza nowych melodii, struktur i rozwiązań. Wspomagamy ludzką inteligencję i kreatywność za pomocą technik AI. Z kolei w przypadku analizy, korzystamy z technik cyfrowego przetwarzania sygnałów i badamy reprezentacje wyuczone przez głębokie sieci neuronowe. Te reprezentacje w naturalny sposób pozwalają maszynom zrozumieć treść zawartą w muzyce, a więc na przykład również zarekomendować słuchaczowi nową muzykę do posłuchania, z uwzględnieniem spersonalizowanych preferencji – dodaje inżynier z PW.
Mateusz Modrzejewski opracowane przez siebie koncepcje rozwija pod opieką prof. Przemysława Rokity w Zakładzie Grafiki Komputerowej Wydziału Elektroniki i Technik Informacyjnych Politechniki Warszawskiej. Jest też perkusistą koncertującym m.in. w Chinach, Wietnamie, Niemczech, Szkocji, Anglii, Estonii, Ukrainie oraz na wielu festiwalach i wydarzeniach muzycznych w Polsce. Zagrał z czołówką polskich artystów ponad 600 koncertów, a w 2020 r. został laureatem stypendium „Kultura w Sieci” Ministra Kultury i Dziedzictwa Narodowego. W ubiegłym roku był nominowany – jako członek zespołu Majki Jeżowskiej – do nagrody Fryderyk za płytę „Live atPol’and’ rock”.
MK, źródło: PW