Politechnika Białostocka bierze udział w międzynarodowym projekcie Touchless AI. Jego celem jest rozwój technologii haptycznych, które umożliwiają wygenerowanie… uczucia dotyku.
Mgr inż. Maciej Szymkowski jest asystentem naukowo-dydaktycznym w Katedrze Mediów Cyfrowych i Grafiki Komputerowej Wydziału Informatyki Politechniki Białostockiej. Jako student tego wydziału zainteresował się biometrią. Był jednym z założycieli Studenckiego Koła Naukowego Biometrii, Analizy i Przetwarzania Obrazów i Sygnałów. Po studiach postanowił kontynuować swoją pasję. Teraz, już jako nauczyciel akademicki, bierze udział w międzynarodowym projekcie Touchless AI
Przesyłanie dotyku jest już możliwe. Dzięki technologiom haptycznym, dzięki możliwości generowania sygnałów, sposobom ich tworzenia, możemy w pewien sposób wygenerować uczucie dotyku. Możemy już przesyłać dotyk innej osoby czy symulować różnego rodzaju materiały, na przykład drewno, gumę. Albo wygenerować piłkę – przekonuje.
I wyjaśnia, że dotyk można przekazać przy pomocy dwóch elementów. Potrzebne są do tego technologie haptyczne, które będą generowały, poprzez odpowiednie fale, odczucia takiego dotyku na naszej dłoni. Drugim elementem jest uczenie maszynowe, czyli modele sztucznej inteligencji, które pozwalają na to, aby móc wygenerować odczucie pewnego materiału. Niezbędny jest komputer, dzięki któremu będziemy mieli połączenie z urządzeniem haptycznym, orz swoisty pulpit haptyczny. To niewielkie urządzenie, dzięki któremu jesteśmy w stanie taki sygnał odczuć.
Myślę, że w najbliższym czasie stanie się to coraz bardziej powszechną technologią, ponieważ już teraz dostępne urządzenia haptyczne możemy podłączyć przez port USB i tak naprawdę to też gwarantuje nam dostępność takich urządzeń – przyznaje Szymkowski.
Do uzyskania efektu konieczna jest wiedza dotycząca sztucznej inteligencji. Nie tylko o podstawowych modelach, jak np. sztuczne sieci neuronowe czy konwolucyjne sieci neuronowe, ale również o bardziej zaawansowanych zagadnieniach jak na przykład hybrydowa sztuczna inteligencja. To rozwiązania, które będą analizowały dane, które dostarczymy, ale również umiejscowią je w pewnym kontekście (decyzja będzie podejmowana również w oparciu o czynniki zewnętrzne).
Moglibyśmy przygotować i opracować odpowiednie modele, natomiast sam sposób fizycznego generowania sygnału musi zostać przygotowany przez specjalistów w dziedzinie fizyki, w dziedzinie sygnału – wyjaśnia Szymkowski.
Właśnie połączenie informatyki z fizyką stanowi podstawę działań w projekcie. Uczestniczą w nim także naukowcy z University College London, Universidad Pública de Navarra z Pampeluny, Uniwersytetu Kopenhaskiego. Ci ostatni są odpowiedzialni za przygotowanie biblioteki sygnałów z różnego rodzaju odczuć. Młody badacz z Politechniki Białostockiej skupi się na metodach sztucznej inteligencji, także hybrydowej, ale też opracuje modele uczenia maszynowego, które pozwolą chociażby na rozpoznawanie emocji, na ich opis.
Chcielibyśmy zintegrować to narzędzie z urządzeniem, dzięki któremu będziemy generować sygnał symulujący emocje – zapowiada.
Pierwsza prezentacja efektów pracy międzynarodowego zespołu planowana jest pod koniec tego roku. Będzie to rozwiązanie umożliwiające poczucie drugiej osoby. Jak mówi Szumkowski, wirtualny dotyk może z czasem stać się standardem. W spotkaniach biznesowych czy nawet pomiędzy bliskimi sobie osobami, będzie możliwość nie tylko ich usłyszenia, zobaczenia, ale także poczucia dotyku. Technologie haptyczne mogą być także pomocne w stworzeniu np. wirtualnej przymierzalni ubrań. Już teraz zespół z University of Glasgow pracuje nad tym, aby wykorzystać technologie haptyczne w hologramach. Przekucie tych nowinek w bardziej konwencjonalne zastosowania, może pomóc np. osobom niesłyszącym.
W przypadku, kiedy jeden zmysł nie pracuje, inne zwykle są wyostrzone. Odczucie na dłoni czy na skórze na pewno pozwoli w pewien sposób odebrać takiej osobie muzykę czy pewne rytmy. Wydaje mi się, że te technologie będą rozwijane właśnie w tym kierunku.
W projekcie uczestniczy także Krzysztof Trusiak, student piątego roku Wydziału Informatyki Politechniki Białostockiej. Zajmuje się badaniem emocji, poziomu skupienia człowieka, energii jego ruchów.
Dużo pracujemy z obrazami, z danymi, na przykład z nagrań wideo z kamer, kiedy nagrywamy siebie i chcemy coś zbadać. Pracujemy za sztuczną inteligencją, ale też opracowujemy klasyczne algorytmy przetwarzania obrazu. Jeżeli chcemy poczuć dotyk na odległość, dobrze by było też znać jakiś stan emocjonalny tego człowieka, czy jest zły, czy jest wesoły. My to widzimy, ale komputer tego nie umie rozpoznać, dlatego naszym zadaniem jest nauczenie maszyny – tłumaczy student.
Znając nieświadome reakcje ludzi na pewne stany emocjonalne, chcą też nauczyć sztuczną inteligencję rozpoznawania fałszywych emocji.
Na razie naukowcy pracują nad zintegrowaniem swojego rozwiązania z platformą Zoom, tak by można było podczas wirtualnego spotkania podać sobie dłoń. Chcą też spersonalizować sygnały haptyczne – wówczas uścisk nie będzie dla każdego taki sam, ale przekaże też indywidualne emocje, nastrój. W dalszej przyszłości zamierzają również skoncentrować się na… przesyłaniu zapachu.
Agnieszka Sakowicz-Stasiulewicz, źródło: PB