Czy smartfon wyposażony w standardową kamerę może stać się tłumaczem języka migowego? Studenci Politechniki Krakowskiej stworzyli aplikację, która wykorzystuje algorytmy widzenia komputerowego i modele uczenia maszynowego do analiz gestów dłoni i zamienia je na tekst.
Projekt studentów II roku informatyki w inżynierii komputerowej odpowiada na realny problem społeczny. Według danych Światowej Organizacji Zdrowia ponad 430 mln osób na świecie wymaga rehabilitacji z powodu istotnego ubytku słuchu, a Światowa Federacja Głuchych szacuje, że ponad 70 mln osób należy do społeczności posługujących się językami migowymi. W Polsce – jak wynika z danych GUS – na koniec 2024 roku 270,5 tys. osób miało orzeczenie o niepełnosprawności z powodu problemów z głosem, mową i słuchem.
To nie oznacza oczywiście, że wszystkie te osoby posługują się językiem migowym, ale pokazuje potrzeby osób, których dotyczą bariery komunikacyjne. Tymczasem znajomość języka migowego w społeczeństwie jest ograniczona, a dostęp do tłumacza nie zawsze jest natychmiastowy – zauważa dr inż. Karol Suchenia z Katedry Automatyki i Informatyki na Wydziale Inżynierii Elektrycznej i Komputerowej.
Jest opiekunem Koła Naukowego Mikrokontroler, którego członkowie stworzyli aplikację „Rozumiemy się bez słów”. Wykorzystuje ona algorytmy widzenia komputerowego i modele uczenia maszynowego do analiz gestów dłoni i zamienia je na tekst. To prototyp, który może stać się podstawą uniwersalnego systemu tłumaczenia języka migowego działającego na zwykłym smartfonie – bez specjalistycznych rękawic, czujników czy dodatkowego sprzętu.
Tłumacz w smartfonie
Rozwiązanie działa w czasie rzeczywistym. Kamera rejestruje obraz dłoni, po czym system wyznacza 21 punktów charakterystycznych, analizuje ich układ i ruch w czasie, a następnie klasyfikuje wykonany gest jako konkretny znak czyli literę alfabetu migowego.
System nie analizuje wyłącznie pojedynczego zdjęcia, ale również zmiany położenia dłoni w czasie, co jest kluczowe przy gestach dynamicznych – tłumaczy Oleksii Izvarin, jeden z autorów oprogramowania, student Wydziału Inżynierii Elektrycznej i Komputerowej PK.
Działanie aplikacji opiera się na dwustopniowym modelu sztucznej inteligencji. Pierwszy etap to algorytm LSTM Binary Gate, który ocenia, czy aktualny ruch rzeczywiście jest gestem, czy tylko przypadkowym ułożeniem dłoni lub ruchem przejściowym.
Dzięki temu ograniczana jest liczba fałszywych rozpoznań. Jeśli gest zostanie wykryty, sekwencja trafia do modelu klasyfikacyjnego opartego na Transformer Encoderze, który rozpoznaje jedną z liter alfabetu albo spację. Wynik przechodzi przez etap wygładzania prawdopodobieństwa, co stabilizuje odpowiedź i zapobiega przypadkowym zmianom rozpoznawanej klasy. Rozpoznany znak jest dodawany do tekstu wyjściowego w aplikacji mobilnej – wyjaśnia Oleksii Izvarin z zespołu projektowego.
Studenci podkreślają, że ich projekt to nie tylko algorytm AI, ale kompletne rozwiązanie – od analizy obrazu z kamery, przez ekstrakcję punktów dłoni, przygotowanie danych treningowych, trenowanie modeli, aż po warstwę aplikacji mobilnej. Ważnym elementem jest autorski toolset, który wspiera przygotowanie danych, wizualizację punktów dłoni, augmentację danych oraz analizę wyników trenowania.
Na świecie istnieją już podobne rozwiązania, ale młodzi innowatorzy Politechniki Krakowskiej podkreślają, że ich projekt wyróżnia prostota w obsłudze.
System został zaprojektowany jako rozwiązanie możliwe do uruchamiania z użyciem zwykłej kamery, bez konieczności stosowania specjalnych rękawic, czujników czy kosztownego stanowiska pomiarowego – tłumaczy Illia Kostruba, członek zespołu projektowego. – Innowacyjność projektu rozumiemy przede wszystkim jako praktyczne połączenie widzenia komputerowego, uczenia sekwencyjnego, aplikacji mobilnej i autorskiego zaplecza narzędziowego, z myślą o dalszym rozwoju w stronę rozwiązania użytkowego – dodaje.
Od liter do zdań
W najbliższym czasie studenci zamierzają zwiększyć z zróżnicować bazy danych treningowych, poprawić stabilność rozpoznawania oraz ograniczyć błędy wynikające z ruchów przejściowych. Docelowo system ma zostać rozszerzony z pojedynczych liter na słowa, proste frazy i zdania.
Jeżeli mówimy o wersji MVP, czyli aplikacji nadającej się do szerszych testów z użytkownikami, realny horyzont to około 9–12 miesięcy dalszych prac – szacują. – Jeżeli natomiast celem miałby być pełniejszy system rozpoznawania słów, zdań i naturalnej komunikacji migowej w zmiennych warunkach, to jest to projekt co najmniej kilkunasto- lub kilkudziesięciomiesięczny.
W planach jest również rozwój asystenta 3D, który mógłby wspierać komunikację w drugim kierunku, czyli prezentować komunikaty tekstowe w formie migowej. Autorzy zapowiadają także integrację z komunikatorami, wideokonferencjami lub systemami obsługi klienta.
MK, źródło: PK