Program „usto−mysz” działa w sposób prosty. Kursor komputera posłuszny jest ruchom ust, rejestrowanym przez zwyczajną kamerę internetową. Każde otwarcie ust, każde ich ułożenie w dzióbek, każde mlaśnięcie lub wysunięcie języka jest wystarczającym sygnałem prowadzącym do wykonania określonego zadania.

MYSZ W USTACH

Halina Bykowska

Kamerka sprzężona z komputerem pozwala zastąpić komputerową myszkę

Nie ma obawy, chodzi jedynie o myszkę komputerową. Mgr inż. Piotr Dalka, pracownik naukowy Katedry Systemów Multimedialnych na Wydziale Elektroniki, Telekomunikacji i Informatyki Politechniki Gdańskiej opracował program, który umożliwia sterowanie pracą komputera bez pomocy klawiatury i myszki. Usta zastępują komputerową mysz.

Za swój rewelacyjny pomysł, bardzo przydatny przede wszystkim dla osób niepełnosprawnych, pracownik PG został wyróżniony w konkursie zorganizowanym przez międzynarodowe wydawnictwo Elsevier (Holandia) i Fundację Edukacyjną „Perspektywy” w Warszawie. W rywalizacji Elsevier−Perspektywy Young Researcher Award mogli uczestniczyć pracownicy naukowi, którzy nie ukończyli trzydziestego roku życia. Organizatorzy konkursu kładli nacisk na przydatność społeczną wynalazku.

Przedstawiciel gdańskiej uczelni znalazł się w grupie dziesięciu najlepszych uczestników, wyłonionych spośród pięćdziesięciu w dziedzinie elektroniki. W ubiegłym roku po raz pierwszy zorganizowano rywalizację aż w dziesięciu różnych dyscyplinach nauki.

Można nie mieć rąk

– Pomysł podsunął mój szef, prof. Andrzej Czyżewski, i to on zachęcił mnie do udziału w konkursie – mówi mgr inż. Piotr Dalka. – Katedra Systemów Multimedialnych, w której pracuję, ma na swym koncie sporo wynalazków wykorzystanych w edukacji lub medycynie. Przykładem jest między innymi program dla młodzieży z dysleksją, dla osób jąkających się lub mających problemy ze słuchem. Mój wynalazek, który nazwany został „usto−mysz”, jest tylko częścią obszernego programu, realizowanego w naszej katedrze.

– Program „usto−mysz” działa w sposób prosty – wyjaśnia. – Kursor komputera posłuszny jest ruchom ust, rejestrowanym przez zwyczajną kamerę internetową. Najpierw dokonywana jest analiza obrazu uzyskiwanego za pomocą kamerki. Każde otwarcie ust, każde ich ułożenie w dzióbek, każde mlaśnięcie lub wysunięcie języka jest wystarczającym sygnałem prowadzącym do wykonania określonego zadania.

Zadaniem sterownika jest analiza obrazu, jaki daje kamerka, podłączona do komputera. Obserwuje ona twarz osoby siedzącej przed komputerem. Następnie program wykrywa położenie głowy w obrazie pobranym z kamery. Kiedy znajdzie on położenie ust, zaczyna śledzić ich ruchy zarówno w poziomie, jak i w pionie. Ten sam program wykrywa również gesty wykonywane ustami. Oprogramowane zostały trzy gesty: otwarcie ust, ułożenie ich w dzióbek oraz wysunięcie języka. Możliwe jest oczywiście poszerzenie gamy gestów. Ruchy ust przekładane są na ruchy kursorem po ekranie monitora. Natomiast poszczególnym gestom można przypisać dowolne akcje, np. pojedyncze lub podwójne kliknięcie klikierem myszki, kliknięcie prawym klikierem bądź też poruszenie kółkiem. Można tak skonstruować program, aby samo otwarcie ust było równoznaczne z pojedynczym lub podwójnym dotknięciem lewego klikiera myszki; ułożenie ust w dzióbek mogłoby odpowiadać kręceniu kółka myszki albo przewijaniu przeglądarki internetowej. Program posiada wiele możliwości.

Wynalazek mgr. inż. Dalki testowany był głównie na studentach. Przeszedł też próby w jednej z trójmiejskich szkół podstawowych, gdzie do klas integracyjnych uczęszcza młodzież z porażeniem mózgowym. – Program przeznaczony jest dla osób, które potrafią sprawnie poruszać głową i modelować usta stosownie do wymagań – podkreśla autor wynalazku, zgłoszonego do opatentowania ze względu na swoją innowacyjność.

– Istotne, by wiedzieć, że aby móc posługiwać się komputerem, nie trzeba niczego dotykać – zaznacza autor wynalazku. – Z programu korzystać będą mogli także specjaliści pracujący na budowie lub w innych, ekstremalnych warunkach, gdzie trudności mogłoby sprawiać dotykanie ręką klawiatury lub myszki.

Mądre piktogramy

W katedrze kierowanej przez prof. Czyżewskiego powstał również inny program, oparty na podobnych zasadach, który pozwala osobom głuchoniemym lub mającym problemy z mową (może dotyczyć to np. osób po udarze) tworzyć komunikaty głosowe. Po uruchomieniu programu na ekranie pojawia się ekran z piktogramami, określający kategorie słowne albo nawet zdania, zawierające polecenia bądź prośby. Sterując ustami na poszczególne ikonki (piktogramy) można tworzyć zdania, innymi słowy – osoba sparaliżowana będzie mogła porozumiewać się z personelem medycznym lub rodziną. Możliwe jest też wbudowanie syntezatora mowy, który na głos powtarzałby (za pomocą głośnika komputerowego) komunikaty utworzone (wybrane) przez osobę niepełnosprawną.

Można też tworzyć system gier komputerowych przeznaczonych dla osób niepełnosprawnych. Samo kiwanie głową może wystarczyć do rozwiązania quizu komputerowego albo dopomóc w rozwiązywaniu testu. Zastosowań programu może być bardzo wiele.

Serce dla pracy

Laureat konkursu nie kryje, że bardzo lubi swoją pracę. Nie wyobraża sobie innej. Z komputerem zaprzyjaźnił się w dzieciństwie. Kiedy był uczniem piątej klasy szkoły podstawowej, otrzymał od rodziców 8−bitowego ATARI, a peceta z prawdziwego zdarzenia miał do swej dyspozycji będąc w liceum. Ale komputer jako taki nie fascynuje go już tak bardzo, jak młodzież licealną. Traktuje go jedynie jak narzędzie pracy, służące do wykrywania innowacyjnych rozwiązań. Jego praca dyplomowa dotyczyła rozpoznawania na komputerze dźwięków instrumentów muzycznych. Nie jest to kwestia błaha. Komputerowe wyszukiwarki reagują jedynie na hasła, zawierające wyrazy. Być może wyszukiwarki dźwiękowe są kwestią niedalekiej przyszłości? Pomogą klasyfikować albo wyszukiwać określone utwory muzyczne.

Uważa, że dopisuje mu szczęście. Pracuje pod kierunkiem szefa, który dużą wagę przywiązuje do zastosowania wynalazków w praktyce. Już wiadomo, że projekt tzw. usto−myszy na pewno nie trafi do szuflady. Kilka firm pragnie go wdrożyć.

Praktyczny doktorat

Wyróżniony wynalazek jest – jak powiada mgr inż. Dalka – jedynie produktem ubocznym. Zasadnicze znaczenie ma praca doktorska, która dobiega już końca. Jej tematem jest monitorowanie ruchu drogowego oraz jego wizualizacja na mapach numerycznych miast. Jest to program komputerowy, który rozpozna, zanalizuje i sklasyfikuje pojazdy biorące udział w ruchu drogowym. Analiza ruchu drogowego też będzie dokonywana na podstawie obrazu uzyskiwanego z kamer umieszczonych w różnych punktach miasta. Będzie można ustalić, jakie samochody i z jaką prędkością mijają pole widzenia kamery. Program ten zostanie udostępniony w serwisie internetowym, na mapach numerycznych miast. Będzie można na bieżąco ustalić, jakie jest natężenie ruchu drogowego w poszczególnych aglomeracjach. Przydać się to może np. w zarządzaniu kryzysowym.

Dwa ważne projekty naukowo−badawcze (jeden z nich jest polski, a drugi europejski – INDECT, dotyczący bezpieczeństwa) realizowane przez katedrę, gdzie pracuje Piotr Dalka, związane są bezpośrednio z jego pracą doktorską. Projekt polski dotyczy systemu multimedialnego pomagającego w zwalczaniu przemocy w szkole. Tu też przydatne będą kamerki.

Część badań objętych doktoratem wykorzystywana jest już w praktyce. Dotyczy to komputerowej analizy poziomu hałasu w aglomeracjach. Umożliwiają to stacje monitorujące parametry dźwięku za pomocą małego komputera przemysłowego, sprzężonego z mikrofonem. Komputery przemysłowe, umieszczone w różnych punktach miasta, dokonują obliczeń parametrów dźwięku i przekazują je następnie do serwera. Na tej podstawie dokonuje się analizy hałasu ulicznego. Pozwoli to monitorować na bieżąco w różnych porach dnia i nocy poziom hałasu. Już można czuwać nad stosowaniem się do dopuszczalnych norm.

– Najważniejsze jest, aby móc pracować spokojnie i nie martwić się o najbliższą przyszłość – powiada mgr inż. Dalka, zatroskany niełatwą sytuacją na rynku pracy. Uważa, że poczucie bezpieczeństwa pozwala bez przeszkód realizować marzenia, a te zawsze dodają skrzydeł.