Nowoczesne laboratorium badań językowych otwarto na Wydziale Neofilologii Uniwersytetu im. Adama Mickiewicza w Poznaniu. Będzie gromadzić dane związane z komunikacją interpersonalną.
Laboratorium, a w nim korpus Multico, powstało dzięki ogólnopolskiemu projektowi „Cyfrowa Infrastruktura Badawcza dla Humanistyki i Nauk o Sztuce DARIAH-PL”. W korpusie naukowcy gromadzą dane związane z komunikacją interpersonalną. Interesuje ich całe spektrum informacji pojawiających się w wypowiedzi: mimika, gestykulacja, ruchy ciała, które mogą wpływać na interpretację komunikatu werbalnego. Korpus ma charakter multimodalny – łączy informacje dotyczące modalności wzrokowej (to, co widzimy) ze słuchową (to, co słyszymy).
Badacze zdecydowali, że zbiór będzie reprezentował trzy rodzaje komunikatów: wystąpienia perswazyjne (przemowy posłów w parlamencie i wystąpienia na platformie TEDex), rozmowy prowadzone w większej grupie osób (programy sportowe) i dialogi zadaniowe. Dlaczego akurat te? Bo uczestnicy posługują się w nich zróżnicowanymi środkami komunikacji. Wypowiedzi polityków cechuje na przykład cała paleta środków retorycznych.
Analiza takiego materiału może być bardzo użyteczna dla osób zawodowo zajmujących się wystąpieniami publicznymi, które chciałyby na przykład dowiedzieć się, w jaki sposób przemawia skuteczny mówca – informuje prof. Maciej Karpiński, koordynator laboratorium.
Korpus multimodalny jest próbką możliwości zespołu badawczego i laboratorium. W przyszłości naukowcy będą mogli realizować podobne korpusy na komercyjne zamówienia lub w ramach innych projektów badawczych czy badawczo-rozwojowych. Materiały można również wykorzystać w szkoleniach, m.in. z komunikacji interpersonalnej. Kolejne zastosowanie znajdą w tworzeniu awatarów – postaci animowanych, które mówią mową syntetyczną i są dość szeroko wykorzystywane przykładowo jako przewodnicy w muzeach. Ale to nie wszystko. Nagrane wypowiedzi mogą posłużyć jako materiał do trenowania systemów rozpoznawania mowy, które najczęściej mają charakter samouczący i projektowania systemów dialogowych.
Zakupiliśmy kamery rejestrujące nawet kilkaset klatek obrazu w wysokiej rozdzielczości na sekundę. Umożliwiają bardzo precyzyjną, poklatkową analizę ruchu. Dysponujemy również przenośnymi kamerami z sensorami głębi. Zastępują one wielokamerowe systemy rejestracji ruchu starszej generacji, pozwalając precyzyjnie rejestrować ruchy danej osoby. To ogromne ułatwienie i jakościowa zmiana komfortu badań, umożliwiająca między innymi pracę w terenie czy w niewielkich pomieszczeniach. Aby w naszych badaniach nawiązywać do tego, co się dzieje na świecie, musimy dysponować aparaturą spełniającą współczesne standardy techniczne – podkreśla prof. Karpiński.
Kluczową sprawą jest późniejsza obróbka danych, która teraz będzie częściowo zautomatyzowana, dzięki wykorzystaniu odpowiedniego oprogramowania. Część materiału zostanie opisana manualnie ze wspomaganiem komputerowym – zespół wykorzystuje do tego celu darmowy program Elan, będący standardem w badaniach nad komunikacją multimodalną. Do transkrypcji i a notacji, a także wybranych analiz sygnału mowy zespół stosuje program Annotation Pro, który powstał przy udziale zespołu pracowników Wydziału Neofilologii dzięki inicjatywie prof. Katarzyny Klessy.
Opisywanie materiału, obejmujące anotację ruchu i wypowiedzi, jest niezwykle pracochłonne, i w przypadku większych korpusów są to nawet tysiące roboczogodzin. Specjalista musi też kontrolować analizy realizowane automatycznie, bo wie, gdzie szukać fragmentów z błędami popełnionymi przez programy i jak je poprawiać. W takich pracach zespół często wspierają studenci specjalności lingwistyka komputerowa, którzy dzięki udziałowi w zajęciach z pogranicza lingwistyki i informatyki mają wystarczającą wiedzę i umiejętności – wyjaśnia prof. Klessa.
Korpus będzie dostępny dla naukowców bezpłatnie na platformie serwerowej konsorcjum CLARIN-PL. Poszerzy paletę korpusów powstałych już wcześniej na Wydziale Neofilologii UAM.
Ewa Konarzewska-Michalak, źródło: www.uniwersyteckie.pl