Hlavní stránka Info portálu ZČU

Před třemi roky, ještě jako čerstvý student pražského Gymnázia Jana Keplera, oslovil Matyáš Boháček katedru kybernetiky Fakulty aplikovaných věd (FAV) Západočeské univerzity v Plzni (ZČU) s cílem dozvědět se více o strojovém učení. Z prvotního kontaktu se zrodila několikaletá spolupráce, jejímž výsledkem je unikátní aplikace na rozpoznávání českého znakového jazyka. V budoucnu by měla aplikace převádět znakový jazyk rovnou do psaného textu.

„Svůj věk jsem nezmiňoval, protože co si budeme povídat – když vám napíše čerstvý středoškolák, kterého ani neznáte, asi se vám nebude chtít ztrácet s ním čas. Ale reakce doktora Hrúze byla nesmírně vstřícná a pozitivní. Od začátku se mnou jednal jako se sobě rovným. A toho si moc vážím, protože o strojovém učení jsem vlastně nic nevěděl, jen jsem měl nějaké programovací znalosti a schopnosti,“ vzpomíná na začátky spolupráce dnes už absolvent gymnázia Matyáš Boháček.

„Matyáš za mnou přišel na fakultu s tím, že vyvíjí aplikaci na rozpoznávání českého znakového jazyka a že si na internetu zjistil, že se tím zabýváme i my na FAV. Navrhl jsem mu, že by pod mým vedením mohl pracovat na výzkumu,“ ohlíží se o tři roky zpět Marek Hrúz z FAV, který se zabývá technologiemi počítačového vidění a umělé inteligence.

Společně s Markem Hrúzem a jeho kolegy z katedry kybernetiky a výzkumného centra NTIS FAV tak začal talentovaný vědec vyvíjet aplikaci pro rozpoznávání českého znakového jazyka, která by zvládla kontinuální znakování přepisovat do textové podoby. Cílem bylo usnadnit komunikaci neslyšících nebo lidí s výrazným sluchovým defektem s lidmi, kteří neovládají znakový jazyk. Aplikaci by však mohli využívat i odborníci či lidé slyšící, kteří se znakový jazyk učí a chtějí se ujistit, že znakují správně. „Já sám jsem se začal učit znakový jazyk v době covidu, tudíž se jednalo převážně o online kurzy, a zjistil jsem, že neexistuje žádný slovník nebo překladač, který by mi potvrdil, že znakuji správně,“ vysvětluje Matyáš své pohnutky.

Svůj první společný článek a také architekturu modelu Spoter pro rozpoznávání a překlad znakového jazyka prezentovali Matyáš Boháček a Marek Hrúz na konferenci Winter Conference on Applications of Computer Vision, která se konala na Havaji. „Byla to moje první akademická konference. Konala se v období covidu, takže bylo do poslední chvíle nejisté, jestli vůbec odjedu. Velkou roli hrály také finance. Bez grantů a finanční podpory, mimo jiné přímo z katedry kybernetiky FAV a od Nadace O2, bych se nemohl zúčastnit. Od té doby jsme společně s doktorem Hrúzem publikovali další články, aktualizované dle toho, jak šel výzkum dopředu. Ale tohle byl začátek,“ rekapituluje Matyáš Boháček, který za systém SPOTER obdržel v roce 2022 ocenění Česká hlavička.

Systém Spoter umí v současné době z videa rozpoznat jednotlivé znaky. Stačí se nahrát pomocí webkamery nebo vložit video a během několika vteřin se zobrazí překlad s odkazy, vysvětlivkami i regionálními verzemi znaku. Do budoucna je cílem kontinuální rozpoznávání znakového jazyka a přepis. „Člověk bude plynule znakovat a aplikace znaky rovnou přeloží do vět. O to usiluje celá odborná komunita, která se touto problematikou zabývá,“ říká Matyáš, podle kterého vývoj potrvá ještě několik let.

Výzkumníci momentálně testují, jak napojit aplikaci na databázi Dictio – výkladový slovník českého znakového jazyka, na kterém pracují odborníci na Masarykově univerzitě v Brně. Zároveň spolupracují s dalšími pracovišti nebo autory slovníků po světě. Snaží se také o uvedení do praxe. „Rád bych komukoli, koho zajímá znakový jazyk, umožnil bezplatný přístup do aplikace. Člověk by zaznakoval a aplikace by mu rovnou ukázala výsledky, nabídla by mu příbuzná slova z databáze, sdělila by mu vlastnosti znaků. To by celý vývoj značně urychlilo. Zároveň by to pomohlo v orientaci ve znakovém jazyce, protože na celém světě existuje na čtyři sta znakových jazyků a jen v České republice můžeme sledovat dialektické odchylky v Praze, Brně nebo Ostravě,“ vysvětluje. Podle jeho slov je cílem i všech zapojených výzkumníků a odborníků celosvětově aplikaci zpřístupnit komukoli, kdo o ni bude mít zájem.

Nadějný mladý vědec se nyní chystá strávit léto na stáži na Kalifornské univerzitě v Berkeley a od září bude řádným studentem na Stanfordově univerzitě, kam byl přijat do studijního bakalářského programu Computer Science. Ve spolupráci s FAV však plánuje pokračovat. „Směřování projektu řídí doktor Hrúz, vývoj aplikace a její implementace leží primárně na mně,“ uzavírá.