Vývoj metod rozpoznání českého znakového jazyka metodami strojového učení

Abstract

Tato disertační práce se zabývá vývojem metod strojového učení pro rozpoznání českého znakového jazyka, a to jak v oblasti znakové abecedy, tak gest. Pro obě úlohy rešeršní část shrnuje relevantní metody, datové sady a současný stav poznání. Na základě této analýzy jsou definovány dva hlavní cíle. Všechny představené metody využívají extrakci příznaků v podobě klíčových bodů pózy získaných pomocí nástroje MediaPipe. První cíl využívá tyto klíčové body pro klasifikaci znakové abecedy a diakritiky. Ta je realizována kombinací různých typů neuronových sítí. Výsledná metoda je kvantitativně vyhodnocena a demonstrována v mobilní aplikaci. Druhý cíl se zaměřuje na kontinuální překlad vymezené komunikační oblasti českého znakového jazyka. Pro tyto účely práce představuje rozsáhlou datovou sadu nahrávek předpovědí počasí, pro jejichž překlad je využita architektura Transformer. Výsledný model dosahuje srovnatelných výsledků s podobnými studiemi, avšak pro delší sekvence. Kvalitativní analýza potvrdila, že model úspěšně rozpozná a překládá český znakový jazyk.

This dissertation focuses on the development of machine learning methods for recognition of Czech Sign Language, for both the sign alhpabet and gestures. For each area, the review section summarizes the relevant methods, available datasets, and current state-of-the-art. Based on this analysis, two main objectives are set. All presented methods utilize feature extraction in the form of pose-based key points obtained via MediaPipe tool. The first objective employs these key points for the classification of sign language alphabet and diacritics, using a combination of different types of neural networks. The resulting method is quantitatively evaluated and demonstrated in a mobile application. The second objective focuses on the continuous translation of a defined communication domain of Czech Sign Language. For this purpose, the dissertation introduces a large dataset of weather forecast recordings which are translated using a Transformer architecture. The resulting model achieves performance comparable to that of similar studies, but for longer sequences. A qualitative analysis confirmed that the model successfully recognizes and translates Czech Sign Language.