Automatické rozpoznávání matematických výrazů pomocí neuronových sítí
Loading...
Date
Authors
Halva, Vladislav
ORCID
Advisor
Referee
Mark
A
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Tato práce se zabývá problematikou automatického rozpoznávání matematických výrazů pomocí neuronových sítí. Obsahuje přehled existujících přístupů pro tuto úlohu a zaměřuje se zejména na rozpoznávání ručně psaných matematických výrazů a využití grafových neuronových sítí. Jádrem navrženého systému pro rozpoznávání ručně psaných matematických výrazů je model neuronové sítě typu kodér-dekodér využívající grafové neuronové sítě pro přirozenou práci s hierarchickou strukturou matematických výrazů. Úspěšnost systému je vyhodnocena na datové sadě CROHME, která byla publikována v rámci stejnojmenné soutěže v rozpoznávání matematických výrazu. Součástí práce jsou také experimenty, které blíže studují navržený model. Navržené řešení dosahuje úspěšnosti 13.34% ExpRate, tedy přesného rozpoznání matematického výrazu na testovacích datech sady CROHME 2019. Přínosem této práce je zejména návrh metody použití grafových neuronových sítí pro rozpoznávání matematických výrazu z obrázků a obecně jejich zpracování v grafové doméně.
This thesis deals with automatic mathematical expressions recognition using deep neural networks. It contains an overview of existing approaches and focuses mainly on handwritten mathematical expressions and the use of graph neural networks. The core of the proposed system for handwritten mathematical expressions recognition is an encoder-decoder neural network model using graph neural networks to exploit the hierarchical structure of mathematical expressions. The designed system is evaluated on the CROHME dataset, which was published within the competition of the same name on mathematical expression recognition. The work also includes description of experiments performed with the designed model. The proposed solution achieves an exact expression recognition rate of 13.34% on the CROHME 2019 test dataset. The contribution of this work is mainly a method of using graph neural networks for mathematical expression recognition from images and their processing in the graph domain.
This thesis deals with automatic mathematical expressions recognition using deep neural networks. It contains an overview of existing approaches and focuses mainly on handwritten mathematical expressions and the use of graph neural networks. The core of the proposed system for handwritten mathematical expressions recognition is an encoder-decoder neural network model using graph neural networks to exploit the hierarchical structure of mathematical expressions. The designed system is evaluated on the CROHME dataset, which was published within the competition of the same name on mathematical expression recognition. The work also includes description of experiments performed with the designed model. The proposed solution achieves an exact expression recognition rate of 13.34% on the CROHME 2019 test dataset. The contribution of this work is mainly a method of using graph neural networks for mathematical expression recognition from images and their processing in the graph domain.
Description
Citation
HALVA, V. Automatické rozpoznávání matematických výrazů pomocí neuronových sítí [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2022.
Document type
Document version
Date of access to the full text
Language of document
cs
Study field
Strojové učení
Comittee
prof. Dr. Ing. Jan Černocký (předseda)
doc. Ing. František Zbořil, Ph.D. (místopředseda)
Ing. Michal Hradiš, Ph.D. (člen)
doc. Ing. Vladimír Janoušek, Ph.D. (člen)
Ing. Ondřej Kanich, Ph.D. (člen)
Ing. Jaroslav Rozman, Ph.D. (člen)
Date of acceptance
2022-06-17
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A. Otázky u obhajoby: V práci (i ve videu) uvádíte přesnost rozpoznání 13%, což je poměrně málo ve srovnání s citovanými metodami, ale ani ony nedosahují příliš vysoké přesnosti rozpoznávání například oproti čtení textu. Čím si to (obojí) vysvětlujete? Na obrázku 6.5 ukazujete "chybně" rozpoznané výrazy. Mně se ale zdá případ b) rozpoznaný správně. V čem je chyba? Na jaké úrovni kontrolujete syntaktickou správnost výrazů v systému LaTeX?
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení