Neuronové sítě typu Transformer pro přepis ručně psaného textu
but.committee | prof. Dr. Ing. Jan Černocký (předseda) doc. Ing. Lukáš Burget, Ph.D. (místopředseda) doc. RNDr. Milan Češka, Ph.D. (člen) Ing. Michal Hradiš, Ph.D. (člen) Ing. Jaroslav Rozman, Ph.D. (člen) doc. Ing. František Zbořil, CSc. (člen) | cs |
but.defence | Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B. | cs |
but.jazyk | slovenština (Slovak) | |
but.program | Informační technologie a umělá inteligence | cs |
but.result | práce byla úspěšně obhájena | cs |
dc.contributor.advisor | Kohút, Jan | sk |
dc.contributor.author | Vešelíny, Peter | sk |
dc.contributor.referee | Beneš, Karel | sk |
dc.date.created | 2022 | cs |
dc.description.abstract | Cieľom tejto práce je navrhnúť systém používajúci sieť typu transformer a uskutočniť s touto sieťou experimenty pri rozpoznávaní ručne písaného textu. V rámci práce sa používa multilingválna dátová sada, v ktorej prevažujú české texty. Pri experimentovaní sa zisťuje vplyv základných hyperparametrov siete, akými sú veľkosť siete, typ konvolučného kodéra a použitie rôznej tokenizácie textu. V práci ďalej využívam textové korpusy českého jazyka, ktoré sa používajú pri trénovaní dekódera. Ďalej v práci experimentujem s použitím dodatočnej textovej informácie pri procese dekódovania. Táto informácia pochádza z predchádzajúceho riadka prepisovaného obrázka s textom. Transformer dosahuje na testovacej dátovej sade chybovosť pri rozpoznávní znakov 3,41 %, čo je o 0,16 % horší výkon ako dosahuje rekurentná neurónová sieť. Pre porovnanie s ostatnými transformer modelmi z dostupných článkov, bola sieť natrénovaná na dátovej sade IAM, na ktorej dosiahla chybu v hodnote 2,48 %, a tým prekonala ostatné transformer modely pri rozpoznávaní ručne písaného textu. | sk |
dc.description.abstract | This Master's thesis aims to design a system using the transformer neural network and perform experiments with this proposed model in the task of handwriting text recognition. In this thesis, a multilingual dataset with predominate Czech texts is used. The experiments examine the influence of basic hyperparameters, such as network size, convolutional encoder type, and the use of different text tokenizers. In this work, I also use text corpora of the Czech language which is used to train the network decoder. Furthermore, I experiment with the usage of additional textual information during the decoding process. This information comes from the previous line of the transcribed image. The transformer achieves a character recognition error rate of 3.41 % on the test data set which is 0.16 % worse performance than the recurrent neural network achieves. To compare this model with other transformer-based models from available articles, the network was trained on the IAM dataset, where it achieved an error of 2.48 % and therefore outperformed other models in handwriting text recognition task. | en |
dc.description.mark | B | cs |
dc.identifier.citation | VEŠELÍNY, P. Neuronové sítě typu Transformer pro přepis ručně psaného textu [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2022. | cs |
dc.identifier.other | 145447 | cs |
dc.identifier.uri | http://hdl.handle.net/11012/207846 | |
dc.language.iso | sk | cs |
dc.publisher | Vysoké učení technické v Brně. Fakulta informačních technologií | cs |
dc.rights | Standardní licenční smlouva - přístup k plnému textu bez omezení | cs |
dc.subject | rozpoznávanie textu | sk |
dc.subject | ručne písaný text | sk |
dc.subject | neurónové siete | sk |
dc.subject | attention | sk |
dc.subject | transformer | sk |
dc.subject | textový korpus | sk |
dc.subject | text recognition | en |
dc.subject | handwriting text | en |
dc.subject | neural networks | en |
dc.subject | attention | en |
dc.subject | transformer | en |
dc.subject | text corpus | en |
dc.title | Neuronové sítě typu Transformer pro přepis ručně psaného textu | sk |
dc.title.alternative | Transformer Neural Networks for Handwritten Text Recognition | en |
dc.type | Text | cs |
dc.type.driver | masterThesis | en |
dc.type.evskp | diplomová práce | cs |
dcterms.dateAccepted | 2022-06-21 | cs |
dcterms.modified | 2022-06-23-09:13:58 | cs |
eprints.affiliatedInstitution.faculty | Fakulta informačních technologií | cs |
sync.item.dbid | 145447 | en |
sync.item.dbtype | ZP | en |
sync.item.insts | 2025.03.26 15:35:31 | en |
sync.item.modts | 2025.01.17 12:04:07 | en |
thesis.discipline | Strojové učení | cs |
thesis.grantor | Vysoké učení technické v Brně. Fakulta informačních technologií. Ústav počítačové grafiky a multimédií | cs |
thesis.level | Inženýrský | cs |
thesis.name | Ing. | cs |
Files
Original bundle
1 - 4 of 4
Loading...
- Name:
- final-thesis.pdf
- Size:
- 5.22 MB
- Format:
- Adobe Portable Document Format
- Description:
- final-thesis.pdf
Loading...
- Name:
- Posudek-Vedouci prace-24792_v.pdf
- Size:
- 85.85 KB
- Format:
- Adobe Portable Document Format
- Description:
- Posudek-Vedouci prace-24792_v.pdf
Loading...
- Name:
- Posudek-Oponent prace-24792_o.pdf
- Size:
- 88.7 KB
- Format:
- Adobe Portable Document Format
- Description:
- Posudek-Oponent prace-24792_o.pdf
Loading...
- Name:
- review_145447.html
- Size:
- 1.46 KB
- Format:
- Hypertext Markup Language
- Description:
- file review_145447.html