Neuronové sítě typu Transformer pro přepis ručně psaného textu

but.committeeprof. Dr. Ing. Jan Černocký (předseda) doc. Ing. Lukáš Burget, Ph.D. (místopředseda) doc. RNDr. Milan Češka, Ph.D. (člen) Ing. Michal Hradiš, Ph.D. (člen) Ing. Jaroslav Rozman, Ph.D. (člen) doc. Ing. František Zbořil, CSc. (člen)cs
but.defenceStudent nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B.cs
but.jazykslovenština (Slovak)
but.programInformační technologie a umělá inteligencecs
but.resultpráce byla úspěšně obhájenacs
dc.contributor.advisorKohút, Jansk
dc.contributor.authorVešelíny, Petersk
dc.contributor.refereeBeneš, Karelsk
dc.date.created2022cs
dc.description.abstractCieľom tejto práce je navrhnúť systém používajúci sieť typu transformer a uskutočniť s touto sieťou experimenty pri rozpoznávaní ručne písaného textu. V rámci práce sa používa multilingválna dátová sada, v ktorej prevažujú české texty. Pri experimentovaní sa zisťuje vplyv základných hyperparametrov siete, akými sú veľkosť siete, typ konvolučného kodéra a použitie rôznej tokenizácie textu. V práci ďalej využívam textové korpusy českého jazyka, ktoré sa používajú pri trénovaní dekódera. Ďalej v práci experimentujem s použitím dodatočnej textovej informácie pri procese dekódovania. Táto informácia pochádza z predchádzajúceho riadka prepisovaného obrázka s textom. Transformer dosahuje na testovacej dátovej sade chybovosť pri rozpoznávní znakov 3,41 %, čo je o 0,16 % horší výkon ako dosahuje rekurentná neurónová sieť. Pre porovnanie s ostatnými transformer modelmi z dostupných článkov, bola sieť natrénovaná na dátovej sade IAM, na ktorej dosiahla chybu v hodnote 2,48 %, a tým prekonala ostatné transformer modely pri rozpoznávaní ručne písaného textu.sk
dc.description.abstractThis Master's thesis aims to design a system using the transformer neural network and perform experiments with this proposed model in the task of handwriting text recognition. In this thesis, a multilingual dataset with predominate Czech texts is used. The experiments examine the influence of basic hyperparameters, such as network size, convolutional encoder type, and the use of different text tokenizers. In this work, I also use text corpora of the Czech language which is used to train the network decoder. Furthermore, I experiment with the usage of additional textual information during the decoding process. This information comes from the previous line of the transcribed image. The transformer achieves a character recognition error rate of 3.41 % on the test data set which is 0.16 % worse performance than the recurrent neural network achieves. To compare this model with other transformer-based models from available articles, the network was trained on the IAM dataset, where it achieved an error of 2.48 % and therefore outperformed other models in handwriting text recognition task.en
dc.description.markBcs
dc.identifier.citationVEŠELÍNY, P. Neuronové sítě typu Transformer pro přepis ručně psaného textu [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2022.cs
dc.identifier.other145447cs
dc.identifier.urihttp://hdl.handle.net/11012/207846
dc.language.isoskcs
dc.publisherVysoké učení technické v Brně. Fakulta informačních technologiícs
dc.rightsStandardní licenční smlouva - přístup k plnému textu bez omezenícs
dc.subjectrozpoznávanie textusk
dc.subjectručne písaný textsk
dc.subjectneurónové sietesk
dc.subjectattentionsk
dc.subjecttransformersk
dc.subjecttextový korpussk
dc.subjecttext recognitionen
dc.subjecthandwriting texten
dc.subjectneural networksen
dc.subjectattentionen
dc.subjecttransformeren
dc.subjecttext corpusen
dc.titleNeuronové sítě typu Transformer pro přepis ručně psaného textusk
dc.title.alternativeTransformer Neural Networks for Handwritten Text Recognitionen
dc.typeTextcs
dc.type.drivermasterThesisen
dc.type.evskpdiplomová prácecs
dcterms.dateAccepted2022-06-21cs
dcterms.modified2022-06-23-09:13:58cs
eprints.affiliatedInstitution.facultyFakulta informačních technologiícs
sync.item.dbid145447en
sync.item.dbtypeZPen
sync.item.insts2025.03.26 15:35:31en
sync.item.modts2025.01.17 12:04:07en
thesis.disciplineStrojové učenícs
thesis.grantorVysoké učení technické v Brně. Fakulta informačních technologií. Ústav počítačové grafiky a multimédiícs
thesis.levelInženýrskýcs
thesis.nameIng.cs
Files
Original bundle
Now showing 1 - 4 of 4
Loading...
Thumbnail Image
Name:
final-thesis.pdf
Size:
5.22 MB
Format:
Adobe Portable Document Format
Description:
final-thesis.pdf
Loading...
Thumbnail Image
Name:
Posudek-Vedouci prace-24792_v.pdf
Size:
85.85 KB
Format:
Adobe Portable Document Format
Description:
Posudek-Vedouci prace-24792_v.pdf
Loading...
Thumbnail Image
Name:
Posudek-Oponent prace-24792_o.pdf
Size:
88.7 KB
Format:
Adobe Portable Document Format
Description:
Posudek-Oponent prace-24792_o.pdf
Loading...
Thumbnail Image
Name:
review_145447.html
Size:
1.46 KB
Format:
Hypertext Markup Language
Description:
file review_145447.html
Collections