Neuronové sítě typu Transformer pro přepis ručně psaného textu

Abstract

Cieľom tejto práce je navrhnúť systém používajúci sieť typu transformer a uskutočniť s touto sieťou experimenty pri rozpoznávaní ručne písaného textu. V rámci práce sa používa multilingválna dátová sada, v ktorej prevažujú české texty. Pri experimentovaní sa zisťuje vplyv základných hyperparametrov siete, akými sú veľkosť siete, typ konvolučného kodéra a použitie rôznej tokenizácie textu. V práci ďalej využívam textové korpusy českého jazyka, ktoré sa používajú pri trénovaní dekódera. Ďalej v práci experimentujem s použitím dodatočnej textovej informácie pri procese dekódovania. Táto informácia pochádza z predchádzajúceho riadka prepisovaného obrázka s textom. Transformer dosahuje na testovacej dátovej sade chybovosť pri rozpoznávní znakov 3,41 %, čo je o 0,16 % horší výkon ako dosahuje rekurentná neurónová sieť. Pre porovnanie s ostatnými transformer modelmi z dostupných článkov, bola sieť natrénovaná na dátovej sade IAM, na ktorej dosiahla chybu v hodnote 2,48 %, a tým prekonala ostatné transformer modely pri rozpoznávaní ručne písaného textu.This Master's thesis aims to design a system using the transformer neural network and perform experiments with this proposed model in the task of handwriting text recognition. In this thesis, a multilingual dataset with predominate Czech texts is used. The experiments examine the influence of basic hyperparameters, such as network size, convolutional encoder type, and the use of different text tokenizers. In this work, I also use text corpora of the Czech language which is used to train the network decoder. Furthermore, I experiment with the usage of additional textual information during the decoding process. This information comes from the previous line of the transcribed image. The transformer achieves a character recognition error rate of 3.41 % on the test data set which is 0.16 % worse performance than the recurrent neural network achieves. To compare this model with other transformer-based models from available articles, the network was trained on the IAM dataset, where it achieved an error of 2.48 % and therefore outperformed other models in handwriting text recognition task.