Prořezávání hlubokých neuronových sítí pro rozpoznávání textu
Loading...
Date
Authors
Petráš, Simon
Advisor
Referee
Mark
C
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
ORCID
Abstract
Dokument predstavuje prácu na prerezávanie neurónovej siete slúžiacej na rozpoznávanie ručne písaného textu. Cieľom práce je vytvoriť program na prerezávanie danej siete. Prerezávali sme dva typy neurónových sieti a to konvolučné a rekurentné neurónové siete. Pri prerezávaní konvolučnej časti bolo experimentované s rôznymi kritériami výberu parametrov. Výsledkom práce je model, ktorý dosahuje 20% zrýchlenie pri znížení presnosti siete iba o 0.4%, ale aj množstvo iných modelov, ktoré sú rýchlejšie ale nadobúdajú aj vyššej nepresnosti.
This document is a work on pruning neural network for handwriting recognition. The aim of the work is to create a program for pruning the network. We prune two types of neural networks, namely convolutional and recurrent neural networks. During the pruning of the convolution part, various criteria of parameter selection were experimented with. The result of the work is a model that achieves 20% acceleration while increasing the network inaccuracy by only 0.4%, but also a number of other models that are faster but also acquire higher inaccuracies.
This document is a work on pruning neural network for handwriting recognition. The aim of the work is to create a program for pruning the network. We prune two types of neural networks, namely convolutional and recurrent neural networks. During the pruning of the convolution part, various criteria of parameter selection were experimented with. The result of the work is a model that achieves 20% acceleration while increasing the network inaccuracy by only 0.4%, but also a number of other models that are faster but also acquire higher inaccuracies.
Description
Keywords
Neurónové siete , CNN , RNN , Pytorch , OCR , prerezávanie , Neural networks , CNN , RNN , Pytorch , OCR , pruning
Citation
PETRÁŠ, S. Prořezávání hlubokých neuronových sítí pro rozpoznávání textu [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2022.
Document type
Document version
Date of access to the full text
Language of document
cs
Study field
Informační technologie
Comittee
prof. Dr. Ing. Pavel Zemčík, dr. h. c. (předseda)
doc. Ing. Lukáš Burget, Ph.D. (místopředseda)
doc. Mgr. Lukáš Holík, Ph.D. (člen)
doc. Ing. Tomáš Martínek, Ph.D. (člen)
Ing. Jaroslav Dytrych, Ph.D. (místopředseda)
doc. Ing. Petr Matoušek, Ph.D., M.A. (člen)
Date of acceptance
2022-06-14
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm C. Otázky u obhajoby: Při prořezávání se jde od začátku sítě? Statistiky pro prořezání filtrů (L1, L2, std) se počítají i z kanálů filtru, které již byly prořezané v předchozí vrstvě? Jak je důležité L1, L2, std, když na výstupy konvolučních vrstev jsou aplikovány normalizační vrstvy, které můžou každý kanál libovolně škálovat? Jaké je vaše vysvětlení nízké úspěšnosti sítí s prořezanými rekurentními vrstvami? Jak jsou v modelu tyto čtyři vrstvy propojené? Respektujete toto propojení při prořezávání?
Result of defence
práce byla úspěšně obhájena