but.committee	doc. Ing. František Zbořil, CSc. (předseda) doc. Ing. Jiří Kunovský, CSc. (místopředseda) doc. Ing. Michal Bidlo, Ph.D. (člen) Doc. Ing. Pavel Herout, Ph.D. (člen) Ing. Zbyněk Křivka, Ph.D. (člen) doc. RNDr. Pavel Smrž, Ph.D. (člen)	cs
but.defence	Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm výborně (A). Otázky u obhajoby: Můžete prosím okomentovat proč v obrázku 4.2 počet kroků 'zpětné propagace v čase (BPTT)' nemá vliv na hodnotu trénovacího kritéria na testovací sadě? Byl tento výsledek očekávaný? Proč je výhodné použít v modelu řídkou matici rekurentních synapsí?	cs
but.jazyk	angličtina (English)
but.program	Informační technologie	cs
but.result	práce byla úspěšně obhájena	cs
dc.contributor.advisor	Hannemann, Mirko	en
dc.contributor.author	Beneš, Karel	en
dc.contributor.referee	Veselý, Karel	en
dc.date.created	2016	cs
dc.description.abstract	Tato zpráva popisuje experimentální práci na statistické jazykovém modelování pomocí rekurentních neuronových sítí (RNN). Je zde předložen důkladný přehled dosud publikovaných prací, následovaný popisem algoritmů pro trénování příslušných modelů. Většina z popsaných technik byla implementována ve vlastním nástroji, založeném na knihovně Theano. Byla provedena rozsáhlá sada experimentů s modelem Jednoduché rekurentní sítě (SRN), která odhalila některé jejich dosud nepublikované vlastnosti. Při statické evaluaci modelu byly dosažené výsledky relativně cca. o 2.7 % horší, než nejlepší publikované výsledky. V případě dynamické evaluace však bylo dosaženo relativního zlepšení o 1 %. Dále bylo experimentováno i s modelem Strukturně omezené rekurentní sítě, ale ten se nepodařilo natrénovat k předpokládáným výkonům. Konečně bylo navrženo rozšíření SRN, pojmenované Náhodně prořidlá rekurentní neuronová síť. Experimentálně bylo potvrzeno, že RS-RNN dosahuje lepších výsledků v učení vlastního trénovacího korpusu a kombinace několika RS-RNN modelů přináší o 30 % větší zlepšení než kombinace stejného počtu SRN.	en
dc.description.abstract	This thesis describes an experimental work in the field of statistical language modeling with recurrent neural networks (RNNs). A thorough literature survey on the topic is given, followed by a description of algorithms used for training the respective models. Most of the techniques have been implemented using Theano toolkit. Extensive experiments have been carried out with the Simple Recurrent Network (SRN), which revealed some previously unpublished findings. The best published result has not been replicated in case of static evaluation. In the case of dynamic evaluation, the best published result was outperformed by 1 %. Then, experiments with the Structurally Constrained Recurrent Network have been conducted, but the performance could not be improved over the SRN baseline. Finally, a novel enhancement of the SRN was proposed, leading to a Randomly Sparse RNN (RS-RNN) architecture. This enhancement is based on applying a fixed binary mask on the recurrent connections, thus forcing some recurrent weights to zero. It is empirically confirmed, that RS-RNN models learn the training corpus better and a combination of RS-RNN models achieved a 30% bigger gain on test data than a combination of dense SRN models of same size.	cs
dc.description.mark	A	cs
dc.identifier.citation	BENEŠ, K. Recurrent Neural Networks with Elastic Time Context in Language Modeling [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2016.	cs
dc.identifier.other	96612	cs
dc.identifier.uri	http://hdl.handle.net/11012/61973
dc.language.iso	en	cs
dc.publisher	Vysoké učení technické v Brně. Fakulta informačních technologií	cs
dc.rights	Standardní licenční smlouva - přístup k plnému textu bez omezení	cs
dc.subject	Statistické jazykové modelování	en
dc.subject	rekurentní neuronové sítě	en
dc.subject	náhodná řidkost vah reprezentace slovní historie	en
dc.subject	Statistical Language Modeling	cs
dc.subject	Recurrent Neural Network	cs
dc.subject	Random Sparsity of Weights	cs
dc.subject	Word History Representation	cs
dc.title	Recurrent Neural Networks with Elastic Time Context in Language Modeling	en
dc.title.alternative	Recurrent Neural Networks with Elastic Time Context in Language Modeling	cs
dc.type	Text	cs
dc.type.driver	masterThesis	en
dc.type.evskp	diplomová práce	cs
dcterms.dateAccepted	2016-06-17	cs
dcterms.modified	2020-05-10-16:12:46	cs
eprints.affiliatedInstitution.faculty	Fakulta informačních technologií	cs
sync.item.dbid	96612	en
sync.item.dbtype	ZP	en
sync.item.insts	2025.03.26 15:23:41	en
sync.item.modts	2025.01.17 14:00:54	en
thesis.discipline	Inteligentní systémy	cs
thesis.grantor	Vysoké učení technické v Brně. Fakulta informačních technologií. Ústav počítačové grafiky a multimédií	cs
thesis.level	Inženýrský	cs
thesis.name	Ing.	cs

Recurrent Neural Networks with Elastic Time Context in Language Modeling

Files

Original bundle

Collections