but.committee	prof. Dr. Ing. Jan Černocký (předseda) doc. Ing. Zdeněk Kotásek, CSc. (místopředseda) doc. Ing. Lukáš Burget, Ph.D. (člen) Ing. Radek Kočí, Ph.D. (člen) Ing. Zbyněk Křivka, Ph.D. (člen)	cs
but.defence	Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A. Otázky u obhajoby: Má smysl vyhodnocovat generalizaci (validační chybu) při porovnávání různých optimalizačních algoritmů? Chovají se modely trénované pomocí mean normalized SGD odlišně v nějakém ohledu, který by měl mít vliv na generalizaci? V 4.2.3 píšete, že průměrné hodnoty aktivací neuronů s tanh aktivačními funkcemi jsou pravděpodobně blízké nule. Můžete toto tvrzení ověřit? Jak si vysvětlujete, že bottleneck sítě se sigmoidami se trénují hůře než sítě s tanh? Pozoroval jste nějaký rozdíl (například v hodnotách gradientů), který by tento rozdíl vysvětlil?	cs
but.jazyk	angličtina (English)
but.program	Informační technologie	cs
but.result	práce byla úspěšně obhájena	cs
dc.contributor.advisor	Pešán, Jan	en
dc.contributor.author	Klusáček, Jan	en
dc.contributor.referee	Hradiš, Michal	en
dc.date.created	2015	cs
dc.description.abstract	Umělé neuronové sítě jsou v posledních letech na vzestupu. Jednou z možných optimalizačních technik je mean-normalized stochastic gradient descent, který navrhli Wiesler a spol. [1]. Tato práce dále vysvětluje a zkoumá tuto metodu na problému klasifikace fonémů. Ne všechny závěry Wieslera a spol. byly potvrzeny. Mean-normalized SGD je vhodné použít pouze pokud je síť dostatečně velká, nepříliš hluboká a pracuje-li se sigmoidou jako nelineárním prvkem. V ostatních případech mean-normalized SGD mírně zhoršuje výkon neuronové sítě. Proto nemůže být doporučena jako obecná optimalizační technika. [1] Simon Wiesler, Alexander Richard, Ralf Schluter, and Hermann Ney. Mean-normalized stochastic gradient for large-scale deep learning. In Acoustics, Speech and Signal Processing (ICASSP), 2014 IEEE International Conference on, pages 180{184. IEEE, 2014.	en
dc.description.abstract	The artificial neural networks are on the rise in recent years. One possible optimization technique is mean-normalized stochastic gradient descent recently proposes by Wiesler et al. [1]. This work further explains and examines this method on phoneme classification task. Not all findings of Wiesler et al. can be confirmed. The mean-normalized SGD is helpful only if the network is large enough (but not too deep) and if the sigmoid non-linear function is used. Otherwise, the mean-normalized SGD slightly impairs the network performance and therefore cannot be recommended as a general optimization technique. [1] Simon Wiesler, Alexander Richard, Ralf Schluter, and Hermann Ney. Mean-normalized stochastic gradient for large-scale deep learning. In Acoustics, Speech and Signal Processing (ICASSP), 2014 IEEE International Conference on, pages 180{184. IEEE, 2014.	cs
dc.description.mark	A	cs
dc.identifier.citation	KLUSÁČEK, J. Aplikace metody Mean Normalized Stochastic Gradient Descent pro rozpoznávání řeči [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2015.	cs
dc.identifier.other	88508	cs
dc.identifier.uri	http://hdl.handle.net/11012/52532
dc.language.iso	en	cs
dc.publisher	Vysoké učení technické v Brně. Fakulta informačních technologií	cs
dc.rights	Standardní licenční smlouva - přístup k plnému textu bez omezení	cs
dc.subject	Neuronové sítě	en
dc.subject	strojové učení	en
dc.subject	rozpoznávání řeči	en
dc.subject	stochastic gradient descent.	en
dc.subject	Neural networks	cs
dc.subject	machine learning	cs
dc.subject	speech recognition	cs
dc.subject	deep learning	cs
dc.subject	stochastic gradient descent.	cs
dc.title	Aplikace metody Mean Normalized Stochastic Gradient Descent pro rozpoznávání řeči	en
dc.title.alternative	Application of Mean Normalized Stochastic Gradient Descent for Speech Recognition	cs
dc.type	Text	cs
dc.type.driver	bachelorThesis	en
dc.type.evskp	bakalářská práce	cs
dcterms.dateAccepted	2015-06-17	cs
dcterms.modified	2020-05-10-16:11:52	cs
eprints.affiliatedInstitution.faculty	Fakulta informačních technologií	cs
sync.item.dbid	88508	en
sync.item.dbtype	ZP	en
sync.item.insts	2025.03.18 19:22:44	en
sync.item.modts	2025.01.15 22:21:55	en
thesis.discipline	Informační technologie	cs
thesis.grantor	Vysoké učení technické v Brně. Fakulta informačních technologií. Ústav počítačové grafiky a multimédií	cs
thesis.level	Bakalářský	cs
thesis.name	Bc.	cs

Aplikace metody Mean Normalized Stochastic Gradient Descent pro rozpoznávání řeči

Files

Original bundle

Collections