Paralelní trénování hlubokých neuronových sítí

Loading...
Thumbnail Image
Date
ORCID
Mark
D
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Cílem této práce je navrhnou způsob jak zhodnotit výhodnost použití paralelního trénování neuronových sítí. V této práci jsem provedl analýzu paralelního trénování se zaměřením na délku trénování. Vycházím ze sekvenční délky trénování a délky přenosu vah po síti. Výsledkem této práce je návrh vzorců, které slouží k odhadu zrychlení na více výpočetních jednotkách. Tyto vzorce je možné použít na zjištění ideálního počtu pracovních jednotek pro trénování.
Aim of this thesis is to propose how to evaluate favourableness of parallel deep learning. In this thesis I analyze parallel deep learning and I focus on its length. I take into account gradient computation length and weight transportation length. Result of this thesis is proposal of equations, which can estimate the speedup on multiple workers. These equations can be used to determine ideal number of workers for training.
Description
Citation
ŠLAMPA, O. Paralelní trénování hlubokých neuronových sítí [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2017.
Document type
Document version
Date of access to the full text
Language of document
cs
Study field
Inteligentní systémy
Comittee
doc. Ing. František Zbořil, CSc. (předseda) doc. Ing. Vladimír Janoušek, Ph.D. (místopředseda) Ing. Martin Hrubý, Ph.D. (člen) doc. Ing. Jiří Jaroš, Ph.D. (člen) Luděk Matyska (člen) Dr. Ing. Petr Peringer (člen)
Date of acceptance
2017-06-22
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm D. Otázky u obhajoby: Jaký vliv má na zrychlení velikost dávky?  Jaká je úspěšnost vašeho odhadu zrychlení?
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení
DOI
Collections
Citace PRO