Paralelní trénování hlubokých neuronových sítí

Abstract

Cílem této práce je navrhnou způsob jak zhodnotit výhodnost použití paralelního trénování neuronových sítí. V této práci jsem provedl analýzu paralelního trénování se zaměřením na délku trénování. Vycházím ze sekvenční délky trénování a délky přenosu vah po síti. Výsledkem této práce je návrh vzorců, které slouží k odhadu zrychlení na více výpočetních jednotkách. Tyto vzorce je možné použít na zjištění ideálního počtu pracovních jednotek pro trénování.Aim of this thesis is to propose how to evaluate favourableness of parallel deep learning. In this thesis I analyze parallel deep learning and I focus on its length. I take into account gradient computation length and weight transportation length. Result of this thesis is proposal of equations, which can estimate the speedup on multiple workers. These equations can be used to determine ideal number of workers for training.