Využití evolučních algoritmů při učení neuronových sítí

Abstract

Tato práce má za úkol nalézt a porovnat možnosti spolupráce evolučních algoritmů při učení neuronové sítě a také jejich následné porovnání s klasickým přístupem učení pomocí back-propagation. Toto porovnání je demonstrováno na hluboké dopředné síti, která je využita při klasifikačních úlohách. Optimalizace probíhá na úrovni hledání optimálních hodnot vah a biasů sítě při zachování její stejné topologie. Jako evoluční algoritmy pro tuto optimalizaci jsou vybrány tři metody. Jedná se o genetický algoritmus, diferenciální evoluci a optimalizaci hejnem částic. Demonstrační program je implementován v programovacím jazyce Python3 a to bez použití knihoven pro strojové učení.Main point of this thesis is to find and compare posibilities of cooperation between evolutionary algorithms and neural network learning and their comparison with classical learning technique called backpropagation. This comparison is demonstrated with deep feed-forward neural network which is used for classification tasks. The process of optimalization is via search of optimal values of weights and biases within neural network with fixed topology. We chose three evolutionary approaches. Genetic algorithm, differential evolution and particle swarm optimization algorithm. These three approaches are also compared between each other. The demonstrating program is implemented in Python3 programming language without usage of any third parties libraries focused on deep learning.