Metody inicializace vah neuronových sítí a jejich vliv na učení sítí

Abstract

Práce se zabývá použitím různých metod inicializace vah umělých neuronových sítí a sledováním jejich vlivu na učení sítě. Jako úloha pro síť je zvolena klasifikace obrázků ze dvou databází MNIST a CIFAR-10. Teoretická část popisuje oblast umělých neuronových sítí a také různé metody nicializace vah. Praktická část obsahuje popis a implementaci experimentů, popis architektur a jejich hyperparametrů. Jednotlivé experimenty sledují vliv vybraných metod a jejich případných konfigurací na učení různých architektur umělých neuronových sítí. Výsledky jsou pro jednotlivé databáze a typy architektur porovnány a jsou vybrány metody, se kterými síť dosáhla nejlepšího naučení. Dále jsou vybrány metody, se kterými bylo dosaženo optimálního naučení sítě nejrychleji. Dosažené výsledky jsou diskutovány.

This thesis examines the use of various methods for initialising the weights of artificial neural networks and monitoring their impact on network learning. Image classification from two databases, MNIST and CIFAR-10, is selected as the task for the network. The theoretical section provides an overview of the field of artificial neural networks, along with an analysis of different methods for initialising weights. The practical section includes a description of the experiments conducted, an explanation of the architectures and their associated hyperparameters. The individual experiments observe the effect of the selected methods and their respective configurations on the learning of different artificial neural network architectures. The results are compared for each dataset and architecture type, and the methods with which a the network achieved the best learning are selected. Furthermore, the methods with which the optimal learning of the network was achieved the fastest are selected. The results obtained are discussed.