Pokročilá vizualizace trénování neuronových sítí

Abstract

Cílem této práce je navrhnout metody vizualizace, a analyzovat nimi jevy vznikající během trénování neuronových sítí, na základě kterých by mohly být zjištěny nové poznatky ohledně hlubokého učení. V této práci byl vytvořen program, který testuje dopad na trénování za použití různých technik, a vizualizuje výsledky trénování pomocí různých metod. Tato práce představuje dvě metody vizualizace tréninkového procesu. První metoda je zobrazení plochy okolo cesty trénovaného modelu pomocí průměrování bodů cesty váhovanými jejich vzdáleností od zobrazovaného bodu. Druhá metoda je zobrazení velikosti kroků během učení. Výsledek práce je znázorněn grafy, a diskuzí nad jevy zachycenými vizualizacemi.This work aims to propose visualization methods and analyze with them the phenomena arising during the training of neural networks, based on which new knowledge regarding deep learning could be discovered. In this work, a program was created that tests the impact of training using different techniques and visualizes the training results using different methods. This work presents two methods of visualization of the training process. The first method displays the area around the path of the trained model by averaging the path's points weighted by their distance from the displayed point. The second method is to display step sizes during learning. The result of the work is represented by graphs and a discussion of the phenomena captured by the visualizations.