Optimalizace hlubokých neuronových sítí

Abstract

Cieľom tejto bakalárskej práce bolo navrhnúť, implementovať a analyzovať rôzne optimalizácie vybraných hlbokých neurónových sietí. Ich účelom bolo zlepšenie sledovaných parametrov neurónovej siete. Implementované optimalizácie spočívajú v práci s reprezentáciou dát využívaných operáciami neurónovej siete a hľadaní najlepšej kombinácie jej hyper-parametrov. Jednotlivé optimalizácie boli prevedené na konvolučných neurónových sieťach založených na architektúre LeNet-5 pri využití dátových sád MNIST, CIFAR-10 a SVHN. Implementácia a následná optimalizácia neurónových sietí boli prevedené využitím knižnice Tiny-dnn v programovacom jazyku C++.The goal of this thesis was to design, implement and analyze various optimizations of deep neural networks, in order to improve the observed parameters. The optimizations are based on modification of the data representation used by neural network operations and searching for the best combination of its hyper-parameters. The convolutional neural networks used for these optimizations were built on LeNet-5 architecture and trained on MNIST, CIFAR-10, and SVHN datasets. The neural networks and their optimizations were implemented within Tiny-dnn library using C++ programming language.