Evoluční optimalizace konvolučních neuronových sítí
Loading...
Date
Authors
Čoupek, Vojtěch
ORCID
Advisor
Referee
Mark
A
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Práce se zabývá problematikou komprese vah neuronové sítě pomocí techniky Weight-Sharing a~optimalizací parametrů této techniky pomocí nekonvenčních optimalizačních algoritmů. Důvodem optimalizace je snížení paměťové, respektive energetické náročnosti výpočtu odezvy neuronové sítě. Cílem je navrhnout systém, který dokáže přijmout neuronovou síť a~snížit její paměťovou náročnost, a~ověřit použitelnost této metody na několika případových studiích. Práce prozkoumává využití různých optimalizačních algoritmů, dodatečnou kompresi pomocí kvantizace nad technikou Weight-Sharing a navrhuje metodu ladění výsledků kvantizace pro zlepšení přesnosti. Tyto postupy jsou nejdříve vyzkoušeny na síti Le-Net-5 a následně aplikovány na kompresi sítě MobileNet\_v2.
This thesis deals with the problem of neural network weights compression using the technique of Weight-Sharing and parameter optimization of this technique by unconventional optimization algorithms. The reason for the optimization is decreasing the memory or energy demands of the neural network response calculation. The aim is to design a system that accepts a neural network and reduces its memory demands. Its functionality is demonstrated with the help of several experiments. The thesis investigates the use of various optimization algorithms, additional compression using the quantization above the Weight-Sharing technique, and proposes the quantization results tuning method to improve accuracy. These procedures are first tested on the Le-Net-5 network and then applied for the MobileNet\_v2. network compression.
This thesis deals with the problem of neural network weights compression using the technique of Weight-Sharing and parameter optimization of this technique by unconventional optimization algorithms. The reason for the optimization is decreasing the memory or energy demands of the neural network response calculation. The aim is to design a system that accepts a neural network and reduces its memory demands. Its functionality is demonstrated with the help of several experiments. The thesis investigates the use of various optimization algorithms, additional compression using the quantization above the Weight-Sharing technique, and proposes the quantization results tuning method to improve accuracy. These procedures are first tested on the Le-Net-5 network and then applied for the MobileNet\_v2. network compression.
Description
Keywords
Komprese, neuronové sítě, konvoluční neuronové sítě, sdílení vah, optimalizační algoritmy, genetický algoritmus, optimalizace hejnem částic, algoritmus černé díry, shlukování, K-means, Le-Net-5, Mobilenet\_v2, Compression, neural networks, convolutional neural networks, weight-sharing, optimization algorithms, genetic algorithm, particle swarm optimization, blackhole algorithm, clustering, K-Means, Le-Net-5, Mobilenet\_v2
Citation
ČOUPEK, V. Evoluční optimalizace konvolučních neuronových sítí [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2023.
Document type
Document version
Date of access to the full text
Language of document
cs
Study field
Strojové učení
Comittee
doc. Ing. Lukáš Burget, Ph.D. (předseda)
doc. Ing. Martin Čadík, Ph.D. (člen)
doc. Ing. Vladimír Janoušek, Ph.D. (člen)
Ing. Michal Hradiš, Ph.D. (člen)
Ing. Jaroslav Rozman, Ph.D. (člen)
Ing. Tomáš Milet, Ph.D. (člen)
Date of acceptance
2023-06-16
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A.
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení