Evoluční návrh nelineárních funkcí pro konvoluční neuronové sítě
Loading...
Date
Authors
Hladiš, Martin
ORCID
Advisor
Referee
Mark
B
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Cílem této diplomové práce je návrh a implementace programu pro automatizovaný návrh nelineárních aktivačních funkcí pro konvoluční neuronové sítě (CNN) s využitím evolučních algoritmů. Využití automatického návrhu poskytuje nezávislý pohled na systematické prozkoumání širokého spektra aktivačních funkcí a identifikaci těch nejlepších. Metoda zvolená v práci pro automatický návrh je formou evolučních algoritmů nazývanou jako kartézské genetické programování, které pro zakódování řešení využívá grafovou reprezentaci. Tato technika umožňuje definici sady matematických primitiv, která definuje prohledávací prostor, a tak jednoduše parametrizuje návrh. Implementovaný přístup byl otestován na několika různých architekturách a datasetech (LeNet-5 \& MNIST, ResNet-10 \& FashionMNIST, WRN-40-4 \& CIFAR-10). Experimenty dokázaly, že přístup dokáže nalézt aktivační funkce, které statisticky zlepšují přesnost CNN oproti běžně využívané funkci ReLU.
The aim of this thesis is to design and implement a program for automated design of nonlinear activation functions for convolutional neural networks (CNN) using evolutionary algorithms. The use of automated design provides an independent view to systematically explore a wide range of activation functions and identify the best ones. The method for automatic design chosen in this thesis is a form of evolutionary algorithms referred to as Cartesian genetic programming, which uses a graph representation to encode the solution. This technique allows for the definition of a set of mathematical primitives that define the search space, and thus simply parameterize the design. The implemented approach has been tested on several different architectures and datasets (LeNet-5 \& MNIST, ResNet-10 \& FashionMNIST, WRN-40-4 \& CIFAR-10). Experiments have shown that the approach can find activation functions that statistically improve the accuracy of the architecture over the commonly used ReLU function.
The aim of this thesis is to design and implement a program for automated design of nonlinear activation functions for convolutional neural networks (CNN) using evolutionary algorithms. The use of automated design provides an independent view to systematically explore a wide range of activation functions and identify the best ones. The method for automatic design chosen in this thesis is a form of evolutionary algorithms referred to as Cartesian genetic programming, which uses a graph representation to encode the solution. This technique allows for the definition of a set of mathematical primitives that define the search space, and thus simply parameterize the design. The implemented approach has been tested on several different architectures and datasets (LeNet-5 \& MNIST, ResNet-10 \& FashionMNIST, WRN-40-4 \& CIFAR-10). Experiments have shown that the approach can find activation functions that statistically improve the accuracy of the architecture over the commonly used ReLU function.
Description
Citation
HLADIŠ, M. Evoluční návrh nelineárních funkcí pro konvoluční neuronové sítě [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2024.
Document type
Document version
Date of access to the full text
Language of document
cs
Study field
Strojové učení
Comittee
prof. Dr. Ing. Jan Černocký (předseda)
doc. Ing. Lukáš Burget, Ph.D. (člen)
doc. Mgr. Lukáš Holík, Ph.D. (člen)
Ing. Michal Hradiš, Ph.D. (člen)
Ing. František Grézl, Ph.D. (člen)
prof. Ing. Lukáš Sekanina, Ph.D. (člen)
Date of acceptance
2024-06-18
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B.
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení