Genetické programování s pamětí v úloze symbolické regrese
Loading...
Date
Authors
Jůza, Tadeáš
ORCID
Advisor
Referee
Mark
A
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Cílem práce je ověřit možnosti rozšíření genetického programování o paměť pro řešení problémů symbolické regrese. Dále pak vytvoření sady úloh pro testování kvality takovýchto řešení. V práci je navržen způsob praktického využití takovéhoto rozšíření, a to pro potencionální snížení energetické náročnosti načítání vah konvolučních neuronových sítí. Zde místo načítání všech vah sítě z paměti je načítáno pouze malé procento vah a zbylé jsou vygenerovány za pomocí evolučně nalezené funkce. Tento způsob byl převážně testován na vahách konvolučních vrstev malé konvoluční neuronové sítě řešící úlohu klasifikace obrazu z testovací sady MNIST. Dále byla také ověřena možnost generování vah na dalších konvolučních neuronových sítích řešících složitější problémy. Podařilo se nalézt různé kompromisy mezi přesností klasifikace a velikostí paměti vah.
The purpose of this thesis is to evaluate the possibility of extending genetic programming with memory for solving symbolic regression problems. Furthermore, a set of problems for testing the quality of such solutions is developed. The thesis proposes a practical application of such an extension to reduce the energy consumption of loading weights of convolutional neural networks. Instead of retrieving all the weights of the network from external memory, only a small percentage of the weights is retrieved and the remaining ones are generated using the evolved expression. This method was primarily evaluated on reducing the set of weights of convolutional layers of a small convolutional neural network classifying the MNIST dataset. Furthermore, the possibility of generating weights was also tested on other convolutional neural networks solving more complex classification problems. The proposed method has delivered interesting tradeoffs between the classification accuracy and weight memory size.
The purpose of this thesis is to evaluate the possibility of extending genetic programming with memory for solving symbolic regression problems. Furthermore, a set of problems for testing the quality of such solutions is developed. The thesis proposes a practical application of such an extension to reduce the energy consumption of loading weights of convolutional neural networks. Instead of retrieving all the weights of the network from external memory, only a small percentage of the weights is retrieved and the remaining ones are generated using the evolved expression. This method was primarily evaluated on reducing the set of weights of convolutional layers of a small convolutional neural network classifying the MNIST dataset. Furthermore, the possibility of generating weights was also tested on other convolutional neural networks solving more complex classification problems. The proposed method has delivered interesting tradeoffs between the classification accuracy and weight memory size.
Description
Keywords
kartézské genetické programování, genetické programování, neuronové sítě, konvoluční neuronové sítě, symbolická regrese, strojové učení, komprese vah, cartesian genetic programming, genetic programming, neural network, convolutional neural network, symbolic regression, machine learning, weight compression
Citation
JŮZA, T. Genetické programování s pamětí v úloze symbolické regrese [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2024.
Document type
Document version
Date of access to the full text
Language of document
cs
Study field
Strojové učení
Comittee
prof. Dr. Ing. Jan Černocký (předseda)
doc. Ing. Lukáš Burget, Ph.D. (člen)
doc. Mgr. Lukáš Holík, Ph.D. (člen)
Ing. Michal Hradiš, Ph.D. (člen)
Ing. František Grézl, Ph.D. (člen)
prof. Ing. Lukáš Sekanina, Ph.D. (člen)
Date of acceptance
2024-06-18
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A.
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení