Evoluční návrh neuronových sítí

Abstract

Tato práce je věnována implementaci metody pro řešení problémů v oblasti automatizovaného návrhu architektury konvolučních neuronových sítí (CNN). Optimalizace dvou základních a často protichůdných charakteristik, počtu parametrů a kvality klasifikace CNN, je prováděna pomocí vícekriteriálního optimalizačního genetického algoritmu (NSGA-II). Pro zakódování tohoto problému je využita technika kartézského genetického programování (CGP), která umožňuje reprezentaci široké škály architektur CNN a současně lze parametrizací vhodně omezit prohledávaný prostor. Experimenty byly prováděny na datasetu MNIST za účelem pochopení vlivu velikosti populace na kvalitu výsledného řešení. Z výsledků experimentů je také patrné, že kvalita nalezených architektur dokáže konkurovat již etablovaným modelům. Jedná se tedy o alternativní přístup, který v porovnání s manuálním návrhem nevyžaduje lidskou intervenci.The thesis deals with the implementation of a problem-solving method for the automated design of convolutional neural networks (CNN) architectures. The optimization of two fundamental and often conflicting characteristics, the number of parameters and the quality of CNN classification, is performed using a multi-criteria optimization genetic algorithm (NSGA-II). To encode this problem, the Cartesian genetic programming (CGP) technique is used, which enables the wide range of CNN architectures to be represented, and at the same time, the searched area can be appropriately limited by parameterization. Experiments were performed on the MNIST dataset to understand the effect of population size on the quality of the resulting solution. It is also evident from the results of the experiments that the quality of the architectures found can compete with already established models. This is therefore an alternative approach that does not require human intervention compared to manual design.