Prediktory přesnosti konvolučních neuronových sítí

Abstract

V posledním desetiletí došlo k obrovskému skoku v pokroku neuronových sítí, a to především díky možnosti učit větší sítě než kdy dřív. Pouhé zvětšování velikosti sítí ale není dostatečným prostředkem k jejich dalšímu zefektivnění. Z tohoto důvodu dochází ke komplexnějšímu výzkumu architektur sítí. Jeho velkou slabinou je potřeba natrénovat každou architekturu pro zjištění jejího výkonu na daném problému. To může v některých případech zabírat i dny. Alternativou k učení může být využití prediktoru přesnosti neuronové sítě. Tato práce se zabývá zhodnocením a reimplementací několika vybraných prediktorů určených pro klasifikační konvoluční sítě.Last decade has seen a great progress in research of artificial neural network. This progress is mostly consequence of possibility to train larger models than ever before through parallelisation. However researchers reached a point where pure scaling of neural networks does not lead to major improvements. This led to a more complex research of neural network architectures, which introduced new obstacles. The most significant obstacle is the need to evaluate the accuracy of many individual architectures with various hyper-parameters. In some cases even single evaluation can take up to hours on highly specialized computers. One of the methods that can be used to overcome this obstacle is neural network accuracy predictor. Predictors are a group of algorithms that focus on estimating the final validation accuracy of a neural network with no or significantly limited training. This thesis aims to review and reimplement several accuraccy predictors for convolutional neural networks classificators.