Neuronové sítě: Experimentace s Aktivačními funkcemi

Abstract

Aktivační funkce jsou klíčovými komponentami neuronových sítí, protože určují výstupy neuronů na základě vstupů a váh. Výběr aktivačních funkcí se nicméně často provádí bez komplexní analýzy. Tato bakalářská práce zkoumá vliv aktivačních funkcí na výkon konvolučních neuronových sítí (CNNs) při úlohách klasifikace obrazů na dvou datových sadách, CIFAR-10 a Fashion MNIST. Byla navržena a provedena řada experimentů, zaměřených na přesnost klasifikace, rychlost konvergence, schopnost generalizace, velikosti gradientů a odolnost proti útokům FGSM. Hlavním přínosem této práce je komplexní analýza různých aktivačních funkcí, včetně běžně používaných funkcí, sinusových aktivací, lineárních kombinací a funkce SELU se zaměřením na vnitřní normalizaci. Dále studie představuje účinné techniky, jako je přidání šumu do aktivačních funkcí a stochastický výběr aktivační funkce, jako obranné mechanismy proti útokům FGSM.

Activation functions are key components of neural networks, as they determine neuron outputs based on inputs and weights. Nevertheless, the choice of activation function is often made without a comprehensive analysis. This thesis investigates the impact of activation functions on the performance of convolutional neural networks (CNNs) in image classification tasks on two datasets, CIFAR-10 and Fashion MNIST. A series of experiments was designed and conducted, focusing on classification accuracy, convergence speed, generalization ability, gradient magnitudes, and resistance to FGSM attacks. The main contribution of this thesis is the comprehensive analysis of various activation functions, including commonly used ones, sinusoidal activations, linear combinations, and the SELU function with a focus on internal normalization. Additionally, the study introduces effective techniques like noise injection into the activation functions and stochastic activation function selection as defense mechanisms against FGSM attacks.