Neuronové sítě: Experimentace s Aktivačními funkcemi - Uřídil, Mikuláš (Vysoké učení technické v Brně. Fakulta informačních technologií, 2025)
Aktivační funkce jsou nezbytnou součástí neuronových sítí a je důležité s nimi experimen- tovat, abychom hledali výhody a nevýhody těchto konkrétních funkcí. V této práci se zabýváme základními koncepty neuronových sítí, abychom pochopili celý koncept, a poté se zaměříme na různé aktivační funkce a analyzujeme jejich dopad v neuronových sítích. Ve druhé části práce experimentujeme s funkcemi Sigmoid, Tanh, ReLU, GELU, ELU a Swish v konvolučních neuronových sítích a autoenkodérech v oblasti detekce anomálií. Používáme datovou sadu Yahoo S5 a poté modifikované datové sady CIFAR-10 a MNIST. Nakonec se podíváme na výsledky experimentů s uvedenými aktivačními funkcemi, které ukazují, že moderní aktivační funkce (např. Swish, ELU, GELU) mají často lepší výkon než klasické funkce, jako je Sigmoid a Tanh, a to díky hladšímu zpracování gradientů a konkrétně přede- vším lepšímu zvládání problému zvaný vanishing gradient.

Activation functions are an essential part of neural networks and it is important to exper- iment with them to find the advantages and disadvantages of these particular functions. In this paper, we will cover the basic concepts of neural networks to understand the whole concept and then focus on different activation functions and analyze their impact in neu- ral networks. In the second part of the paper, we experiment with Sigmoid, Tanh, ReLU, GELU, ELU and Swish functions in convolutional and autoencoder architectures in the field of anomaly detection. We use Yahoo S5 time series dataset and then modified CIFAR-10 and MNIST datasets. Finally, we will look at the results of experiments with the men- tioned activation functions which show that modern activation functions (e.g., Swish, ELU, GELU) often have superior performance over classic functions like Sigmoid and Tanh, due to smoother gradients flow and mainly better handling of vanishing-gradient problems.
Neural Networks: Experimentation with Activation Functions
Keywords: Neuronové sítě; Aktivační funkce; Experimentální funkce; Konvergence; Přetížení; Matematické vlastnosti; Učení neuronových sítí; Optimalizace sítě; Výkon neuronové sítě; Detekce anomálií; Vliv aktivační funkce na metriky; Neural Networks; Activation Functions; Experimental Functions; Convergence; Overfitting; Mathematical Properties; Neural Network Learning; Network Optimization; Neural Network Performance; Anomaly Detection; Effect of Activation Function on Metrics