Neuronové sítě: Experimentace s Aktivačními funkcemi

Abstract

Aktivační funkce jsou nezbytnou součástí neuronových sítí a je důležité s nimi experimen- tovat, abychom hledali výhody a nevýhody těchto konkrétních funkcí. V této práci se zabýváme základními koncepty neuronových sítí, abychom pochopili celý koncept, a poté se zaměříme na různé aktivační funkce a analyzujeme jejich dopad v neuronových sítích. Ve druhé části práce experimentujeme s funkcemi Sigmoid, Tanh, ReLU, GELU, ELU a Swish v konvolučních neuronových sítích a autoenkodérech v oblasti detekce anomálií. Používáme datovou sadu Yahoo S5 a poté modifikované datové sady CIFAR-10 a MNIST. Nakonec se podíváme na výsledky experimentů s uvedenými aktivačními funkcemi, které ukazují, že moderní aktivační funkce (např. Swish, ELU, GELU) mají často lepší výkon než klasické funkce, jako je Sigmoid a Tanh, a to díky hladšímu zpracování gradientů a konkrétně přede- vším lepšímu zvládání problému zvaný vanishing gradient.

Activation functions are an essential part of neural networks and it is important to exper- iment with them to find the advantages and disadvantages of these particular functions. In this paper, we will cover the basic concepts of neural networks to understand the whole concept and then focus on different activation functions and analyze their impact in neu- ral networks. In the second part of the paper, we experiment with Sigmoid, Tanh, ReLU, GELU, ELU and Swish functions in convolutional and autoencoder architectures in the field of anomaly detection. We use Yahoo S5 time series dataset and then modified CIFAR-10 and MNIST datasets. Finally, we will look at the results of experiments with the men- tioned activation functions which show that modern activation functions (e.g., Swish, ELU, GELU) often have superior performance over classic functions like Sigmoid and Tanh, due to smoother gradients flow and mainly better handling of vanishing-gradient problems.