Automatická optimalizace neuronových sítí pro odolnost proti útokům

Abstract

Konvoluční neuronové sítě představují klíčovou komponentu v oboru počítačového vidění. I přes všechen pokrok v této oblasti jsou stále náchylné k oklamání adversariálními útoky (záměrně upravenými daty), která se snaží zmást modely, ale často jsou tyto změny neviditelné pro člověka. Tato práce zkoumá zlepšení robustnosti a optimalizaci výkonu neuronových sítí pomocí automatické optimalizace. Využívá evoluční algoritmus NSGA-II, quantization-aware učení a adversariální učení. Systém byl testován na sítích ResNet s datovými sadami Cifar-10 a podmnožinou ImageNet. Experimenty ukázaly, že samotná kvantizace nezaručuje robustnost, ale lze nalézt optimalizované konfigurace udržující srovnatelnou přesnost na adversariálních i původních datech s jednotně 8bitově kvantizovanou sítí, avšak s velikostí menší až o 50 %. Nižší bitové šířky mohou také snížit efektivitu některých útoků, což naznačuje jistou formu robustnosti a možnost přenosu odolnosti i vůči jiným útokům.

Convolutional neural networks represent a key component in the field of computer vision. Despite all the progress in this area, they are still susceptible to deception by adversarial attacks (intentionally modified data), which aims to confuse models, yet these changes are often invisible to humans. This thesis explores improving the robustness and optimizing the performance of neural networks through automatic optimization. It utilizes the NSGA-II evolutionary algorithm, quantization-aware training, and adversarial training. The system was tested on ResNet architectures using the Cifar-10 dataset and a subset of the ImageNet dataset. Experiments demonstrated that quantization alone does not guarantee robustness, but optimized configurations can be found that maintain comparable accuracy on both adversarial and original data to a uniformly quantized 8-bit network, yet with a size reduction of up to 50 %. Lower bit-widths may also reduce the effectiveness of some attacks, suggesting a certain form of robustness and the possibility of transferring resilience against other types of attacks as well.