Neuronové sítě, předtrénování komplexity

Abstract

Tato práce se zabývá technikou obrácené destilace modelu neuronových sítí, při které menší model (učitel) vede počáteční fázi tréninku většího modelu (studenta). Cílem je ověřit, zda tento přístup může sloužit jako efektivní způsob inicializace vah a zlepšit průběh tréninku. Experimenty na klasifikačních úlohách (CIFAR-10 a Fashion-MNIST) ukazují, že destilace po celou dobu tréninku zvyšuje přesnost a odolnost vůči FGSM útokům. U regresní úlohy (California Housing) sice nedošlo ke zlepšení výsledné přesnosti, ale metoda vedla ke snížení testovací ztráty při adversariálním útoku. Výsledky naznačují, že obrácená destilace může podpořit stabilnější a odolnější trénink neuronových sítí.

This thesis investigates reversed model distillation for neural networks, where a smaller teacher model guides the early training of a larger student model. The goal is to evaluate whether this approach can serve as an effective weight initialization method and improve training dynamics. Experiments on classification tasks (CIFAR-10 and Fashion-MNIST) show that applying distillation throughout the entire training improves accuracy and robustness to FGSM attacks. For the regression task (California Housing), while final accuracy did not improve, the method led to lower test loss under adversarial conditions. These results suggest that reversed distillation can support more stable and robust neural network training.