BĚHAL, T. Automatická optimalizace neuronových sítí pro odolnost proti útokům [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2025.
Student v této práci experimentálního charakteru splnil zadání tím, že se mu podařilo spojit problematiku hledání parametrů neuronové sítě (úrovní kvantizace) s přesností a odolností proti adverisálním útokům. Z pohledu provedených experimentů je práce na dobré úrovni. Vzhledem k aktivitě studenta během semestru a celkovému stavu práce proto navrhuji souhrnné hodnocení stupněm B - velmi dobře .
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | Zadání hodnotím jako náročné, jelikož hledání a optimalizace architektury neuronové sítě je výpočetně náročné, je nutné využívat počítačových klusterů, což přináší celou řadu komplikací zejména v oblasti ladění algoritmů a provádění experimentů. Zadání z mého pohledu student splnil, předvedené výsledky odpovídají tomu, co jsem očekával. Po prvotních analýzách jsme se domluvili na přesnějším zaměření na parametry kvantizace a optimalizace paměťové náročnosti těchto sítí. | ||
| Práce s literaturou | Student pracoval nejen s literaturou doporučenou vedoucím, ale navíc další zdroje dohledával. Vhodně se použitými zdroji inspiroval při implementaci. | ||
| Aktivita během řešení, konzultace, komunikace | Student na této práci pracoval už od minulého akademického roku. Konzultace by mohly být pravidelnější, zejména při fázi experimentování, avšak na závěr se podařilo experimentální část také doladit. | ||
| Aktivita při dokončování | Finální verze práce mi byla předložena s adekvátním předstihem a student stihl zapracovat mé poznámky. | ||
| Publikační činnost, ocenění | Vzhledem k tomu, že práce nepřinesla žádné překvapivé výsledky, tak se publikační činnost neočekává. To však u zadání tohoto charakteru nevidím jako problém. |
Vzhledem k obtížnějšímu tématu bakalářské práce, kvalitnímu zpracování dané problematiky a po technické stránce kvalitně zpracovaným výstupem navrhuji i přes drobné výhrady k formální úpravě technické zprávy souhrnné hodnocení stupněm B – velmi dobře .
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | Cílem práce bylo navrhnout a realizovat systém pro automatizovaný návrh neuronových sítí odolných vůči adversariálním útokům. Zadání považuji za obtížnější, a to vzhledem k aktuálnosti tématu, nutnosti provést hlubokou rešerši a systematicky vyhodnotit vhodný přístup k řešení. Práce navíc zasahuje do oblastí, které nejsou pokryty v rámci bakalářského studia. | ||
| Rozsah splnění požadavků zadání | Student splnil všechny body zadání. | ||
| Rozsah technické zprávy | Rozsah bakalářské práce je v obvyklém rozmezí. | ||
| Prezentační úroveň technické zprávy | 75 | Práce je strukturována přehledně, jednotlivé kapitoly na sebe logicky navazují a text je celkově dobře srozumitelný. Teoretická část poskytuje čtenáři dostatečný kontext k tématu neuronových sítí, jejich optimalizaci a k typům adversariálních útoků a jejich hrozbám. Na ni plynule navazuje návrh řešení a experimentální vyhodnocení, založené na vícekriteriální evoluční optimalizaci. Přesto se v textu vyskytují dílčí nedostatky. Například na obr.2.3 jsou chybné hodnoty ve výstupních mapách příznaků při ukázce výpočtu 2D konvoluce. Obr.6.3 postrádá vysvětlení použitých zkratek „KV“ a „PPV“. U mnoha obrázků chybí přímé odkazy z textu, což ztěžuje orientaci a narušuje koherenci výkladu. Obr.7.4 navíc obsahuje chybný popisek, který neodpovídá zobrazenému experimentu. Místy se vyskytují také stylisticky kostrbaté nebo zcela opakující se formulace (např. v sekci3.3), které snižují plynulost čtení. | |
| Formální úprava technické zprávy | 75 | Po jazykové stránce je práce na solidní úrovni, text je převážně psán odborně a srozumitelně. Vyskytuje se však více překlepů a drobných gramatických nepřesností, které mohly být odstraněny důslednější jazykovou korekturou. V některých částech, například v podsekci 2.1.1 při popisu umělého neuronu, není jednoznačně odlišeno, zda daný symbol označuje vektor či skalár, což může čtenáře mást. Místy se objevují zbytečná výplňová slova (např. „takzvané“), která snižují jazykovou čistotu textu. V podsekci 5.1.2 je vstup před kvantizací definován jako r a její zpětně dekvantizovaná (aproximovaná) hodnota jako r^ , přičemž se v textu chybně objevuje vztah r^ != x místo správného tvaru r^ != r . | |
| Práce s literaturou | 85 | Práce obsahuje 36 citací, které výborně pokrývají řešenou problematiku. Převzaté prvky jsou řádně odlišeny. Menší výhrady mám k absenci citací v začátku podsekce2.3 u zmínky architektur LeNet a ResNet. Chybí rovněž odkazy na výzkumné práce, na které se autor odvolává při zdůvodnění volby ResNet-50 v experimentu7.4 – bez nich je tvrzení nepodložené. | |
| Realizační výstup | 90 | Student vytvořil funkční nástroj pro vícekriteriální evoluční optimalizaci neuronových sítí, který zkoumá vliv různých kvantizačních úrovní na velikost modelu a jeho klasifikační přesnost při působení adversariálních útoků (zejména FGSM). Řešení je implementováno v jazyce Python s využitím knihovny PyTorch, kód je přehledný, logicky členěný a čistý. Kandidátní architektury byly vyhodnocovány na základě velikosti v Bytech a klasifikační přesnosti, měřené jak na původních testovacích datech, tak na datech zasažených adversariálními perturbacemi. Validace proběhla na modelech ResNet-18 a ResNet-50 s využitím datasetů CIFAR-10 a ImageNet100. Použité knihovny jsou řádně citovány a využity v souladu s licencemi. | |
| Využitelnost výsledků | Práce rozšiřuje stávající přístupy ke zvyšování robustnosti neuronových sítí vůči adversariálním útokům prostřednictvím automatizovaného návrhu kvantizačních konfigurací. Ačkoli kvantizace sama o sobě není obecně považována za nástroj zvyšující adversariální odolnost, některé nedávné studie naznačují, že vhodná volba kvantizační strategie může mít vliv na robustnost vůči vybraným typům útoků – práce tedy zkoumá aktuální a otevřené téma. Navržený nástroj je obecně použitelný a přenositelný na různé architektury neuronových sítí, datové sady i typy adversariálních útoků, a může tak sloužit jako praktický základ pro další výzkum v této oblasti. |
eVSKP id 164871