NÉMETH, F. Metody strojového učení hlubokých neuronových sítí s omezenými datasety [online]. Brno: Vysoké učení technické v Brně. Fakulta elektrotechniky a komunikačních technologií. 2024.
Student pracoval na tématu aktivně po celý akademický rok a pravidelně využíval konzultací, na kterých vždy prezentoval progres jeho řešení a případné problémy. V teoretické části popisuje problematiku s vhodně zvolenou strukturou, místy se možná příliš věnuje základní tématice než by bylo vhodné. U diplomové práce bych ocenil možná trochu odbornější charakter teoretické přípravy, včetně důkladnější rešerše s nejnovějšími články. Nicméně vypracovaný text odpovídá DP úrovni, kde student používá relevantních zdrojů a vše řádně cituje. V praktické části student nejdříve navrhl a implementoval klasifikační síť na vybraném datasetu, připravil zdrojové kódy pro simulaci omezeného datasetu. Následně s využitím klasifikačního modelu implementoval vybrané prosté metody pro eliminaci vlivu malého datasetu a jednu pokročilejší. Vzhledem k rychlému vývoji a aktuálnosti tématu měla tato část práce velký potenciál, který student ne úplně využil, avšak ve výsledku zadání práce zcela splnil. S prací studenta jsem celkově spokojen, předložená práce je na velmi dobré úrovni a hodnotím stupněm B 88 bodů.
Student se v práci zabýval metodami zlepšujícími učení hlubokých neuronových sítí v případě malých datasetů. Student v práci otestoval základní metody - transferové učení, a augmentaci a jednu specifičtější metodu – přenos neuronového stylu. Po formální stránce je práce v pořádku, mohu vytknout jen nižší kvalitu některých obrázků a nepopsané proměnné v některých rovnicích. Teoretickou rešerši nepovažuji za příliš zdařilou. Obecný popis neuronových sítí je velmi generický a považuji ho za poměrně zbytečný. Student se zde ani nepokusil sjednotit terminologii a jedná se o jednoduchý přepis původních zdrojů včetně převzetí obrázků, takže tato část nic moc nepřináší. To se ukazuje například na rozdílném značení stejných proměnných v různých rovnicích dle původních zdrojů (např. u chyby a gradientu). Uvedená rovnice pro gradient je v obecné případě špatně. Je zde také uvedeno několik obsoletních informací jako popis mizejícího gradientu. Musím nesouhlasit s tvrzením „Malé množstvo prác sa venuje učeniu s malým súborom údajov.” S aktuálním rozvojem umělé inteligence je snaha o zmenšení potřebného množství trénovacích dat jeden z nejvíce řešených vědeckých problémů. Věřím, že původní zastaralý zdroj tuto informaci uvádí, ale student by se nad svým textem měl zamýšlet i v aktuálním kontextu. Na to se pojí nedostatečná rešerše těchto metod, kde zcela chybí aktuální a pokročilejší metody za podledních 5 let jako – „Self-Supervised Learning“, „Contrastive Learning“ (např. SimCLR), "Knowledge Distillation" a další. Nešťastně je také zvolená kapitola dropout na místo regularizace obecně. U souborového učení není vysvětleno, jak to s problematickou souvisí. Praktická část je zpracována poměrně dobře. Zde mi ale chybí optimalizace hyperparametrů, bez které jdou metody mezi sebou jen obtížně porovnávat. Implementačně pak považuji za problematické využití různých hodnot normalizace obrazu pro různé metody, což je hlavně problém u transferového učení, kde by bylo vhodné použít stejné hodnoty pro normalizaci jako pro původní data. Za nevhodně zvolenou považuji také off-line augmentaci, která má jiné nastavení než online augmentace a není tedy jasné co způsobí rozdílnost výsledků. Navíc zvolené množství augmentovaných obrazů je nevhodně malé. Kladně hodnotím vytvoření alespoň jedné lehce pokročilejší metody přenosu neuronového stylu. Kód pro přenos neuronového stylu je ale kompletně převzatý z PyTorch tutoriálu, což by mělo být uvedeno. Práce sice působí celkově dobře, budí však pocit, že student šel cestou nejmenšího odporu, bez snahy pustit se do jakékoli složitější problematiky. I přes uvedené nedostatky se jedná o dobrou práci, zadání je splněno, a tak hodnotím stupněm B – 83 bodů.
eVSKP id 159771