KARÁSEK, D. Prediktory přesnosti konvolučních neuronových sítí [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2023.
Vzhledem k mimořádné aktivitě a zájmu studenta, obtížnosti zadání a realizačním výsledkům, bych do jisté míry přehlédl zmíněné nedostatky v textové části práce, a navrhuji tuto práci hodnotit známkou A (90b).
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | Jedná se o poměrně složité téma bakalářské práce a to jak z pohledu studijní literatury zaměřené na hluboké neuronové sítě a prediktory jejich přesnosti, tak i z pohledu výpočetní a časové složitosti experimentů. Téma bakalářské práce je velmi aktuální a student prokázal značný zájem a zápal pro toto téma, které má potenciál pro další pokračování. Student splnil všechny body zadání, některé dokonce nadmíru. Dosažené výsledky a experimentální vyhodnocení hodnotím jako dostatečné, jelikož jsem upřímně doufal ve větší množství provedených experimentů. Celkový dojem z bakalářské práce pak trochu kazí textová část, která na některých místech odbočuje od tématu, je špatně pochopitelná a místy přímo chaotická. | ||
| Práce s literaturou | Student byl v tomto ohledu velmi aktivní. Mimo nastudování doporučené literatury student prokázal, že je schopen najít a nastudovat relevantní literaturu k danému tématu i samostatně. Díky tomu pak student získal velký rozhled, který z textové části odevzdané práce přímo čiší. Důkazem toho je i nadměrné množství citované literatury. | ||
| Aktivita během řešení, konzultace, komunikace | Student byl z pohledu aktivity a komunikace mimořádně aktivní. Konzultace probíhaly velmi často a byly spíše neformální. Na konzultace byl student vždy řádně připraven. | ||
| Aktivita při dokončování | První verze práce byla dokončena v přijatelném předstihu, nicméně jsem k ní měl velké množství výtek, a to zejména k textové části. V druhé verzi práce si student vzal k srdci mé poznámky a úspěšně opravil většinu nedostatků. Ideálně by však práce snesla ještě minimálně jednu iteraci změn, na kterou už bohužel ve finále nezbyl čas. | ||
| Publikační činnost, ocenění | Dosažené výsledky této práce nemají sami o sobě publikační potenciál. Nicméně, student projevil zájem o toto téma a případné pokračování v tomto výzkumu má velký potenciál, a to zejména v oblasti automatizovaného návrhu architektur neuronových sítí. Z tohoto pohledu je velmi pravděpodobné, že znalosti a výsledky dosažené v této práci budou použity v rámci naší výzkumné skupiny EHW@FIT. |
Práce prezentuje modely strojového učení pro odhad výsledné přesnosti architektury neuronové sítě na základě jejích hyperparametrů. Student zadání splnil a podařilo se mu najít takové modely, u nichž odhad přesnosti začíná fungovat. Největší slabinou práce je však nízká prezentační úroveň a navíc by mohlo být provedeno více experimentů. Proto navrhuji celkové hodnocení stupněm D - uspokojivě .
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | Cílem této práce bylo navrhnout prediktory přesnosti neuronové sítě. Jedná se o aktuální téma výzkumného charakteru. | ||
| Rozsah splnění požadavků zadání | Student splnil všechny body požadované v zadání. | ||
| Rozsah technické zprávy | |||
| Prezentační úroveň technické zprávy | 60 | Z pohledu prezentace technické zprávy práce obsahuje všechny potřebné informace. V rešeršní části autor vysvětlil potřebné principy, je také jasné, jak získal jednotlivé výsledky. Problémem je však pochopitelnost práce a návaznost jednotlivých podkapitol. Práce obsahuje celou řadu nepřesností (např. nadužíváno slovo "usually" bez bližšího kontextu, specifikování problematiky gradientního algoritmu bez nějakých konkrétních závěrů, omezení CNN pouze na problematiku klasifikace obrázků atd. ) a některé logické přechody nejsou dostatečně vysvětleny (např. přechod od konvoluce funkcí ke konvoluční vrstvě). Celkově podkapitoly působí osamoceně a nejsou spojeny v jeden ucelený text. | |
| Formální úprava technické zprávy | 50 | Formální úprava práce je na hraniční úrovni. Autor zřejmě věděl, co chce popsat, ale po jazykové stránce anglické věty nedávají vždy smysl, někdy chybí např. sloveso. Práce není konzistentní z pohledu termínů (Figure, Picture) a z pohledu psaní velkých písmen a čárek. Celkově je text velmi popisný, strohý a náročný na pochopení. | |
| Práce s literaturou | 95 | Autor ve své práci využil 76 zdrojů, které jsou relevantní k práci. Zdroje jsou aktuální a jsou řádně citovány. | |
| Realizační výstup | 80 | Autor ve své práci analyzuje datasety skupiny NAS-Bench a snaží se na základě příznaků nebo Hammingovy vzdálenosti odhadnout přesnost sítě. To může mít vliv na urychlení automatického návrhu architektury neuronové sítě. Z implementačního pohledu práce není náročná, jelikož je postavena na knihovnách strojového učení. Vyžaduje však detailní vyhodnocení a interpretaci výsledků. Student vytvořil funkční řešení, které splňuje všechny požadavky kladené zadáním. Celkově by však analýza výsledků mohla být detailnější. Výsledky přináší řadu otázek, které ale nejsou diskutovány: např. jaké příznaky jsou důležité, jaký vliv měla volba trénovací a testovací sady atd. Připomínku mám ke grafům 9.1 a 9.2, které vůbec nezobrazují četnost bodů v jednotlivých shlucích - pravděpodobně budou některé body skryté za sebou. Celkově jsou výsledky shrnuty na pouhých pěti stránkách práce bez dalšího vysvětlení a doplňující analýzy. | |
| Využitelnost výsledků | Samotná technika je využitelná dále ve výzkumu v oblasti automatického návrhu architektur neuronových sítí. |
eVSKP id 148788