EICHLER, V. Diferenciovatelný návrh architektury neuronových sítí [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2023.
Práce představuje kvalitní základ budoucí vědecké publikace. Ukazuje možnosti využití návrhu DARTS v oblasti aproximovaných a dalších typů sítí. Vzhledem k náročnosti zadání, kvalitnímu zpracování jak implementace, tak i výsledků navrhuji souhrnné hodnocení stupněm A - výborně .
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | Cílem této práce bylo implementovat diferenciální návrh architektury neuronových sítí pro různé druhy sítí. Jedná se o velmi obtížné zadání, protože bylo nutné nastudovat velké množství materiálů a využívat experimentálních a hůře dokumentovaných funkcí. Práci navíc komplikovalo to, že experimenty byly časově a výpočetně náročné a ladění aplikace bylo obtížné. Student však velmi dobře zpracoval dané téma a oceňuji zejména to, že se soustředil na efektivnost implementace a ladění těchto problémů, jelikož je to pro návrh neuronových sítí kritické. | ||
| Práce s literaturou | Student aktivně pracoval s aktuální literaturou, sám si vyhledal celou řadu relevantních zdrojů. Při své práci porovnával své výsledky s nejnovějšími výsledky z vědecké literatury a snažil se jim co nejvíce přiblížit. | ||
| Aktivita během řešení, konzultace, komunikace | Student své řešení pravidelně konzultoval, první prototypy implementace byly připraveny již v zimním semestru. V letním se pak soustředil na vylepšení experimentálních výsledků. Na konzultace chodil vždy připraven. | ||
| Aktivita při dokončování | Práce byla dokončena v dostatečném předstihu, její text byl řádně konzultován a všechny připomínky byly zapracovány. | ||
| Publikační činnost, ocenění | Tato práce byla navázána na výzkumný projekt GAČR. Výsledky ukázaly možné směry dalšího výzkumu. Po doplnění dalších experimentů, což nebylo při psaní práce z důvodu množství alokovaných výpočetních prostředků možné, předpokládáme vědeckou publikaci založenou na této práci. |
Celkově práci hodnotím jako velmi kvalitní. Provedené exprimenty byly vhodně navrženy, provedeny i vyhodnoceny a přinášejí zajímavé poznatky.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | Zadání hodnotím jako obtížnější. Student se v rámci řešení práce musel seznámit s teorií neuronových sítí, různými přístupy k návrhu architektur neuronových sítí a následně zpracovat studii pojednávající o jejich automatizovaném návrhu. Realizační výstup práce poté tvořila reimplementace pokročilejší, diferencovatelné metody DARTS. | ||
| Rozsah splnění požadavků zadání | Zadání práce bylo splněno. Oproti původnímu zadání student rozšířil práci o možnost využití aproximovaných násobiček v konvolučních vrstvách konvolučních neuronových sítí, a to s cílem snížení energetické náročnosti výsledných architektur. Tímto rozšířením student položil základy pro další pokračování práce. | ||
| Rozsah technické zprávy | |||
| Prezentační úroveň technické zprávy | 95 | Práce splňuje veškeré požadavky kladené na bakalářskou práci, má logickou strukturu, rozsah a návaznost jednotlivých kapitol je velmi dobrá. Celkově se mi práce pěkně četla. | |
| Formální úprava technické zprávy | 95 | Typografická i jazyková stránka práce je na vysoké úrovni. V práci jsem našel jen opravdu málo chyb. | |
| Práce s literaturou | 90 | Použitá literatura odpovídá tématu práce a byla použita v souladu s citačními zvyklostmi a normami. | |
| Realizační výstup | 90 | Student v rámci práce úspěšně reimplementoval metodu DARTS za použití frameworku TensorFlow 2. Nad implementovaným řešení poté student provedl 3 sady experimentů, zkoumající automatizovaný návrh klasických konvolučních neuronových sítí, konvolučních neuronových sítí s využitím aproximačních násobiček, a konvoluční neuronové sítě s attention vrstvami. | |
| Využitelnost výsledků | Studentem implementovaná rozšíření ve formě využití aproximačních násobiček v konvolučních vrstvách neuronových sítí, pokládají základ pro využití v budoucím výzkumu. Z tohoto pohledu tedy student odvedl práci, která se v budoucnu určitě využije. |
eVSKP id 142345