Posudky závěrečné kvalifikační práce

Student ve své práci provedl velmi kvalitní rešeršní a experimentální práci. Podařilo se mu rozšířit nástroje používané ve vědecké komunitě i s perspektivou budoucích publikací. Vzhledem k jeho nadprůměrné aktivitě a kvalitě výstupů navrhuji hodnocení stupněm A - výborně .

Dílčí hodnocení
Kritérium	Známka	Body	Slovní hodnocení
Informace k zadání			Cílem této práce bylo analyzovat možnosti odhadu spotřeby akcelerátorů neuronových sítí a následně navrhnout jejich rozšíření. Jedná se o velice náročné téma, které je navázáno na řešený projekt GAČR, jehož se student účastnil. Student na tomto tématu pracoval i v rámci projektové praxe, kde ze všech možností odhadu spotřeby identifikoval nástroje Timeloop&Accelergy a Maestro jako nejvhodnější. Při vypracování diplomové práce tyto nástroje pocházející z MIT a NVIDIA vyhodnotil, provedl kvalitní rešerši a nakonec navrhl a implementoval rozšíření pro kvantizaci. Celkově tedy hodnotím zadání jako splněné s významným rozšířením v podobě vyhodnocení a rešeršní práce.
Práce s literaturou			Student velmi aktivně pracoval s nejaktuálnější vědeckou literaturou, která se zabývá řešenými tématy. Podařilo se mu identifikovat nedostatky stávajících řešení a přišel se způsoby rozšíření těchto, komunitou velmi často využívaných, nástrojů.
Aktivita během řešení, konzultace, komunikace			Student tento projekt řešil dlouhodobě a pravidelně svůj postup konzultoval. Na konzultace byl vždy řádně připraven.
Aktivita při dokončování			Jádro teoretické části práce bylo připraveno již v době odevzdávání semestrálního projektu. Většina experimentů také byla provedena v dostatečném předstihu. Pouze finální vyhodnocení bylo připraveno až s blížícím se termínem odevzdáním, přesto bylo vše připraveno včas a řádně konzultováno.
Publikační činnost, ocenění			Samotné jádro práce nebylo zatím publikováno, nicméně jej, po spojení s výsledky s prací na téma automatické kvantizace neuronových sítí, bude možné prezentovat vědecké komunitě. Mimo to studentovy znalosti představených nástrojů posloužily při řešení témat spojených s navázaným projektem GAČR jak ve skupině EHW@FIT, tak v týmu z Ústavu informatiky AV ČR.

Posudek oponenta

Sekanina, Lukáš

Navzdory výše uvedeným nedostatkům ve zpracování technické zprávy, ale zejména vzhledem k obtížnosti tématu a značnému množství odvedené „mravenčí“ práce, považuji diplomovou práci za velmi zdařilou. Proto navrhuji hodnocením stupněm A - výborně.

Dílčí hodnocení
Kritérium	Body	Slovní hodnocení
Náročnost zadání		Jednalo se o obtížnější zadání, které vyžadovalo, aby diplomant nastudoval poměrně komplexní problematiku realizace hardwarových akcelerátorů hlubokých neuronových sítí (konkrétně pro CNN) a způsoby výpočtu a odhadu hardwarových parametrů implementace. Rychlý a dostatečně přesný odhad těchto parametrů je důležitý pro automatizovaný návrh a optimalizaci CNN a jejich akcelerátorů. Obtížnost tématu spočívá mj. v tom, že v rámci této úlohy je nutné řešit netriviální kombinatorický problém optimálního mapování architektury CNN na zdroje dostupné v daném akcelerátoru, jehož cílem je minimalizovat energii nebo latenci inference. Diplomant si zvolil dnes populární nástroje Timeloop a Accelergy, pro které jsou dostupné zdrojové kódy. Tyto zdrojové kódy analyzoval a následně zmodifikoval tak, aby byla podporována možnost kvantizace (zejména vah), která není v původní implementaci řešena. Princip řešení tedy spočívá v modifikaci kódu, který popisuje akcelerátor a další výpočty na nízké úrovni abstrakce. Diplomant prokázal, že se v dané problematice výborně orientuje.
Rozsah splnění požadavků zadání		Zadání bylo splněno v celém rozsahu.
Rozsah technické zprávy		Rozsah diplomové práce je v obvyklém rozmezí.
Prezentační úroveň technické zprávy	90	Práce je napsána srozumitelně, text je logicky členěn do kapitol a podkapitol, které na sebe plynule navazují. Práce obsahuje srozumitelný úvod nejen do problematiky CNN, ale i do principů efektivní implementace CNN, hardwarové akcelerace operace inference a odhadu hardwarových parametrů takových implementací. Zvolené nástroje Timeloop a Accelergy byly detailně ověřeny na třech CNN, jak je patrné z řady obrázků a tabulek. Navržená modifikace podporující kvantizaci je funkční a vede k úspoře energie inference. Z textu práce ale není patrné, jak byla získána přesnost klasifikace kvantizovaných modelů.
Formální úprava technické zprávy	85	Práce je napsána solidní češtinou s minimálním množstvím překlepů a typografických chyb. Řada obrázků i tabulek byla převzata i s anglickým popisem (odkaz na zdroj je vždy uveden). Vytknul bych zejména nadměrné používání anglických výrazů tam, kde máme český ekvivalent (např. pruning – prořezání, separable - separovatelná), a občas chybějící název objektu (vzorec, obrázek, kapitola) před jeho číslem.
Práce s literaturou	100	Diplomová práce obsahuje 64 odkazů na literaturu, které výborně pokrývají danou problematiku.
Realizační výstup	90	Realizačním výstupem jsou modifikace zdrojových kódů nástrojů Timeloop a Accelergy, testovací scénáře pro analýzu dopadu zavedení kvantizace pro tři architektury CNN (na dvou akcelerátorech) a soubory obsahující výsledky experimentů. Přestože existuje v odevzdaném archivu řada readme souborů s detailními popisy a návody, nebyl jsem schopen rozlišit readme soubory, které vytvořil diplomant, a readme soubory, které pocházejí přímo z referenční implementace nástrojů. Všem souborům projektu, vč. readme souborům, chybí hlavička s identifikací autora. Na základě výsledky experimentů, které byly získány pomocí modifikovaných nástrojů, se domnívám, že doplněná podpora kvantizace pracuje dle předpokladů.
Využitelnost výsledků		Práce obsahuje původní výsledky, které by mohly být po doplnění předmětem vědecké publikace. Nejcennějším výstupem je detailní popis nástrojů Timeloop a Accelergy a zabudování podpory pro kvantizaci. Tyto nástroje budou využity výzkumnou skupinou Evolvable hardware na FIT.

Posudky

Posudek vedoucího

Mrázek, Vojtěch

Posudek oponenta

Sekanina, Lukáš