BUCHTA, M. Odhad doby běhu algoritmu pomocí strojového učení [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2023.
S ohledem na nadprůměrnou aktivitu, účast na studenské konferenci Excel@FIT, zdařilé impelemntaci a dosaženým výsledkům hodnotím práci stupněm výborně.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | Cílem práce bylo navrhnout techniku pro predikci doby trvání běhu simulačního programu k-Wave na distribuovaném svazku při různých vstupních datech a různém množství přiřazených výpočetních zdrojů. Jednalo se o experimentální práci, jejíž jádro spočívalo navržení a natrénování vhodného predikčního algoritmu na velice omezené trénovací sadě. V rámci práce byly použity dvě rozdílné techniky, které se vhodně doplňují. Dosažené výsledky jsou velice slibné a výrazně zpřesňují původní implementaci. Zadání tak bylo plně splněno. Je zde vhodné zmínit, že nad rámec zadání vytvořil student druhou techniku pro predikci založenou na ANN. | ||
| Práce s literaturou | Student aktivně vyhledával dostupnou literatury a všechny důležité části řádně citoval. | ||
| Aktivita během řešení, konzultace, komunikace | Aktivita studenta během řešení byla nadprůměrná. Na schůzky chodil pravidelně v dvoutýdenních intervalech a vždy byl řádně připraven. Postup prací je dobře zdokumentován na projektovém GitLabu a je z něj vidět systematický přístup. | ||
| Aktivita při dokončování | Aktivita při dokončování byla dobrá, práce byla dokončena v rozumné předstihu a zásadní připomínky vedoucího byly zapracovány. | ||
| Publikační činnost, ocenění | Student se aktivně zúčastnil konference Excel@FIT a výsledky jeho práce budou zapracovány do připravovaného konferenčního článku. Navržené prediktory budou rovněž integrovány do systému k-Dispatch pro automatické plánování výpočtů v rámci balíku k-Wave. |
Autor vytvořil genetickým programováním dobře fungující model symbolické regrese pro predikci doby simulace. Tento model vykazuje lepší přesnost, než existující modely. Z textu mám pocit, že autor věnoval větší pozornost technologiím, než samotnému návrhu či výzkumu. Hodnocení 59E je záměrné. Text se čte špatně a předává špatné informace o technikách strojového učení, což velice významně zhoršuje výslednou známku, které zdaleka neodpovídá kvalitě samotného prediktoru. Apeluji tímto na studenta k přípravě a předvedení výtečné obhajoby práce před komisí a zasloužení si výsledného hodnocení, které lépe odráží vynaložené úsilí a kvalitu implementace. Připomínky: První část věnuje autor teoretickému základu. Mnohem větší pozornost je ovšem věnována popisu superpočítačů, simulacím ultrazvuku a teoretickým základům interpolace, spajnu a regrese, než samotným metodám strojového učení. V druhé polovině práce se autor vzdává jakékoli snahy o literární formu technické zprávy - činný rod, neustále se opakující fráze začínající větu, strohé věty, atd. Autor dává větší důraz na použité technologie, namísto odůvodnění použitých metod a hyperparametrů, které se na první pohled neopírají o relevantní výzkum. Postrádám lepší popis datové sady a použitých metrik. Autor se pokusil implementovat k porovnání i model neuronové sítě, které je v textu ovšem věnováno žalostně málo prostoru.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | Cílem práce bylo navrhnout a implementovat za pomoci strojového učení prediktor běhu doby běhu simulace šíření akustických vln v nástroji k-Wave pro různé parametry simulace. Autor navrhl dva modely, jeden využívající genetického programování, a druhý neuronovou síť. | ||
| Rozsah splnění požadavků zadání | Zadání splněno ve všech bodech. | ||
| Rozsah technické zprávy | Jisté, především úvodní, kapitoly, jsou rozsahem až příliš dlouhé pro potřeby zadání. Naopak, kapitoly pojednávající o použitých metodách strojového učení, jsou příliš strohé. Na požadovaný rozsah tato skutečnost ovšem nemá dopad. | ||
| Prezentační úroveň technické zprávy | 50 | Zpráva má dohromady 9 kapitol, je strukturována logicky a mezi kapitolami je cítit návaznost. Zpráva obsahuje jazykové i typografické nedostatky na úrovni, která bohužel výrazně zhoršuje pochopitelnost a přehlednost textu. | |
| Formální úprava technické zprávy | 50 | Literární stránka je problematická, především ve větné formě. Autor často opakuje stejná slovní spojení a jisté větné návaznosti testují pozornost a trpělivost čtenáře (téměř celá kapitola pojednání o superpočítačích). Problematické přechody z trpného do činného rodu a autorského singularu a pluralu ("Budeme zkoumat ..." vs "... data jsem nasbíral ..."). Ve zprávě autor často a rád vyjmenovává různé seznamy přímo v textu (příkazy pro plánovač, hardwarová sestavu superpočítače barbora, nastavení genetického algoritmu atd.). Čitelnosti by velice pomohlo tyto prvky vyjmenovat v odsazeném seznamu. Nekonzistence - např. výrazy "cluster", "klastr" a "claster" se všechny objevují ve zprávě. Sekce věnující se technikám strojového učení a implementaci samotné jsou strohé a předávané informace jsou nedostatečné - není možné použít například genetické programování a parametry spuštění uvést pouze slovně bez dalšího odduvodnění. Naopak některé sekce, které se tématu dotýkají pouze tečnou, jsou možná až příliš podrobné. Nemyslím, že pro potřeby zadání "Odhad doby běhu algoritmu pomocí strojového učení" je třeba vyjmenovávat různá dostupná úložiště na clusterech včetně jejich kvót a cest souborového systému. Naopak postrádám dostatečná vysvětlení u kapitol, které se více dotýkají tématu práce - metodám strojového učení. Například neuronovým sítím je v práci věnována jedna strana vč. obrázku standardního schématu architektury. | |
| Práce s literaturou | 80 | Student použil dostatek relevantních pramenů. Bohužel, prameny jsou použity pouze při základním teoretickém vysvětlení problematiky - u vlastních návrhů není poznat, zda je student podkládá relevantními prameny. Až po nahlédnutí na samotné reference si lze odvodit studentovy závěry a podklady. | |
| Realizační výstup | 85 | V rámci práce vznikl schopný prediktor běhu akustické simulace v nástroji k-Wave. Zdrojové soubory jsou řádně komentovány a nástroj je dobře použitelný. Programátorsky si autor vyhrál - použil několik moderních technologií - databázové systémy, virtualizaci a kontejnery, Jupyter notebook, moduly pro HeuristicsLab a další. První část práce - model symbolické regrese trénovaný genetickým programováním se zdá ve zdrojovém kódu dokumentovaný a použitelný pro uživatele k-Wave. Bohužel, totéž nemohu říci o modelu neuronové sítě - zde postrádám odůvodnění volby architektury či jakékoli relevantní prameny k této volbě v textu. Na druhou stranu síť vykazuje zdá se dobré výsledky. Každopádně vzhledem k nedostatečné dokumentaci a chybějícím pramenům lze považovat tuto část práce za validní pouze s výhradami. První model samotný ovšem zadání splňuje kompletně a pro obhajobu stačí. Ostatně po konzultaci s vedoucím práce byl právě tento model hlavním a stěžejním cílem práce. Neuronová síť vznikla "navíc" nad původní myšlenku zadání. | |
| Využitelnost výsledků | Věřím, že výsledný model bude možné použít vedle nástroje k-Wave jako dobrý prediktor běhu základních distribuovaných simulačních úloh. V kontextu k-Wave vytvořený model značně předčí veškeré doposud implementované prediktory. |
eVSKP id 148327