KŘÍŽ, O. Optimalizace induktivní syntézy kontrolérů pro POMDP s časově omezenými cenami [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2023.
Celkově musím konstatovat, že i) student nebyl schopný splnit ani minimalistickou verzi zadání, ii) realizační výstup je minimální a dále téměř nepoužitelný, iii) student opakovaně prokazoval zásadní nepochopení tématu BP a iv) výsledný text je velice slabý a před odevzdáním nebyl téměř diskutován. Tudíž musím doporučit tuto BP hodnotit známkou F (nedostatečně).
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | Jedná se o průměrně obtížné zadání, které vyžaduje pochopení pokročilých technik pro řešení Markovských rozhodovacích procesů s částečným pozorováním. Zadání umožnuje poměrně široké možnosti realizace, ale student se bohužel dostal pouze k naprosto minimalistickému řešení. Navíc musím konstatovat, že navrženou a implementovanou optimalizaci se nepodařilo úspěšně integrovat do nástroje PAYNT (což byl klíčový bod zadání). Celkově jsem s odvedenou prací značně nespokojen. | ||
| Práce s literaturou | Práci s literaturou považuji za podprůměrnou. Student nebyl schopný ani rozumně použít doporučenou literaturu a neprovedl rozsáhlejší rešerši souvisejících publikací. | ||
| Aktivita během řešení, konzultace, komunikace | V průběhu prvního semestru byl student méně aktivní. V druhém semestru byl již student aktivnější. Bohužel v průběhu celého roku jsme naráželi na zásadní nepochopení problematiky z jeho strany, což v podstatě bránilo jakémukoliv posunu v BP. Přestože jsme se domluvili na minimalistickém pojetí zadání, student nebyl schopen se v tématu zorientovat a opakovaně narážel na principiální nepochopení a technické problémy. | ||
| Aktivita při dokončování | Dokončování bylo také velice problematické, jelikož do poslední chvíle nebylo jasné, jaký bude realizační výstup. Tudíž na sepsání a textu zbylo velice málo času a měl jsem pouze minimální šanci výsledný text korigovat. Toto se bohužel zásadně podepsalo na kvalitě výsledného textu, kterou považuji za nedostačující. | ||
| Publikační činnost, ocenění | Vzhledem k značně neúplné realizační části a velice slabému textovému zpracování není možné uvažovat o žádné publikaci či využití této BP. |
Text práce je přijatelný, jádro práce je ale zpracováno naprosto minimalisticky, v důsledku minima času, které studentovi nakonec na práci zbylo. Práce je na hraně vyhovující a nevyhovující. Hodnotím E, student někou práci odvedl a zaslouží si šanci přesvědčit komisi.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | Zadán byl výzkumný cíl v oblasti syntézy POMDP, která staví na komplexním a poměrně rozsáhlém matematickém aparátu. Téma také vyžaduje netriviální zásah do komplikovaných výzkumných nástrojů pro syntézu POMDP. | ||
| Rozsah splnění požadavků zadání | Po formální stránce se studentovo řešení dotýká každého bodu zadání. Není však jasné, zda jsou body splněny dostatečnou měrou, zejména jsou minimalisticky zpracovány body 2 a 3, začlenění slevy do algoritmu syntézy a implementace. | ||
| Rozsah technické zprávy | |||
| Prezentační úroveň technické zprávy | 60 | Většina textu je podrobný úvod do problematiky, teorie a nástrojů. Tato část je na první pohled smysluplná a pěkně zpracovaná a mohla by mít hodnotu jako přehled, úvod do problematiky. Přehled problematiky však nebyl mezi cíli práce, a vlastní přínos je potom shrnut na 5 stranách. Tento nepoměr odráží hlavní nedostatek práce, a to celkově minimalistické zpracování. Z popisu vlastního přínosu není navíc zcela zřejmá hlavní myšlenka celé věci, jde o jakýsi náznak myšlenky kombinovaný s náznakem implementačních detailů, oba se zdají být neúplné. | |
| Formální úprava technické zprávy | 75 | Práce je psána Anglicky, a gramaticky a stylisticky velmi dobře, s použitím velmi pokročilé slovní zásoby, frází a obratů. Z textu je však cítit poměrně výrazná pomoc nově dostupných automatických nástrojů. Nemohu si tím ale být jistý a osobně toto nepovažuji za fundamentální problém (jedná se o všeobecně dostupné nástroje, které se staly neoddělitelnou součástí kreativních procesů v praxi, které by se měla blížit i diplomová práce). Tento text ale nevypadá autenticky a vygenerovanou pokročilou Angličtinu nejsem schopen hodnotit jako výrazné plus. | |
| Práce s literaturou | 100 | V pořádku, zdá se, že cituje dostatek relevantních zdrojů (nejsem odborník). (a vlastně nevím, jak tomuto přiřadit smysluplnou objektivní bodovou hodnotu) | |
| Realizační výstup | 50 | Na první pohled minimalistický a spíše nedostatečný. Student provedl poměrně malé změny v nástrojích STORM a PAYNT, aby zprovoznil nejzákladnější funkcionalitu slevy v iterativním výpočtu. Napsal velmi málo vlastního kódu, řádově stovky řádků. Samotná změna není konceptuálně příliš komplikovaná (navrhnout ji správně ale mohlo vyžadovat hodně studia a zkoušení). Nový algoritmus je základním způsobem experimentálně vyhodnocen. Prezentovaný výsledek experimentu volá po doplňujících experimentech, které by potvrdily potenciál metody, a pokusu o interpretaci. Ty ale chybí. Můj první dojem by tedy byl, že realizační výstup je nedostatečný. Hlubším zkoumáním a s pomocí studentova vysvětlení jsem ale našel i důvody uznat výstup jako dostatečný, a navrhuji komisi, aby je zvážila: Student pracoval se spojením dvou výzkumných nástrojů - STORM, v C++, a PAYNT, v Pythonu, které implementují velmi komplikované algoritmy a infrastrukturu, a komunikují netriviálním způsobem. Zorientovat se mohlo být velmi náročné, a provést změny (implementace slevy), které prostupují celou infrastrukturou napříč oběma nástroji až k nízkoúrovňové implementaci maticových operací vyžadovalo jistě mnoho badatelské práce, která se neprojevila přímo v počtu řádků vlastního kódu. Kód nástroje STORM je navíc poměrně pokročilé šablonové C++, které se podle studentových slov úpravám dosti bránilo. Kód je rozsáhlý, implementuje pokročilé techniky, studentovy změny se týkaly celkem 13 samostatných souborů. Fakt, že student nakonec přišel s funkční modifikací kódu, vlastně prokazuje slušnou programátorskou gramotnost a jistou schopnost odolat frustraci. Z experimentálního vyhodnocení se zdá, že implementace slevy může drasticky zmenšit výpočetní čas při zachování přesnosti. Toto je vidět na jednom příkladu z asi 25 (zrychlení z 49 sekund na 2), ale jde zrovna o příklad, který je mnohonásobně výpočetně náročnější, než všechny ostatní příklady. Další asi dva příklady ukazují zrychlení v řádu desítek procent. Relevanci dat ale nejsem schopen posoudit a práce ji nekomentuje. Při pohledu ze správného úhlu výstup splňuje zadání, i když minimalisticky. Student se během řešení dostal do problémů s technologiemi, které ne zcela souvisí s jádrem práce (jako třeba dlouhé neúspěšné pokusy o kompilaci nástrojů na vlastním počítači s M1 procesorem). Ztráta tempa asi přispěla k tomu, že k jádru vlastní práce se dostal až extrémně pozdě, z čehož plynou ostatní problémy. | |
| Využitelnost výsledků | Výsledky ne zcela přesvědčivě indikují, že původní směr výzkumné práce má potenciál. Na změny v implementaci nástrojů by možná bylo možné navázat. |
eVSKP id 148661