MACÁK, F. Vylepšení syntézy konečně stavových kontrolérů pro POMDP [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2023.
Vzhledem k obtížnému zadání, samostatné práci a dosaženým výsledkům, které zásadně přispěly k publikaci na prestižních konferenci, navrhuji hodnotit tuto DP známkou A. Jelikož kvalita prezentace a odbornost textu DP je na vynikající úrovni a dosažené výsledky vylepšují state-of-art ve velice aktuální a důležité oblasti (bezpečné a škálovatelné řízení agentů v nejistém prostředí), navrhuji práci ocenit cenou děkana a nominovat ji do užšího výběru pro soutěž IT SPY.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | Jedná se o náročné zadaní s výzkumným zaměřením, které vyžadovalo nastudování pokročilých technik z oblasti formálních metod pro pravděpodobnostní systémy včetně detailního pochopení pokročilých implementačních postupů. DP práce vznikala v rámci projektu s mezinárodní spoluprací. Student se velice rychle zorientoval v dané problematice a rychle začal přispívat do projektu. Zadání bylo splněno a s dosaženými výsledky jsou velice spokojen (viz níže). | ||
| Práce s literaturou | Student se samostatně a velmi kvalitně seznámil s existující literaturou a rovněž z existujícími implementacemi syntetizačních algoritmů. | ||
| Aktivita během řešení, konzultace, komunikace | Student byl velice aktivní po celou dobu řešení projektu a DP, dodržoval dohodnuté termíny a dostatečně konzultoval svůj postup. Velice oceňuji, že student pracoval samostatně a prokázal schopnost se sám zorientovat v relativně obtížné a pro studenta nové oblasti. | ||
| Aktivita při dokončování | Přestože se student významně podílel na přípravě publikace (viz níže), zvládl realizační i textovou část DP dokončit včas a tak mohla být výsledná podoba DP dostatečně konzultována. Mohu však konstatovat, že předložený text byl dobře logicky strukturován a celková kvalita prezentace DP byla na vynikající úrovni -- toto demonstruje schopnost studenta samostatně vypracovat kvalitní odborný text. | ||
| Publikační činnost, ocenění | Student se zásadním způsobem podílel na přípravě publikace (je jedním ze spoluautorů), která stojí na výsledcích jeho DP a byla nedávno přijata na prestižní konferenci CAV’23 (CORE rank A*, poměr přijatých článku kolem 25 %). Student se zásadně podílel na formulaci hlavních myšlenek, návrhu algoritmu a sepisování článku. Dále byl zodpovědný z implementaci a experimentální vyhodnocení. Tudíž mohu objektivně konstatovat, že tento článek by bez Filipa Macáka tento rok určitě nevznikl. |
Student odvedl extrémně kvalitní práci, a to po stránce celkového objemu práce, zvládnutí náročné problematiky, kreativního řešení problémů, implementace, i prezentace. Vše toto je doloženo přijetím práce na konferenci CAV, která je špičkou v oblasti formálních metod. Je třeba dodat, že student pracoval obklopen aktivním týmem vědeckých pracovníků, kteří mají s výzkumem v oblasti velké zkušenosti, a není možné mu přičíst všechen kredit za dosažený výsledek. Původní myšlenka, technická řešení, i text článku, ze ktrého diplomová práce čerpá, jsou společným dílem. Studentův přínos byl ale nadstandardní a klíčový, zejména po stránce nalezení a implementace technických řešení, experimentálního vyhodnocení, a podílel se výrazně na všech aspektech práce, včetně formulace textů článku. Lze říci, že práce dosáhla současného úspěchu zejména díky jeho přispění. Navrhuji zvážit všemožná ocenění, např. IT SPY, nejen pro kvalitu zpracování, ale i pro její relevanci k výzkumného směru obecně a také v rámci výzkumných projektů na FIT.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | Zadán byl výzkumný cíl v oblasti syntézy POMDP, která staví na komplexním a poměrně rozsáhlém matematickém aparátu, jehož zvládnutí přesahuje možnosti běžného studenta FIT. Cíl je natolik ambiciózní, že jeho dosažení vedlo k publikaci na špičkové konferenci CAV. Fakt, že se jedná o práci týmu seniorních vědeckých pracovníků obtížnost tématu posouvá do zvládnutelné roviny, požadavky na studenta byly ale stále velmi vysoké. | ||
| Rozsah splnění požadavků zadání | Kvalita výsledku dosáhla úrovně špičkové mezinárodní publikace a daleko přesahuje požadavky na diplomovou práci. Přijetí práce na konferenci CAV, podmíněné velmi pozitivní odezvou tří předních odborníků v oblasti, mluví za vše, a považuji jej za kredibilnější referenci než svůj vlastní názor (nejsem odborníkem v oblasti syntézy POMDP). Budu se proto níže vyjadřovat spíše stručně a spíše k formálním aspektům práce. | ||
| Rozsah technické zprávy | |||
| Prezentační úroveň technické zprávy | 100 | Celý text se po všech stránkách výrazně neodchyluje od kvality zmíněné konferenční publikace. | |
| Formální úprava technické zprávy | 100 | Viz prezentační úroveň technické zprávy. | |
| Práce s literaturou | 100 | Viz prezentační úroveň technické zprávy. | |
| Realizační výstup | 100 | Realizačním výstupem je implementace nového algoritmu syntézy, kombinací nástrojů STORM a PAYNT. Jedná se o poměrně rozsáhlou implementaci komplikovaných algoritmů, která byla pečlivě experimentálně vyhodnocena. Výsledky jasně demonstrují, že nový algoritmus produkuje kvalitnější výsledky, a navíc rychleji, než dříve existující metody a nástroje. Opět by mělo stačit říci, že realizační výstup hrál zásadní roli pro přijetí práce na konferenci CAV. | |
| Využitelnost výsledků | Výsledky jsou využitelné v syntéze POMDP a jako základ dalšího výzkumu a rozvoje v oblasti. Výsledky mají potenciál dasáhnou ohlasu ve vědecké komunitě, jedná se o současně intezinvě zkoumanou oblast s velkým praktickým potenciálem. |
eVSKP id 146891