ALEXAJ, O. HyperLTL Model Checking [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2024.
Bakalářskou práci Ondreje Alexaje hodnotím jako velmi zdařilou. V rámci práce se podařilo vyvinout některé nové heuristiky pro testování inkluze omega automatů a v současnosti zřejmě nejlepší nástroj pro model checking HyperLTL na konečně stavových systémech. Byť zatím výsledky práce nebyly publikovány na mezinárodním fóru, je v plánu tak v budoucnu učinit. Bakalářskou práci tedy hodnotím stupněm výborně (A).
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | Zadání bylo značně obtížné: student se musel seznámit s teorií automatů nad nekonečnými slovy, posledním vývojem v oblasti efektivních algoritmů pro práci s nimi, a s oblastí verifikace systémů vzhledem k lineárním hypervlastnostem. Práce navazuje na výzkum omega-automatové skupinky v rámci VeriFITu. S dosaženými výsledky jsem velmi spokojen: v rámci bakalářské práce se podařilo vyvinout nové heuristiky pro zefektivnění testování inkluze omega automatů a zřejmě nejefektivnější existující nástroj pro HyperLTL model checking konečně stavových systémů. | ||
| Práce s literaturou | Základní literatura byla poskytnuta, student si našel sám vhodnou další literaturu. | ||
| Aktivita během řešení, konzultace, komunikace | Bez problémů. | ||
| Aktivita při dokončování | Bez problémů. | ||
| Publikační činnost, ocenění | Práce byla prezentována na studentské konferenci Excel@FIT 2024. Je plán práci v budoucnu dotáhnout do článku na nějaké kvalitní mezinárodní konferenci. |
Domnívám se, že práce cílí na příliš širokou oblast a student proto neměl čas nebo sílu dotáhnout text do kvalitní podoby. Úžeji zaměřenou a lépe vyvedenou práci bych považoval za vhodnější. Rozsah práce byl však dán zadáním. Nedostatky textu a seznamu literatury ukazují spíše na hodnocení C, ale vzhledem k náročnosti a rozsahu zadání jsem se nakonec přiklonil k hodnocení B. Vyjádřeno bodově hodnotím práci na 82,7294 bodu. Informační systém VUT bohužel bohužel neumožňuje tuto přesnou hodnotu zadat.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | Zadání bezesporu patří mezi náročnější, protože student musel při jeho řešení nejprve nastudovat větší množství velmi netriviálních vědeckých článků. Rovněž rozsah zadaně práce je velký a domnívám se, že by vystačil i na práci diplomovou. | ||
| Rozsah splnění požadavků zadání | Zadání bylo dle mého názoru zcela splněno. | ||
| Rozsah technické zprávy | |||
| Prezentační úroveň technické zprávy | 75 | Dělení práce je na kapitoly je celkově vhodné, akorát kapitola 4 tvořící vlastní jádro práce je příliš obsáhlá a bylo by dobré ji rozdělit či jasněji vnitřně rozčlenit. Práce obsahuje řadu formálních nedostatků. Prvním příkladem je zavedení automatu s vícero vstupními stavy, což však není zohledněno v definici deterministického automatu. V definici běhu se pak používá nezavedené q_in a místy se objevuje automat s jedním vstupním stavem namísto množiny (např. strana 14). Dále se nekonzistentně pracuje s během (sekence stavů, která však záhadně obsahuje přechody) atd. Text obsahuje techické chyby: v obrázku 2.4c chybí akceptační značka, iniciální stav automatu v obrázku 3.2b nemá se jmenuje q0, ačkoliv v textu je pojmenován q_in, v obrázku 3.3 je špatné návěští hrany (q1,s2)->(q1,s1), v obrázku 3.5 nemá být hrana do (c4,s2), v algoritmu 1 chybí na řádku upraostřed nastavujicím trans_cond nějaká vazba na index i atd. Nedostatky se bohužel nejvíce projevily na kapitole 4, která je srdcem práce. Přestože jsem obeznámen s většinou použitých konceptů, text pro mě byl obtížně srozumitelný kvůli chybějícím informacím a chybám v textu. Například velká část kapitoly předpokládá znalost makrostavů v nástroji Kofola, ale tyto makrostavy a jejich význam nejsou v práci řádně zavedeny. Tím se stává většina důkazů v teto kapitole nesrozumitelná. Chybí taktéž řádná definice simulací (text v sekci 4.1 nelze za správnou definici považovat, postrádá informaci o existenci výherní strategie nebo alepsoň nějakou kvantifikaci). Early+1 simulace zaručuje, že simulující běh bude mít nejvýše o 1 akceptující přechod méně než simulovaný běh, nikoliv polovinu. Není jasné, co zavádí definice 3. V sekci 4.2.1 nemá smysl dokazovat Lemma 1 bez zavedení akceptujících stavů nebo hran. Definice 6 nevysvětluje vztah mezi p,q a P_i,q_j a proto jsem se nezabýval theoremem 7. Algoritmy 2 a 3 nejsou řádně vysvětleny. | |
| Formální úprava technické zprávy | 75 | Některé obrázky např. 3.1, 4.2, 6.1 jsou špatně čitelné. V textu jsem narazil na chybějící i přebývající mezery, nestabilní značení množiny přirozených čísel, nevhodnou sazbu v matematickém módu ($false$ vs. $\mathit{false}$), obrázky, které jsou poprvé zmíněny v textu až na následující straně atd. Taktéž nepovažuji za šťastné formulaci theoremu 2 bez důkazu a následně lemma 4, které vlastně tvrzení dokazuje. Bylo by lepší tvrzení z theoremu 2 formulovat jako důsledek lemma 1. Analogicky pro další dvojice theoremů a lemmat. | |
| Práce s literaturou | 65 | Smyslem citace je obvykle dát kredit za nějakou myšlenku jeho původním autorům. U velké části odkazů v kapitle 2 to ale neplatí, autor prostě odkazuje na (místy zdánlivě náhodný) zdroj zmiňující danou myšlenku. Zdroje [11] a [12] jsou identické a bylo by vhodné místo nich použít související časopiseckou pubikaci. Taktéž v případě [19] měla být použita publikace ve sborníku Mnoho záznamů je nekompletních, u mnohých například chybí informace, že jde o součást LNCS a číslo sborníku. Někde je akronym konference, jinde ne. Totéž platí o editorech sborníků. U třech záznamů je z neznámých důvodů uvedeno jen prvních 5 autorů a "et al". | |
| Realizační výstup | 100 | Relizační výstup jsem neprověřoval, nicméně nemám důvod se domnívat, že je v ním cokoliv v nepořádku. | |
| Využitelnost výsledků | Práce obsahuje originální výsledky (a bylo by velmi vhodné, kdyby bylo někde v práci jasně vymezeno, co vše je nové a co již bylo známo). Domnívám se, že práce má určitý publikační potenciál. |
eVSKP id 154514