SMÍŠKOVÁ, L. Zpětnovazebné učení pro POMDPs s využitím modelů [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2024.
Celkově musím konstatovat, že i) studentka nebyla schopná splnit ani minimalistickou verzi zadání, ii) realizační výstup je minimální a dále téměř nepoužitelný, iii) studentka opakovaně ignorovala moje upozornění, že postup na BP je nedostatečný a nebyla schopna během celého roku rozumně diskutovat a demonstrovat svůj postup a iv) výsledný text je velice slabý a klíčové části nebyly před odevzdáním téměř diskutovány. Tudíž musím doporučit tuto BP hodnotit známkou F (nedostatečně).
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | Jednalo se o mírně obtížnější zadání, které vyžadovalo pochopení pokročilých technik pro řešení Markovských rozhodovacích procesů s částečným pozorováním (tzv. POMDP) a základních technik pro zpětnovazebné učení. Zadání umožňovalo poměrně široké možnosti realizace, ale studentka se bohužel dostala pouze k naprosto minimalistickému řešení, přestože si odevzdání BP o rok odložila. Ačkoliv její řešení realizuje jistou formu integrace formálních metod a učení (hlavní bod zadání), z mého pohledu zadání nebylo splněno a celkově jsem s odvedenou prací značně nespokojen. Kromě nedostatečného splnění zadání je rovněž textová část BP na velice slabé úrovni, a to jak obsahově (objevují se tam nepřesné a zavádějící informace) tak jazykově (text obsahuje extrémní množství chyb). V neposlední řadě aktivita a komunikace během řešení BP byla rovněž minimální (viz níže). | ||
| Práce s literaturou | Práci s literaturou považuji za podprůměrnou. Studentka nebyla schopna použít doporučenou literaturu ke zpracování teoretické části. Zejména chybí rozumný popis relevantních přístupů pro řešení POMDP, a to jak z oblasti formálních metod tak z oblasti zpětnovazebného učení | ||
| Aktivita během řešení, konzultace, komunikace | V průběhu prvního semestru byla aktivita spíše minimální a v druhém semestru se pouze mírně zlepšovala. Studentka se sice snažila pracovat samostatně, ale i přes moje opakované upozornění nebyla schopna dostatečně konzultovat aktuální stav BP a demonstrovat realizační část. | ||
| Aktivita při dokončování | Dokončování pak bylo velice problematické, jelikož do poslední chvíle nebylo jasné, jak bude realizační výstup vypadat. Tudíž, na sepsání textu zbylo velice málo času a měl jsem pouze minimální šanci výsledný text korigovat. Zásadní kapitoly jsem bud viděl těsně před odevzdáním anebo vůbec (např. experimentální vyhodnocení). Toto se bohužel zásadně podepsalo na kvalitě výsledného textu, kterou považuji za nedostačující. | ||
| Publikační činnost, ocenění | Vzhledem k značně slabé realizační části a velice slabému textovému zpracování není možné uvažovat o žádné publikaci či využití této BP. |
Jedná se o uspokojivý realizační výstup a dobře zpracované téma, jehož kvalitu snižuje podprůměrná formální úprava textové zprávy. Rozsáhlejší experimentální vyhodnocení by mohlo lépe ukázat potenciál navrženého přístupu.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | |||
| Rozsah splnění požadavků zadání | Zadání považuji za splněné, i když bod 4 (experimentální vyhodnocení) by zasloužil větší pozornost: navržený přístup byl vyhodnocen jenom na minimalistické sadě POMDP benchmarků. | ||
| Rozsah technické zprávy | Technická zpráva má cca 50 normostran. Obsah úvodních kapitol a hlavní části práce je vyhovující. Kapitola popisující experimentální vyhodnocení je však dost krátká. | ||
| Prezentační úroveň technické zprávy | 88 | Logická struktura a celkový obsah kapitol jsou vyhovující. Bohaté použití (vlastních) příkladů přispívá k pochopitelnosti práce pro čtenáře. Snad jediná drobná výhrada: není jasné, k čemu v 2. kapitole autor uvádí některé definice, např. definici all-in-one MDP. | |
| Formální úprava technické zprávy | 50 | Jazyková úroveň je vyhovující, mohu vytknout pouze některé překlepy a chybějící členy. Formální úprava je však podprůměrná, skoro nepřijatelná. Text je bohatý na špatnou kapitalizací: všude se vyskytuje 'In' (asi neúspěšná auto-substituce), věty často začínají malým písmenem, 'section X', 'figure Y', apod. Lze snadno nalézt chyby v interpunkci, chyby při sazbě matematických výrazů a při psaní složených slov. Celkově formální úprava výrazně zhoršuje čitelnost jinak logicky dobře navrženého textu. | |
| Práce s literaturou | 80 | Autor využívá vhodné studijní prameny a jednoznačně odlišuje převzaté informace od vlastního přínosu. Na druhou stranu, kapitola o RL zaslouží více citací, rovněž nejsou citovány některé použité knihovny. Nakonec, při citování autor často uvádí celý název citovaného zdroje včetně autorů, přitom stačí uvést pouze [xx]. | |
| Realizační výstup | 75 | Programové řešení je minimalistické, avšak plně funkční a splňuje zadání. Implementace byla testována pouze na omezené sadě POMDP benchmarků a celkově nedemonstruje působivé výsledky. Nicméně na některých modelech dokáže identifikovat lepší kontroléry než dosavadní řešení. | |
| Využitelnost výsledků | Vzhledem k nepůsobivým experimentálním výsledkům se neočekávají žádné publikační výstupy. Na druhou stranu, práce demonstrovala výhody navrženého řešení pro vybrané modely, což svědčí o jeho potenciálu. |
eVSKP id 156973