Posudky závěrečné kvalifikační práce

Posudek vedoucího

Juránek, Roman

Despite some problems that had to be dealt with throughout the year, the student did a very good job. I consider it essential that the image dataset was successfully created, the properties of which were verified experimentally. The advantage of the new dataset is that it can be relatively easily kept up-to-date and that it contains almost every vehicle model in existence.

Dílčí hodnocení
Kritérium	Známka	Body	Slovní hodnocení
Informace k zadání			The goal of the thesis was to create an extensive dataset of vehicle images with manufacturer and type annotations and then use this dataset for training models for vehicle recognition. Unlike other public datasets that are small or regionally constrained, the new dataset should contain as wide range of vehicles as possible. All objectives of the work were met. The result is a massive dataset of images with automatically obtained annotations (that are relatively reliable). The experiments show that the dataset is not only suitable for practical purposes but also easily kept updated as new vehicle models appear.
Práce s literaturou			Student actively looked up the relevant literature and data.
Aktivita během řešení, konzultace, komunikace			The student was active throughout the year, he consulted his work and regularly presented his progress. However, the work itself did not progress too quickly at first, which I attribute to the complexity of the topic of vehicle classification, as well as the huge amount of data needed to be collected and kept in order which may have been sometimes discouraging.
Aktivita při dokončování			The work was finished in time.
Publikační činnost, ocenění

Navrhovaná známka: A

Body: 90

Posudek oponenta

Špaňhel, Jakub

Student vytvořil nástroje pro automatický sběr datové sady pro rozponávání vozidel. Součástí práce je i datová sada vozidel samotná a několik základních experimentů, stanovujících baseline výsledky na této datové sadě. Z důvodů uvedených výše hodnotím práce celkově stupněm B.

Dílčí hodnocení
Kritérium	Body	Slovní hodnocení
Náročnost zadání		Práce je v prvé řadě zaměřena na automatický sběr dat z internetu pro vytvoření datové sady pro rozpoznání výrobce a modelu vodila (MMR). Student vytvořil datovou sadu s více jak 6 miliony snímky. Následně na části těchto dat natrénoval a vyhodnotil několik modelů neuronových sítí, jakožto baseline evaluaci a provedl několik experimentů také s veřejně dostupnými datasety. Nicméně větší část práce byla věnována právě automatickému sběru dat.
Rozsah splnění požadavků zadání		Všechny body zadání byly splněny.
Rozsah technické zprávy		Rozsah práce je standardní. Závěr práce je na stranách 60-61.
Prezentační úroveň technické zprávy	80	Práce má logickou strukturu. Jednotlivé kapitoly na sebe dobře navazují a jejich rozsah je adekvátní. Prezentační úroveň práce je dobrá, většina textu se čte dobře. Ve výjimečných případech je konstrukce vět složitější a trochu hůře pochopitelná. Nejsem si však zcela jistý důležitostí a významem kapitoly 2. Student pod pojem "vehicle classification" zahrnuje všeobecné metody z oblasti analýzy dopravy a zhodnocuje různé typy dopravních senzorů. V kontextu práce si nejsem jistý, zda je to nutné.
Formální úprava technické zprávy	95	Práce je psaná v anglickém jazyce na velice slušné úrovni. V práci je minimální množství překlepů a gramatických chyb. Typografickou stránku práce shledávám v pořádku.
Práce s literaturou	95	Student si vyhledal relevantní zdroje a literaturu. Všechny citace jsou v textu použity korektně.
Realizační výstup	90	Výsledkem práce je sada skriptů pro automatické zpracování záznamů na Wikipedii, stahování obrazových dat a následný post-processing stažených dat. Práce také obsahuje samostatnou datovou sadu, která je dostupná u vedoucího práce a sadu skriptů pro experimenty, včetně natrénovaných modelů.
Využitelnost výsledků		Výsledkem práce je v prvé řadě datová sada pro rozpoznávání výrobce a modelu vozidla (MMR) s více jak 6 miliony obrázky. Datová sada však byla dle informací od studenta poskytnuta v tuto chvíli pouze vedoucímu práce. Pro využitelnost výsledku by bylo nutné datovou sadu zveřejnit.

Navrhovaná známka: B

Body: 80

Otázky

Z jakého důvodu nejsou v tabulce 7.2 dostupné výsledky pro Top1/Top5 accuracy pro rozpoznávání výrobců vozidel u všech natrénovaných modelů?
U prací podobného charakteru je nutné stanovit míru čistoty automaticky anotovaných dat. U tohoto datasetu, zdá se, něco takového chybí. Jakým způsobem by bylo možné tuto "míru čistoty" získat?
U části experimentů využívající větší část datové sady jste ukončil trénování již u epochy 5. Na základě jakých informací jste dospěl k tomuto rozhodnutí?
Princip zpracování dat vybízí k iterativnímu sběru dat a kontinuálnímu rozšiřování datové sady. Jakým způsobem je na to výsledek této práce připravený? O jaké modely vozidel by se datová sada rozšířila v danou dobu?