KOPČILOVÁ, Z. Využití syntetických dat pro zlepšení detekce cyklistů a chodců v autonomním řízení [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2023.
Z pohledu aktivity hodnotím práci jako nadprůměrnou, studentka měla velmi aktivní přístup, celkově věnovala řešení značné úsilí a splnila zadání. Výsledný systém generuje velmi kvalitní syntetická data. Celkově tedy navrhuji hodnocením stupněm B - velmi dobře.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | Jednalo se o průměrně obtížné zadání, bylo nutné nastudovat moderní metody strojového učení, které dnes nacházejí uplatnění v systémech pro autonomní řízení, a poznat a využít nástroje pro generování syntentických dat. Po počátečním mírném tápání se studentka zaměřila na samotné generování syntetických dat a vytvořila funkční systém, který realistická data generuje. Přestože se nepodařilo pomocí vytvořených dat vlastní detekce zlepšit, cíle práce byly naplněny a s výsledkem jsem spokojen. | ||
| Práce s literaturou | Studentka velmi aktivně vyhledávala a využívala relevantní studijní materiály, podařilo se jí pochopit i velmi pokročilé algoritmy strojového učení a zpracovat kvalitní rešerší stavu poznání v relevantních oblastech. | ||
| Aktivita během řešení, konzultace, komunikace | Zuzana Kopčilová byla při řešení práce velmi aktivní, průběžně konzultovala svůj postup, na pravidelných schůzkách se mnou diskutovala zjištěné nedostatky a vždy byla dobře připravena. | ||
| Aktivita při dokončování | Text technické zprávy byl dokončen v dostatečném předstihu, její obsah byl se mnou konzultován, připomínky k průběžným verzím byly do textu zapracovány. | ||
| Publikační činnost, ocenění | - |
Textová část práce je čtivá a dobře zpracována; mohla by být však doplněna o ucelenější přehled jiných metod pro detekci chodců a cyklistů. Rovněž prezentace výsledků experimentů mohla být vypracována přehledněji. Realizační část práce a navazující experimenty a diskuze výsledků je ovlivněna problémy, které neumožnily natrénovat smysluplné detekční modely. Studentka vytvořila celkově spíše průměrnou práci.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | Výzkumně je téma práce velmi aktuální a v poslední době se na něj soustřeďuje množství publikací. Pro vypracování práce v rozsahu zadání je nutné nastudovat témata která jsou nad rámec znalostí studenta bakalářského programu, pracovat s nástrojem pro generovaní syntetických dat a frameworkem pro trénování detekčních neuronových sítích v point cloudech a současně provést množství experimentů. Z mého pohledu se jedná o průměrně obtížné zadání v oblasti počítačového vidění. | ||
| Rozsah splnění požadavků zadání | Experimentální výsledky práce ukázaly, že přidáním syntetických dat nedošlo ke zlepšení detekce ba naopak přidání těchto dat výrazně zhoršovalo výsledky. Z mého pohledu je možno odhadnou, že proces transformace dat ze simulátoru do formátu pro trénování detektoru není zcela správně. Studentka však prokázala a zdokumentovala dostatečnou snahu řešit tyto problémy. I přes to, že se studentka v implementační a experimentální části práce potýkala s problémy bylo zadání práce dle mého názoru splněno. | ||
| Rozsah technické zprávy | Technická zpráva je v obvyklém rozmezí, obsahuje vše podstatné. Text práce je informačně bohatý. | ||
| Prezentační úroveň technické zprávy | 70 | Zpráva je členěna smysluplně, má dobrou struktura a jednotlivé kapitoly na sebe navazují. Text je pro čtenáře pochopitelný a dobře čitelný. V teoretické části práce studentka nejprve pojednává obecně o systémech autonomního řízení vozidla, zaměřuje na využití algoritmů pro detekci objektů, metriky vyhodnocení a popisuje datové sady a možnosti jejich syntetického generování. Postrádám porovnání nebo i krátký popis jiných metod využitelných pro detekci chodců a cyklistů. I přes tyto výhrady je kapitola dobře zpracována. Kapitola popisující návrh a implementaci je také dobře zpracovaná. Jsou dobře popsány části, které studentka vytvořila a části které využívá z již existujících frameworků. Další kapitola popisuje několik experimentů trénování modelů pro detekci chodců a cyklistů jak s existujícími datasety a i s nově vytvořeným syntetickým datasetem. Je zpracována trochu hůře, ale to je objektivně ovlivněno problémy se správností syntetických dat. Identifikace možné příčiny problémů a příslušná diskuse by mohla být popsána více do detailu. Problematické je také prezentovat výsledky experimentů jen pomocí grafů, chybí tabulky nebo číselné hodnoty, které by výsledky objektivně srovnávaly. | |
| Formální úprava technické zprávy | 75 | Po formální a jazykové stránce je technická zpráva v pořádku. Vytýkám jen nedostatečně vysvětlující popisky obrázků (např 4.13 - 4.16) a špatnou prezentaci výsledků experimentu, viz předchozí bod. | |
| Práce s literaturou | 70 | Práce cituje celkem 29 zdrojů, které jsou kvalitní a jsou dobře využity. Jak už jsem napsal, chybí mi ucelenější přehled o jiných pracích zaměřených na detekci chodců a cyklistů. | |
| Realizační výstup | 65 | Realizační část práce byla předvedena a vše je funkční podle popisu v textové části. Studentka upravila a vytvořila několik scriptů pro ovládání simulátoru Carla použitého pro vytváření syntetického datasetu a dále sadu scriptů pro transformaci těchto dat do formátu pro trénování detekčních modelů. Kladně hodnotím zvládnutí náročných geometrických transformací. Na nově vytvořených datasetech se však nepodařilo vytrénovat žádné užitečné detektory, což sráží celkové hodnocení realizačního výstupu. | |
| Využitelnost výsledků | Studentka využívala standardní nástroje a frameworky pro generování syntetických data a trénování detekčních modelů neuronových sítí. Výsledky experimentů se nepřiblížily publikovaným metodám. |
eVSKP id 145572