KOĎOUSEK, O. Strojové učení ze syntetické datové sady pro počítání přepravek v obraze [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2024.
Práce byla opravdu rozsáhlá a řešitel předvedl velkou pracovitost a velice dobré odborné schopnosti.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | Zadání vycházelo z průmyslové poptávky po systému pro detekci přepravek v reálném prostředí. Cílem bylo experimentovat s možnostmi syntetického generování datové sady pro učení modelu strojového učení, který by detekci přepravek realizoval. Řešitel se zabýval dvěma obsáhlými oblastmi, které musel samostatně nastudovat, dostatečně do nich proniknout a vytvořit řešení: modelování a realistické zobrazování 3D objektů ve scénách a strojové učení pro vizuální detekci objektů. Velký počet bakalářských prací se realizuje buď v jedné a nebo druhé z těchto oblastí. Řešitel tak ve své práci vykonal velké množství práce a mnohému se jistě naučil. | ||
| Práce s literaturou | Řešitel se musel seznámit s mnoha netriviálními koncepty a nástroji. Po studijní stránce byla práce nadprůměrně náročná. Ne do všech detailů pronikl opravdu dokonale, ale to je při celkovém rozsahu práce přijatelné. | ||
| Aktivita během řešení, konzultace, komunikace | Řešitel pracoval intenzivně po celou dobu řešení projektu, docházel na domluvené konzultace a celkově odvedl opravdu velké množství práce. | ||
| Aktivita při dokončování | Práce byla dokončena včas (s předstihem) a technická zpráva byla mnohokrát konzultována. Psaní textů není řešitelovou silnou stránkou a tak při sestavování textu vyvinul (on a částečně i vedoucí) mnoho úsilí. | ||
| Publikační činnost, ocenění | N/A |
Technické řešení práce, pokud se jedná o generování dat, je funkční a je s ním možné (s nějakými změnami) vytvořit relativně kvalitní dataset pro trénování detektoru. Experimenty provedené studentem byly zaměřené v podstatě pouze na optimalizaci parametrů generování dat na úkor experimentování s různými typy detektorů. Celkový dojem velmi kazí textová zpráva, jejíž kvalita je opravdu nízká.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | Tématem práce je generování syntetické datové sady pro strojové učení. Cílovou aplikací je detekce a počítání přepravek v obraze. | ||
| Rozsah splnění požadavků zadání | Zadání bylo splněno s výhradou k bodům 2 a 4. Student měl prostudovat modely pro detekci objektů a provést s nimi experimenty a vybrat vhodný detektor. Práce však zmiňuje pouze CenterNet, jiné modely vůbec nebere v úvahu, ani je neuvádí. Očekával bych minimálně to, že v práci zmíní jaké existují možnosti pro detekci objektů (bod 2) a s finální datovou sadou provede experiment s populárními detektory jako YOLO nebo SSD, pro které existuje mnoho existujících implementací (bod 4). | ||
| Rozsah technické zprávy | Text práce je relativně dlouhý. Obsahuje zdlouhavé popisy věcí, které by bylo jednodušší ilustrovat, popsat vzorcem, případně nepsat vůbec. | ||
| Prezentační úroveň technické zprávy | 55 | Struktura práce je chaotická. Text je, spíše než technická zpráva, jakýsi deníček nebo blog, ve kterém student popisuje krok za krokem jak řešil různé problémy, implementoval skripty, vyhodnocoval výsledky a mezi tím se dozvíme něco o Blenderu, renderování a neuronových sítích. Celým textem se prolíná návrh řešení, implementace a "teoretické" části. Například kapitola představující cíle práce se zabývá současně i problematikou generování syntetických dat, ale také již představuje konkrétní skripty, nástroje a postupy implementované v práci a překonávání různých technických problémů. Nakonec se zabývá i trénováním neuronových sítí, které by patřilo do samostatné kapitoly. Kapitola 4 míchá výhody a nevýhody použitého přístupu s time-managementovými radami pro ostatní studenty (což v práci tohoto typu nemá co dělat). Kapitola 5 popisuje zdlouhavě postup nastavení parametrů generování dat, které podle experimentů nemají zásadní vliv na výsledky. Tabulky 5.9 a 5.10 mají jinak poskládané sloupce, což jen přispívá celkovému chaosu. | |
| Formální úprava technické zprávy | 60 | Po typografické stránce nemohu práci, až na nějaké detaily, nic vytknout. Naproti tomu jazyková stránka je velmi slabá. Překlepy, nesprávné výrazy, věty, které nedávají smysl, mnohokrát špatně použité slovo "každopádně". Mnohdy bylo textu obtížné porozumět a zorientovat se například v tom, jaká data byla použita pro jaké trénování, nebo o kterých modelech vlastně student píše. | |
| Práce s literaturou | 80 | Student cituje literaturu týkající se generováni syntetických dat a neuronových sítí. Pramenů není mnoho, ale vzhledem k obsahu práce je to adekvátní. | |
| Realizační výstup | 80 | Výstupem je sada skriptů pro Blender umožňující generování syntetických obrázků s přepravkami a skripty pro trénování a vyhodnocení modelu CenterNet. | |
| Využitelnost výsledků | Přístup použitý v práci je jistě zajímavý a lze jej použít jako základ pro další zkoumání v oblasti detekce objektů. Jedním problémem je, že anotace obrázků vůbec neobsahují objekty, které částečně přesahují okraj obrazu. Mohly být například nějak označené (třeba ignore flag, což je běžná praxe), ale nejsou uložené vůbec. Následné trénování tedy vůbec nepočítá s takovými objekty (i když v obraze jsou). Toto může velmi vážně ovlivnit přesnost výsledných detektorů. Mám tedy vážné obavy, že výsledky prezentované v práci jsou ve skutečnosti mnohem horší než by mohly být. |
eVSKP id 154402