OHRADZANSKÁ, K. Reidentifikace automobilů v obraze [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2023.
Jedná se o obtížné zadání výzkumného charakteru, které vyžadovalo studium velkého množství pokročilých technik. Řešitelce se podařilo proniknout do obtížné problematiky a dojít k dílčím řešením jednotlivých problémů a ty integrovat do jednoho celku.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | Cílem zadání bylo experimentovat s metodami pro detekci, sledování a re-identifikaci automobilů (a dalších objektů) ve videích. Řešitelka se musela seznámit s problematikou počítačového vidění a relevantního strojového učení a s velkým počtem potřebných nástrojů. V rámci práce řešitelka experimentovala s různými datovými sadami a algoritmy a získala mnoho zkušeností. | ||
| Práce s literaturou | Řešitelka musela nastudovat nadprůměrné množství zdrojů větší složitosti. Po stránce studia literatury patří tato práce mezi náročnější. | ||
| Aktivita během řešení, konzultace, komunikace | Řešitelka pracovala rovnoměrně po celou dobu řešení projektu. Při řešení musela nejprve dostatečně proniknout do problematiky, což vyžadovalo značnou část úsilí. | ||
| Aktivita při dokončování | Práce byla dokončena včas a dostatečně konzultována. | ||
| Publikační činnost, ocenění | N/A |
Podle textu předpokládám, že studentka použila existující repozitář, ten mírně upravila a provedla v něm experimenty. Úplně si ale nenastudovala použité metody, což se odrazilo hlavně v kvalitě výsledného textu. Jedná se celkově o náročnou a pracnou úlohu, pro kterou je snaha o co největší využití existujících nástrojů jednoznačně vhodná, ale to by nemělo být na úkor pochopení metod a přístupů. Experimenty jsou zajímavé a systematické, ale jen na základě předloženého textu jsem je nepochopil dostatečně na to, abych je dokázal správně interpretovat a měl v ně naprostou důvěru.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | Samotné téma vyžaduje sestavit složitější systém, je potřeba pochopit datové sady a protokol vyhodnocení. Studentka sice využila existující nástroj, který tyto části integruje, ale i tak kvalitní řešení této úlohy zůstává složitější, a navíc v soutěži AI City Challenge v letošním roce byla jiná úloha, což vyžadovalo zpracovat jinou datovou sadu. | ||
| Rozsah splnění požadavků zadání | |||
| Rozsah technické zprávy | |||
| Prezentační úroveň technické zprávy | 55 | Text práce je značně vágní, nepřesný, chaotický a špatně pochopitelný. I po kompletním přečtením si nejsem jistý, jak přesně funguje popisované řešení a jak můžu interpretovat výsledky. Myslím si, že tento efekt je způsoben tím, že studentka použila relativně složitý systém jako základ svého řešení, úplně nerozumí, jak funguje, a měla tak značný problém všechno smysluplně popsat. Chybí i tak základní věc, jako přesná a pochopitelná definice řešené úlohy a vysvětlení, co přesně se se vyhodnocuje (co je v tu chvíli vstupem, co je výstupem, a jak jsou tyto výstupy mapovány na datovou sadu - tedy pokud je vyhodnocován celý re-identifikační sytém end-to-end, který má na vstupu video). Myšlenky mají tendenci se v textu objevovat na nečekaných místech a někdy opakovaně. Text obsahuje množství nepřesností, nekdy až chybných informací. Některé konkrétní nedostatky podle mne jsou: Studentka tvrdošíjně používá trpný rod a neindikuje, co udělala ona. Tím nechává čtenáře často tápat. V úvodu by mohlo být lépe popsané konkrétní zaměření této práce, případné přínosy a myšlenky za těmito přínosy. Tedy ve smyslu: Používám systém, který se skládá z těchto částí a já se zaměřuji na tyto..., protože ... Text odkazující se na obrázek 2.1 jsem nepochopil. Celá 2. kapitola 2 je poměrně povrchní a moc logicky nenavazuje. Nechápu informační hodnotu tabulek 2.1, 2.2, 2.3 a 2.4, když čtenář vesměs netuší, co je v tabulkách uvedeno. Komentáře k těmto tabulkám jsou minimální a nerozebírají přístupy a metody. Ukázka neinformativního prohlášení, které kvůli neznalosti kontextu čtenáři nic neřekne je například: "Najlepšie výsledky v úlohe re-identifikácie dosiahol tím Alibaba s úspešnosťou 74.45 mAP." V 3.1 je z ničeho nic shlukování? Jak přesně se tam využije? 3.1.1 a 3.1.2 jsou úplně samostatné a vytržené z kontextu. 3.1.4 Je dosti obecné. 3.2 Obsahuje množství nepřesností: Gaussovská distribuce v CNN? CNN nepoužívají výpočet vzdálenosti při identifikaci? Uvedená rovnice cos. vzdálenosti (3.2) je ve skutečnosti rovnice podobnosti. Celkově 3. kapitola čtenáře úplně neuspokojí. Čekal bych zde shrnutí architektur, učení, loss funkcí, agregace informace z trajektorií, ... Kapitola 4 "Použité architektúry pre úlohu MTMC" vysvětluje nečekaně a nesourodě existující detektory, konvoluci a velmi povrchně transformery. Návaznosti a často účel částí 5. kapitoly nechápu. Proč je tu ReLU a SGD? 5.3 - Informace o SGD jsou dost chybné. Optimalizuje se rychlost? 5.4 asi popisuje nějaký konkrétní přístup a ne úplně obecně re-identifikaci. Nepochopil jsem obrázek 5.1. 6. Kapitola by si zasloužila shrnující tabulku. 7. Kapitola - co je to SplitDataset? Je potřeba popisovat obsah textových souborů? 7.1.2 - Triviální informace v seznamu. Zde posudek narazil na limit informačního systému. | |
| Formální úprava technické zprávy | 75 | Po jazykové stránce je práce v pořádku až na velmi nevhodné používání trpného rodu. Po typografické stránce práce má jen několik menších nedostatků: Některé obrázky jsou v nízké kvalitě. Tabulky jsou formátovány velmi základně. Obrázky a tabulky jsou umisťovány na náhodná místa na stránce. Některé rovnice nejsou součástí vět. | |
| Práce s literaturou | 60 | Práce se sice odkazuje na 37 vesměs kvalitních a relevantních zdrojů, ale studentka podle textu práce moc nepronikla do daného tématu a úplně nechápe použité metody a jejich souvislosti. V textu často není možné pochopit, co je práce autorky z velké části kvůli formulacím typu: "Na vyriešenie úlohy MTMC pre vozidlá sa celkovo použili tri datasety." Takové formulace jednoznačně navozují otázky: Kým? Kdy? | |
| Realizační výstup | 63 | Studentka využila existující repozitář implementující celý systém pro re-identifikaci objektů z kamer. Tento repozitář upravovala hlavně na úrovni konfigurace a přípravy dat. To, po pravdě, nebyl lehký úkol, protože použitý repozitář je částečně odstrašující ukázkou, jak napsat chaotický kód. Provedené experimenty a jejich výsledky jsou zajímavé a systematické, ale z textu jsem úplně nepochopil jejich přesný význam a dopady. Kvalita textu práce částečně snižuje moji důvěru v tyto výsledky, ale ty i tak mohou být smysluplné a zajímavé. Některá nastavení jsou zajímavá a někdy na to poukazuje i studentka - nemělo by třeba "k" u k-means být aspoň na úrovni počtu identit v datasetu? | |
| Využitelnost výsledků | Práce z velké části používá existující postupy a software. Pokouší se ale dané metody zkoumat a modifikovat. Výsledky experimentů mohou být zajímavé, ale na základě textu je nedokážu dostatečně jistě interpretovat a zhodnotit. Samotné úpravy požitého software nejspíš moc dále využitelné nejsou kromě možného provedení rychlých experimentů na použité datové sadě z AI City Challenge 2023. |
eVSKP id 146540