KUČÍK, A. Aplikace pro analýzu odolnosti algoritmů pro rozpoznávání podle obličeje vůči deepfake snímkům [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2024.
U studenta oceňuji jeho aktivní přístup, kdy se snažil postupně věnovat řešenému tématu. Bohužel se nepodařilo splnit všechny body zadání práce, tak jak bylo původně naplánováno. Nicméně, dle mého názoru, je práce dokončitelná v poměrně krátkém čase. Po zvážení všech výše uvedených informací jsem se rozhodl přístup studenta hodnotit stupněm uspokojivě (D) .
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | Cílem práce bylo vytvořit aplikaci pro analýzu odolnosti algoritmů pro rozpoznávání podle obličeje vůči deepfake snímkům obličeje. Jedná se o řešení kompilačního charakteru s důrazem na provedené experimenty a jejich vyhodnocení. Student v rámci práce připravil datasety, které obsahovaly reálné snímky a jejich deepfake varianty. Následně natrénoval neuronovou síť, která s jistou přesností dokázala rozlišit, zda je na vstupu reálný obličej, či nikoliv. Pro plnou shodu se zadáním práce bylo zapotřebí implementovat možnost porovnání vygenerovaných deepfake snímků s existujícími rozpoznávacími algoritmy. Tato část práce byla rozpracovaná a částečně implementovaná, nicméně se ji nepodařilo splnit v plném rozsahu (v části implementace technické zprávy pak o ní není zmínka). Stejně tak experimenty mohly být rozsáhlejší. Student se delší dobu zdržel s vytvořením řešení, které slouží k vyhodnocení, zda je fotka obličeje podvrh, či nikoliv. Práci tak nepovažuji za plně dokončenou. Z pohledu vedoucího se přikláním k tomu, že je zapotřebí upravit realizační výstupy tak, aby vznikla jedna aplikace, která dokáže pomocí vybraného algoritmu vygenerovat deepfake a vyhodnotit ho pomocí neuronové sítě, kterou již student plně implementoval, stejně tak jako pomocí vybraných algoritmů provést porovnání z hlediska rozpoznávání podle obličeje. Celkový rozsah práce, kterou je třeba vykonat pro dokončení, již není příliš velký. Nicméně v aktuálním stavu práce neplní zadání. | ||
| Práce s literaturou | Student si literaturu opatřil sám. | ||
| Aktivita během řešení, konzultace, komunikace | Z hlediska přístupu studenta musím vyzdvihnout jeho aktivní angažovanost při řešení práce. Je však třeba podotknout, že začínal bez jakýchkoliv zkušeností v této problematice, a tak trvalo delší dobu, než se seznámil s potřebnými znalostmi k řešení práce. Nicméně musím podotknout, že student tématu rozumí a orientuje se v něm. Nicméně potřebuje ještě čas na dokončení práce a provedení komplexnějšího vyhodnocení celého řešení. | ||
| Aktivita při dokončování | Student byl po celou dobu řešení práce aktivní, nicméně se některé věci nepodařilo dořešit. | ||
| Publikační činnost, ocenění |
Práca samotná nie je zle spracovaná, akurát sa študent nedržal zadania a teda musím túto prácu hodnotiť ako nedostatočnú. Prácu ktorú študent odviedol, je možné považovať za rozšírenie, avšak ešte je potrebné dorobiť základ, ktorý bol požadovaný. Navrhujem aby bolo umožnené dokončiť nesplnené body počas leta.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | V práci išlo o využitie existujúcich riešení, a preskúmať ako vplýva technológia DeepFake na systémy rozpoznávania tváre. Kedže sa nejednalo o návrh vlastného riešenia, hodnotím toto zadanie ako priemerne obtiažne. | ||
| Rozsah splnění požadavků zadání | Študent si správne naštudoval problematiku a existujúce riešenia, čím splnil prvé 2 body zadania. Ďalej však v bode 3, kde mal využiť práve tieto existujúce riešenia a navrhnúť aplikáciu ktorá by vytvárala DeepFake obrázky a skúmala ich pomocou algoritmov rozpoznávania tváre, sa študent odklonil od zadania. Študent tu navrhol DeepFake detektor, čo by mohlo byť považované ako rozšírenie, avšak kedže nesplnil základnú podstatu zadania jedná sa o vážnejšie nesplnenie požiadavkov. Tento návrh bol implementovaný, ale z dôvodu odklonenia sa od pôvodne zamýšľanej funkčnosti považujem bod 4 iba za čiastočne splnený. Bod číslo 5, kde mal študent preskúmať odolnosť dostupných algoritmov pre rozpoznávanie tváre je v práci spomenutý, avšak len v jednej krátkej sekcii 7.7. v ktorej sú výsledky v tabuľke 7.17 ešte aj chybne reprezentované. Z tohoto dôvodu považujem za splnenie bodu 5 za nedostatočné. | ||
| Rozsah technické zprávy | |||
| Prezentační úroveň technické zprávy | 70 | Práca je logicky dobre štrukturovaná. Popis experimentov by mohol obsahovať okrem opisu tabuliek aj vysvetlenie čo výstupy znamenajú. | |
| Formální úprava technické zprávy | 70 | Práca obsahuje niekoľko gramatických chýb. | |
| Práce s literaturou | 90 | Práca je dostatočne dobre citovaná. Študent si našiel relevantné zdroje. | |
| Realizační výstup | 25 | Implementovaná časť práce mi bola odprezentovaná, jedná sa o konzolovú aplikáciu, ktorá na základe referenčného a posudzovaného obrázku zistí, či sa jedná o DeepFake alebo nie. Toto však nebolo cieľom tejto práce. | |
| Využitelnost výsledků | Implementačný výstup práce by sa dal použiť v systémoch pre rozpoznávanie podľa tváre ako detektor DeepFake vstupu ešte pred samostatným rozpoznávaním. Ako som však spomínal, toto nebolo cieľom práce. Výsledky z experimentov na zistenie odolnosti existujúch riešení pre rozpoznávanie tváre sú slabé a nie je možné ich následovné výužitie pre zvýšenie odolnosti daných systémov. |
eVSKP id 156901