REŠ, J. Testování odolnosti systému hlasové biometrie vůči deepfakes [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2023.
Práce byla po celou dobu pravidelně konzultována, kvalita textu je na velmi dobré úrovni, výsledné řešení je povedené. Pozitivně hodnotím i zpracování v angličtině a účast na Excel@FIT.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | Cílem práce bylo zmapovat problematiku hodnocení odolnosti systémů biometrické autentizace oproti útokům využívající hlasové deepfakes. Na základě reálného testování odolnosti vybraného produktu měla vzniknout zobecněná metodika, použitelná pro další systémy. Práce je složitějšího charakteru, protože vedle realizace state-of-the-art útoků na komerční biometrický systém, bylo nutno nastudovat i relevantní standardy a parametry testovaného produktu, který je poměrně komplexní. Všechny body zadání jsou splněny ve velmi dobré kvalitě, i když testovací část je jednodušší, než byl původní záměr. Pozitivně hodnotím, že je práce vypracována v angličtině. | ||
| Práce s literaturou | Student aktivně vyhledával relevantní dostupnou literaturu a vhodně ji začlenil do své práce. | ||
| Aktivita během řešení, konzultace, komunikace | K aktivitě studenta nemám jedinou výtku. Pravidelně se účastnil konzultací k práci, na které chodil připraven. Sám přicházel s nápady, jak práci dále posunout a výborně je komunikoval. Výsledky byly tvořeny průběžně. Student měl vědecký a systematický přístup. Snad jedinou výtku mám k tomu, že diskuze k experimentální části se dlouho pohybovaly na dost abstraktní úrovni, takže pak nebylo více prostoru pro robustnější testování. | ||
| Aktivita při dokončování | Práce byla dokončena v dostatečném předstihu. Vše bylo dostatečně konzultováno. | ||
| Publikační činnost, ocenění | Student se zúčastnil studentské konference Excel@FIT 2023. |
Práca rieši všeky body zadania v dostatočnom rozsahu. Prezentované výsledky je však ešte potreba spracovať do väčšej hĺbky, tak aby boli využiteľné ďalej vo výskume a pri analýze hlasových biometrických systémov. Zvolené postupy sú vhodné a správne pristupujú k riešeniu zadaného problému takže je prácu možné ďalej rozšíriť do potrebnej podoby. Celkovo prácu hodnotím stupňom C.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | Zadanie je obtiažne, vzhľadom na jeho výskumnú povahu a šírku. | ||
| Rozsah splnění požadavků zadání | |||
| Rozsah technické zprávy | Práca obsahuje 60 strán vrátene referencií, čo podľa odhadu odpovedá dolnej hranici obvyklého rozsahu. | ||
| Prezentační úroveň technické zprávy | 75 | Štruktúra práce na seba logicky nadväzuje. Práca prehľadne vysvetľuje problematiku deepfakes, syntetickej reči a jej zneužitia pre oklamanie hlasových biometrických systémov. Existujúce štandardy pre vyhodnotenie výkonnsoti biometrických systémov sú vhodne popísané spolu s motiváciou pre vznik rozšírenej metodológie testovania odolnosti proti sytnetickej reči. Popis existujúcich dátových sád obsahujúcich deepfake reč je strohý a neobsahuje všetky zverejnené a relevantné sady. Zhrnutie výsledkov testovania a návrhy možných ochrán sú veľmi stručné. Navrhnutá metodológia je logicky rozdelená do naväzujúcich krokov ktoré postupne prechádzajú celé testovanie od prípravy až po vyhodnotenie. Bohužiaľ je popis jednotlivých krokov až príliš abstraktný a chýba im deatailnejší popis. Zároveň nie je jasné ako sú niektoré časti zapojené do celku, a aký dopad majú na celkové hodnotenie odolnosti testovaného systému. | |
| Formální úprava technické zprávy | 75 | Niektoré referencie sa v texte nachádzajú na začiatku riadku. Odkazy na tabuľky, obrázky alebo sekcie sa často vyskytujú bez uvedenia odpovedajúceho názvu prvku ktorý odkazujú (Figure, Section, ...), prípadne sú uvedené s malým počiatočným písmenom. Niektoré obrázky plávajú uprostred stránky, alebo im chýba popis. | |
| Práce s literaturou | 95 | Praca s literaturou je na vyhovujucej urovni. Zvolene stúdijne pramene su relevantne a vhodne odlisene od vlastnych vysledkov. Praca obsahuje spolu 42 referencii, v ktorych je rozumne zastupenie relevantných vedeckych clankov. | |
| Realizační výstup | 75 | Výstupy práce sú spracované na priemernej úrovni. Testovanie odolnosti a návrh metodológie je potrebné ďalej rozšíriť. | |
| Využitelnost výsledků | Vysledky su po dopracovaní vyuzitelne vo vyskume a pri vývoji systémov hlasovej biometrie. |
eVSKP id 144004