ŠANDOR, O. Odolnost biometrické autentizace hlasových asistentů oproti deepfakes [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2023.
Práce splnila všechny body zadání. Kvalita textu je na dobré úrovni, velmi dobře je provedena bezpečnostní analýza, výsledky experimentu ukazují existenci reálného problému. Výtku mám k malé testovací skupině. Pozitivně hodnotím zpracování práce v angličtině.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | Jedná se o bakalářskou práci s výzkumným přesahem. Cílem bylo ověřit zranitelnost hlasových asistentů vůči útokům využívající deepfakes. Práci hodnotím jako průměrně obtížnou. Student splnil všechny body zadání. Experiment, který ověřil reálnou zranitelnost je dobře navržen, nicméně mám výtku k jeho realizaci, kdy byl zvolen extrémně malý počet testovacích subjektů. Velmi dobře naopak hodnotím provednou bezpečnostní analýzu a popis vektorů útoků. | ||
| Práce s literaturou | Student aktivně vyhledával relevantní dostupnou literaturu a vhodně ji začlenil do své práce. | ||
| Aktivita během řešení, konzultace, komunikace | Student se mnou pravidelně komunikoval pouze během prvního půlroku. Pak již byla aktivita menší, nicméně zásadní věci jsem dokázali pokrýt. | ||
| Aktivita při dokončování | Práce byla dokončována ke konci termínu odevzdání, nicméně podstatné části byly včas konzultovány a komentáře v rámci možností zapracovány. | ||
| Publikační činnost, ocenění |
Práca je obtiažneho zadania. Zadanie bolo splnené vo všetkých bodoch. Študent volil vhodnú literatúru. Zvolené postupy sú vhodné a správne pristupujú k riešeniu zvoleného problému. Nedostatkom práce je nereprezentatívna testovacia vzorka ktorá mohla ovplyvniť dosiahnuté výsledky. Náročnosť zadania, a inak kvalitné spracovanie celej práce tento nedostatok čiastočne vyvažujú. Celkovo prácu hodnotím stupňom C.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | Zadanie práce je náročnejšie vzľadom na jeho výskumný charakter. | ||
| Rozsah splnění požadavků zadání | Zadanie bolo splnené bez akýchkoľvek výhrad. | ||
| Rozsah technické zprávy | Práca obsahuje 37 vysadených strán bez referencií, podľa počtu znakov približne 56 normostrán, čo je mierne pod obvykým rozsahom práce. Zároveň však práca obsahuje všetky potrebné informácie v dostatočných rozsahoch. | ||
| Prezentační úroveň technické zprávy | 75 | Práca je pre čitateľa pochopiteľná, jednotlivé kapitoly na seba logicky nadväzujú. Rozsahy a prehľadnosť väčšiny kapitol sú prípustné. Vlastná práca má vedecko-experimentálny charakter, kde študent definuje výskumný problém a následne ho empiricky skúma a adresuje. Ananlýza rizík hlasových asistentov popísaná v sekcii 6.1 je veľmi kvalitne spracovaná. Podáva ucelený pohľad na možné deepfake útoky na hlasových asistentov, očakávanú náročnosť a potenciálny zisk útočníka. Z popisu výsledkov práce, však nie je jasné aký veľký dopad deepfakes na bezpečnosť hlasových asistentov reálne majú. Výsledky prezetované v obrázkoch 9, 10, 13, 14 naznačujú, že úspešnosť impostor a deepfake nahrávok je rovnaká. Je teda potreba lepšie diskutovať do akej miery deepfakes predstavujú riziko, keď na úspešný útok stačí cudzí ľudský hlas. Popis priebehu jednotlivých experimentov je detailný a poskytuje ucelenú predstavu o zvolenom prístupe a motivácii pre jeho zvolenie. K experimentom však chýba popis ľudských účastníkov. V závere experimentov by pomohlo okrem sumárnych výsledkov pridať aj diskusiu o celkovej bezpečnosti jednotlivých asistentov. Prezentované možnosti ochrany sú veľmi stručné a obecné. Nevychádzajú priamo z výsledkov a zistení experimentov. | |
| Formální úprava technické zprávy | 85 | Práca je písaná v anglickom jazyku a pravopisne je na dobrej úrovni, aj napriek tomu, že sa sa v nej občasne vyskytne nejaká chyba alebo nesprávne slovné spojenie. Text v obrázku 1 je malý a zle čitateľný. Je zvykom udávať popisy tabuliek nad tabuľky. Tabuľky, hlavne v sekcii 7.5 je možné upraviť do prehľadnejšieho tvaru. Na niektoré tabuľky a obrázky chýba odkaz z textu. | |
| Práce s literaturou | 85 | Práca s literatúrou je na vyhovujúcej úrovni. Zvolené študijné pramene sú relevantné a dostatočne odlíšené od vlastných výsledkov. Práca obsahuje spolu 48 referencií, v ktorých je rozumné zastúpenie vedeckých člankov. Niektoré citácie však majú nekonzistentný formát (napr. 8, 9). | |
| Realizační výstup | 72 | Realizačný výstup práce je dobrý. Problematickým bodom je však počet účastníkov testovania. Z technickej správy je zrejmé, že do experimentu boli zapojení len traja ľudia, z čoho deepfake nahrávky boli testované len u jedného. Taktéto nastavenie experimentu nepodáva dostatočne reprezentatívne výsledky a vzniká teda priestor na špekulácie, či dosiahnuté výsledky reálne odpovedajú skutočnosti, alebo len danej špecifickej testovacej skupine. Zároveň práca nezohľadňuje zjavnú príbuznosť zapojených subjektov, ktorá môže mať taktiež vplyv na namerané výsledky. Na druhú stranu, veľmi kvalitným výstupom je analýza rizík, ktorá je prínosná pre ďalší výzkum v oblasti bezpečnostných dopadov hlasových deepfakes. Celkovo je práca vypracovaná za použitia validných vedeckých metód a je možné ju ľahko rozšíriť o ďalšie potrebné merania. | |
| Využitelnost výsledků | Výsledky práce sú ďalej využiteľné vo výskume, a prinášajú aj zaujímavé poznatky pre výrobcov hlasových asistentov. |
eVSKP id 147932