ŠÍROVÁ, L. Automatizované generování pravidel pro modifikaci hesel s využitím metod strojového učení [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2024.
Studentka řešila netriviální zadání výzkumně-implementačního charakteru. Její přístup se vyznačoval samostatností, nadšením k práci a schopností samostatně vymýšlet a zkoušet nové postupy. Výsledné úsilí vedlo nejen ke splnění zadání, ale také k rozšíření poznání v dané oblasti a zdokonalení State-of-the-Art řešení od výzkumníků Li a kol.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | Cílem práce bylo vytvořit řešení pro automatickou tvorbu pravidel pro modifikaci hesel na základě informací, získaných z existujících slovníků. Zadání hodnotím jako náročnější, neboť řešení vyžadovalo využití metod, které se vyučují až na magisterském studiu. Dále bylo nutné provést detailní studii existujících přístupů a související odborné literatury. | ||
| Práce s literaturou | Studentka využila doporučené literatury a další relevantní zdroje si samostatně dohledala. | ||
| Aktivita během řešení, konzultace, komunikace | Aktivitu studentky hodnotím na výbornou. Slečna Šírová začala svou bakalářskou práci řešit již v červnu 2023, přičemž řešení průběžně konzultovala a na schůzky docházela vždy připravena. Dohodnuté termíny plnila obvykle v předstihu před smluvenými termíny. V zimním semestru byla hotova první PoC implementace navrhovaných přístupů, přičemž ve zbytku akademického roku autorka své dílo dále zdokonalovala. Nad rámec aktivit v rámci BP se také věnovala tvorbě odborného článku na konferenci ESORICS (CORE A). | ||
| Aktivita při dokončování | Práce byla dokončena v předstihu a její obsah jsem měl možnost připomínkovat. Mé přípomínky studentka následně zapracovala. | ||
| Publikační činnost, ocenění | Slečna Šírová se podílela na tvorbě článku "Beyond the Dictionary Attack: Enhancing Password Cracking Efficiency through Machine Learning-Induced Mangling Rules," který byl poslán na konferenci 29th European Symposium on Research in Computer Security - ESORICS 2024 (CORE A). Autorčin přínos tvoří významnou část tohoto článku. Zdrojové kódy implementovaného nástroje RuleForge studentka také zveřejnila na portálu GitHub pod licencí MIT: https://github.com/LuciSirr/RuleForge |
Recenzovanou práci hodnotím jako dobrou (tedy stupněm C). Studentka analyzovala problematiku, úspěšně realizovala prototyp, který naplňuje bezezbytku zadání, čímž prokázal své kvality adeptky bakalářského titulu. Lepšímu hodnocení v současnoti brání kvalita implementace.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | Práce je součástí dlouhodobých výzkumných aktivit dr. Hranického v oblasti lámání hesel a heslotvorby. Cílem práce bylo využití dalších technik strojového učení pro automatizovanou tvorbu pravidel na generování hesel. I s ohledem navázání tohoto zadání na předchozí/paralelní další práce (např. od kolegů Drdáka a Ruckého) se jedná o průměrně obtížné zadání. | ||
| Rozsah splnění požadavků zadání | Všechny body zadání byly splněny. | ||
| Rozsah technické zprávy | Práce má 55 stran textu v husté LaTeXové šabloně, 62 stran i s pomocnými provozy. Dle výše uvedeného je tedy v obvyklém rozmezí BP. | ||
| Prezentační úroveň technické zprávy | 80 | Práce je čtivá a logicky strukturovaná. Její (pod)kapitoly navazují a kopírují myšlenkové postupy a pokroky studentky při řešení práce. | |
| Formální úprava technické zprávy | 80 | Práce je psána slovensky, a tak nejsem sto schopen zhodnotit její jazykovou úroveň. Sem tam nějaký překlep (str. 22 a přebývající e u "H3esl0") či nelogičnost (Tabulka 3.1 ukazuje vstupy a výstupy po aplikaci pravidla, ale konkrétní pravidlo pro daný vstup a výstup zde chybí). | |
| Práce s literaturou | 79 | Studentka v práci cituje z dostatečného (26 pramenů) množství relevantních zdrojů, kde nezanedbatelnou část z nich tvoří vědecké konferenční publikace relevantní k práci. Referencování pod čarou místy pokulhává, např. na stranách 15 a 16 jsou interaktivní odkazy na web, na které se však na papíře nedá kliknout. | |
| Realizační výstup | 70 | Implementační část se sestává ze dvou souborů v jazyce Python - RuleForge.py (na generování hesel) a rule_tester.py (na testování). Těžiště tvoří 553 řádků dlouhý RuleForge.py, který realizuje veškerou zadáním poptávanou funckionalitu. Během demonstrace implementace jsme debatou došly k několika omezením, které implementace nyní vykazuje, a to např.: nemožnost práce s většími (typicky v řádu GB) slovníky na vstupu, kvůli paměťovým omezením daným způsobem naprogramování - je řešeno chunkováním, které má ale zásadní dopad na clusterování; absence paralelizace (snad vše z workflow diagramu na Obr. 6.4 jede sekvenčně); i když si specifikuji menší množství pravidel ve výstupu pomocí --most_frequent, tak běh trvá stejně dlouho jako bez tohoto omezení. V testovací části mi chyběla zmínka o tom, že rule_tester.py spouští hashcat v plaintext režimu, toto jsem se dočetl až v kódu. Kapitola o experimentech je zpracovaná na první pohled pěkně. Na druhý jsou v ní rezervy; vadí mi např. použítí průměrování bez dalšího statistického zpracování (což může vést ke zkreslování výsledků); případně že výsledná CSV a experimenty nanajdu mezi odevzdanými soubory (kolegyně je ale na můj apel nahrála na veřejný GitHub https://github.com/LuciSirr/RuleForge/tree/main/experiments , což vítám). | |
| Využitelnost výsledků | Práce přináší zajímavé poznatky stran využití různých metod strojového učení na problematiku automatizovaného generování pravidel ze vstupních slovníků. Experimenty porovnávají metody (s různými konfiguracemi) mezi sebou. V současném stavu implementace je nástroj RuleForge těžko použitelný pro opravdu velké (desítky/stovky GB) slovníky. Pokud se limitace implementace (viz výše) podaří vyřešit, mohlo by nástroj RuleForge mít velkou potenciální přidanou hodnotu, kterou by představovalo ušitření diskového místa. Místo obrovských slovníků se všemi hesly by na disku byl uložen malý slovník s hromadou pravidel, pomocí kterých by se obrovské slovníky daly rozgenerovávat. |
eVSKP id 153697