VARGA, O. Detekce anomálií v síti pomocí analýzy šumového spektra síťových prvků [online]. Brno: Vysoké učení technické v Brně. Fakulta elektrotechniky a komunikačních technologií. 2025.
Student Oliver Varga se ve své diplomové práci zabývá detekcí síťových anomálií, zejména zvýšené síťové aktivity (přenosu dat) a DDoS útoků, pomocí analýzy elektrického šumu v napájecí síti s využitím technologie Power Line Communication (PLC). Cílem práce bylo vytvořit nástroj pro nepřímé sledování provozu síťových zařízení v případech, kdy není možný přímý přístup k jejich síťovým rozhraním. Teoretická část se opírá o obecné poznatky o strojovém učení, avšak postrádá hlubší provázání s řešenou problematikou. Práce s literaturou je slabší a z celkového textu je patrná omezená orientace studenta v kontextu problematiky samotné komunikační technologie PLC/BPL, která je pro řešení práce zcela zásadní. Praktická část se soustředí na návrh klasifikačního modelu a jeho ověření pomocí různých scénářů. Přestože byla testována řada konfigurací, jejich přínos není vždy zřejmý. Klíčový scénář s reálnými síťovými prvky (síťový rack s řadou zařízení), který mohl výrazně přispět k validaci výsledků, zůstal nezpracován. Implementovaný model strojového učení nepřináší přesvědčivé výsledky, přičemž v práci chybí důkladnější analýza příčin případně podrobná rozvaha návrhu dalších kroků vedoucích ke zlepšení. Text práce je psán v angličtině, jazyková úroveň je přiměřená, avšak stylisticky i formálně práce místy postrádá soudržnost. Naopak pozitivně na práci hodnotím studentovu účast na studentské konferenci EEICT 2025. Zadání práce považuji za splněné s výhradami. S ohledem na výše uvedené skutečnosti hodnotím práci stupněm D (67 bodů) a doporučuji práci k obhajobě.
Student vypracoval práci na téma detekce anomálií v síti pomocí analýzy šumového spektra. Textová část obsahuje občasné typografické chyby a překlepy; student používá příliš velké množství odstavců (často jednovětných). Obrázky jsou primárně rastrové, mají malé popisy os a nejsou unifikované. Nerozumím některým kapitolám v teoretické části typu rozebrání euklidovské vzdálenosti a dalších, které nejsou nijak komentovány nebo používány dále v práci. Klíčové teoretické kapitoly o strojovém učení 1.3 až 1.3.9 jsou výtahem výhradně z populárních článků od IBM na jejich webových stránkách. Nejedná se o relevantní literaturu (alespoň ne takto samostatně) a mnoho informací je zavádějících nebo přinejmenším zvláštních. Například je nevhodná generalizace ohledně nutnosti velkých datasetů (v kontrastu s metodami, které student jmenuje v úvodu a které často nevyžadují velký objem dat), vágní vyjádření, například: „If there are known examples, an error function can make certain comparisons to assess the model’s accuracy“. Z deseti po sobě jdoucích odstavců v kapitolách 1.3.1 a 1.3.2 je jedna webová stránka citována 8krát, a to vždy za celým odstavcem. Podobný trend je i v dalších kapitolách, jen s jinou referencí. Některé zkratky jsou velkými, některé malými písmeny. Velmi mi tu chybí rešerše existujících přístupů, odkazy na studie, které tuto problematiku probíraly, nebo srovnání metod klasifikace obdobných problémů. Chybí mi tu obecný přehled ML metod, optimalizace nebo způsob propagace chyby u NN. Práce má v názvu šumové spektrum, ale nikde (kromě jednoho parametru využívajícího FFT v poslední fázi testování CNN) se se spektrem jako parametrem nepracuje. Čekal bych, že vstupem do ML metod budou spektrogramy nebo alespoň nějaké spektrální parametry, ne pouze statistika ze vzorků signálu, resp. šumu. Dle kapitoly 2.2 se zdá, že student náhodně vybral jednu z metod strojového učení a otestoval ji na relativně malém množství dat. Přestože v teoretické části je uveden běžný poměr 70/30 nebo 80/20 pro trénovací/testovací data, student zvolil 37,5/37,5/25 pro trénovací/testovací/validační data. Dále tu chybí popis samotného nastavení algoritmu, vysvětlení použití validační množiny atp. Nerozumím této části, je úplně odstřihlá jak od teoretické části, protože ji v podstatě nevyužívá, tak od následující kapitoly 2.3, kde student využívá více metod a jiný dataset. Přijde mi to jako relikt semestrální práce, který měl být zde buďto jen nastíněn, nebo úplně vynechán. Ve finálním přístupu je řečeno, že celý nový dataset je rozdělen do trénovací a validační množiny – znamená to, že testovací množina tu není? Myslím, že tu dochází k záměně nebo nepochopení validační vůči testovací množině, protože vyjádření “to see how well the models perform in new conditions that were not present during training” tomu napovídá a navíc při hodnocení modelů student uvádí, že výsledné modely byly evaluovány na validační množině. Dále tu není nijak popsané nastavení jednotlivých modelů, pouze jsou prezentovány výsledky, přičemž v naprosté většině jde o nepoužitelný model podobný náhodnému hádaní (cca 50% úspěšnost při binární klasifikaci). V kódu jsou matice záměn a ROC křivka pro každou metodu, kde jde jasně vidět, že všechny modely jsou nepoužitelné a trénování k ničemu nevedlo, což ale v práci není dále rozebráno. Při použití CNN jsou použité různé metody a vrstvy typu batch normalization, maxpooling, dropout a další, které nebyly nijak komentovány v teoretické části. Celá CNN architektura působí jako zkopírovaný model bez hlubšího poznání, vysvětlení nebo kontextu. Zase tu není popsáno trénování, průběh, volba parametrů nebo validace pro jednotlivé epochy. Výsledky dle ‘F1-score‘ a matice záměn na obrázku 2.25 rozhodně neodpovídají tvrzení „a good balance between accuracy and sensitivity of the model”, jak student uvádí. Nerozumím rozdělení velkého množství scénářů pro vytvoření datasetu, když místo náhodného zamíchání jsou zvoleny jednotlivé scénáře jako trénovací nebo testovací množina s manuálním výběrem. V textu práce to není, pouze v kódu samotném, nikde jsem navíc nenašel objasnění pro takové rozdělení. Student tvrdí, že tato práce pokládá základ (vývoj prototypu) detekce anomálií, ale dle popisu, nulové optimalizace a zkoušky parametrů bych řekl, že ani jeden model, včetně CNN, příliš nefunguje a byl by pro reálnou aplikaci nepoužitelný (i kvůli zamrznutí při DDoS útoku). Strojové učení má být dle zadání klíčovou částí práce, ale teoretická část je velmi povrchní, v praktické nedochází k řádnému testování nebo optimalizaci, rozboru parametrů nebo k testování variací modelů. Myslím si, že cíl práce byl splněn, ale vše ostatní je jak z logické části, tak samotné implementaci na nízké úrovni. Chybí zde hlubší poznání problematiky a správný přístup k vývoji a testování modelů strojového učení. Hodnotím celkově 58 bodů, E.
eVSKP id 167330