ASSATULLA, D. Rozšíření aktivního síťového monitorování o vysvětlitelnou diagnostiku [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2025.
Řešení BP zahrnovalo aktivní monitorování s vysvětlitelnou diagnostikou pomocí LLM. Student propojil obě oblasti a vytvořil systém, který provádí diagnostiku a zároveň získává vysvětlení pomocí LLM. Obsah práce přesahuje rámec vyučovaný na bakalářském studiu na FIT. Výsledek hodnotím stupněm A, 90 bodů.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | Práce zahrnovala návrh a implementaci systému pro aktivní monitorování vybraných síťových služeb a dále vyhodnocení odpovědí případných chybových hlášení pomocí jazykovým modelů LLM. Zadání bylo součástí výzkumného projektu TAČR Inventor. Student aktivně řešil zadané úkoly, průběžně chodil na konzultace a předkládal výsledky. Výstupy práce budou zahrnuty do výsledků projektu Inventor. Student splnil zadání. Nad rámec zadání porovnal více modelů LLM při použití pro vysvětlitelnou diagnostiku a pomocí expertního posouzení zhodnotil užitečnost výsledků vysvětlitelné diagnostiky pro síťové administrátory. | ||
| Práce s literaturou | Student aktivně využíval doporučené zdroje. | ||
| Aktivita během řešení, konzultace, komunikace | Student byl během celého řešení aktivní a chodil pravidelně na konzultace, kde předkládal stav řešení. | ||
| Aktivita při dokončování | Práce byla dokončena v předstihu a její finální podoba několikrát konzultována. | ||
| Publikační činnost, ocenění | Práce byla prezentována na studentské konferenci Excell at FIT 2025. |
Práce představuje zdařilou demonstraci moderního přístupu k aktivnímu monitorování síťových služeb, jenž se stále více orientuje na automatizaci a na poskytování srozumitelných diagnostických informací i pro uživatele bez hlubokých technických znalostí. Vytvořené řešení zahrnuje prostředí pro aktivní monitorování vybraných síťových služeb (SMTP, FTP, SSH) a sadu skriptů pro zpracování výstupů za využití různých jazykových modelů (LLM). Oceňuji zejména praktický charakter práce, funkční implementaci a zapojení více LLM, které byly porovnávány z hlediska vhodnosti pro daný účel. Zajímavým a přínosným prvkem je rovněž vyhodnocení kvality výstupů prostřednictvím dotazníkového šetření, které si vyžádalo další organizační úsilí. Práce je formálně i jazykově na velmi dobré úrovni, i když se v ní vyskytují drobné stylistické a terminologické nedostatky. Po stránce literatury by bylo vhodné doplnit odkazy na relevantní zdroje přímo související s řešenou problematikou. Menší výhrady lze mít i ke konzistenci terminologie a grafickému zpracování některých schémat. Celkově se však jedná o kvalitní práci, která naplňuje požadavky na bakalářskou práci a přináší prakticky využitelné výsledky. Výstupy mohou sloužit jako základ pro další rozvoj nástrojů pro generování diagnostických informací v reálných systémech monitorování síťových služeb.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | Práce se zabývala aktivním monitorováním síťových služeb a zejména pak na základě získaných informací jejich prezentací srozumitelným způsobem uživatelům. Pro vypracování byly použity předtrénované jazykové modely. Výsledky byly vyhodnoceny formou dotazníkového šetření. Vzhledem k tomu, že se jednalo o bakalářskou práci jedná se o zajímavé, průměrně obtížné zadání. | ||
| Rozsah splnění požadavků zadání | Veškeré body zadání byly splněny vhodným způsobem. | ||
| Rozsah technické zprávy | Práce je v obvyklém rozmezí. Uvedené informace jsou relevantní. Text práce má vysázených 52 stran textu a 19 stran příloh. Přepočteno na normostrany se jedná o cca 72 stran. | ||
| Prezentační úroveň technické zprávy | 80 | Práce je logicky strukturována a jednotlivé kapitoly se věnují principům monitorování síťových služeb, návrhu systému aktivního monitorování, problematice LLM, tvorbě srozumitelných diagnostických informací a provedení i vyhodnocení experimentů. Celkově je text zdařilý. K textu mám následující dílčí připomínky: Vysvětlení pasivního monitorování by mohlo být podrobnější. Neznalý čtenář může mít problém pochopit rozdíly mezi přístupy TAP a SPAN pouze na základě textu a přiloženého obrázku. V části věnované aktivnímu monitorování (kap. 2.3) jsou použity pojmy orchestrátor a agent. V celkové architektuře systému však agent není uveden, přesto se objevuje v obrázcích znázorňujících jednotlivé testy. To může být matoucí, zejména s ohledem na odkaz na projekt INVENTOR, jehož neznalost může čtenáři ztížit porozumění. Kapitola 4 poměrně rozsáhle popisuje LLM, včetně historického kontextu. Vzhledem k tomu, že je LLM v práci využíván spíše jako black-box nástroj, by možná bylo vhodnější zaměřit se více na aspekty jako je prompt engineering než na detailní popis architektury transformerů. Práce také uvádí údaje o rychlosti odezvy jednotlivých modelů. Vzhledem k tomu, že byly testy prováděny na přenosném počítači, nelze tyto hodnoty považovat za příliš reprezentativní. | |
| Formální úprava technické zprávy | 90 | Formální úprava práce je výborná. Jazyková stránka je velmi dobrá – v textu se vyskytuje jen několik gramatických chyb a méně obratných formulací (např. „according to the source cited []…“). Objevují se pouze drobné nedostatky, jako například méně vhodně zvolené názvy některých kapitol (např. About network monitoring , Description of functionality: ), použití rastrových obrázků namísto vektorových ve schématech, nejednotné použití výrazů summary a conclusion na konci kapitol nebo nevysvětlené pojmy (např. hallucinate ). | |
| Práce s literaturou | 80 | Literatura se skládá především z online zdrojů zaměřených na principy a využití LLM. Několik pramenů se věnuje také problematice monitorování a systémům pro monitorování sítí. Co mi však v seznamu literatury chybí, jsou odkazy na zdroje, které se přímo zabývají řešenou problematikou, například: Karlsen, E., Luo, X., Zincir-Heywood, N. et al. Benchmarking Large Language Models for Log Analysis, Security, and Interpretation. J Netw Syst Manage 32 , 59 (2024). https://doi.org/10.1007/s10922-024-09831-x | |
| Realizační výstup | 85 | Hlavním realizačním výstupem předložené práce jsou: prostředí pro aktivní monitorování vybraných síťových služeb (SMTP, FTP, SSH), sada skriptů pro generování informací z diagnostických logů aktivního monitorování s využitím různých LLM. Odevzdaný výstup je funkční a programové řešení po stránce použitých prostředků i realizované implementace odpovídá svou kvalitou i rozsahem požadavkům na prototypové řešení, které bylo očekáváno jako praktický výsledek této práce. Řešení bylo úspěšně otestováno na různých scénářích, ve kterých funguje spolehlivě. V práci byly vyzkoušeny různé LLM; pro jejich snadnější integraci a použití by bylo vhodné zvážit implementaci modulu, který by sloužil jako proxy mezi klientem a jednotlivými modely. | |
| Využitelnost výsledků | Výsledky práce lze využít jako základ pro návrh praktického řešení generování diagnostických informací v reálných systémech pro monitorování síťových služeb. |
eVSKP id 162648