PRUDKÝ, D. Použití multiagentního systému pro distribuovanou ochranu před kyberútoky [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2025.
Hodnotím hlavně aktivitu studenta během řešení tématu a i to, že téma je nové, neprobádané a dosažené výsledky ukazují, jak je dnes možné použít jazykové modely v oblasti bezpečnosti. Aktivita studenta z mého pohledu byla nadprůměrná a hodnotím ji stupněm B.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | Tématem práce bylo využití multiagentních systémů v oblasti počítačové bezpečnosti. Přestože nejde o zcela nové téma, obecné pojetí multiagentních systémů umožňuje hledat inovativní přístupy, které využívají výhod distribuovaných inteligentních entit – agentů. Úkolem studenta bylo identifikovat takovéto nové možnosti a ověřit jejich přínos v praxi. Náročnost zadání hodnotím jako průměrnou pro diplomovou práci. Po úvodní analýze se student zaměřil na využití velkých jazykových modelů, přičemž koncepci postavil na myšlence, že agenti budou při řešení problémů komunikovat právě prostřednictvím těchto modelů. Ačkoli nebylo možné předem přesně odhadnout potenciál tohoto přístupu, student dosáhl výsledků, které ilustrují jak možnosti, tak i limity zvoleného řešení. Zadání považuji za splněné. | ||
| Práce s literaturou | Studijní fáze byla v případě tohoto projektu důležitá. Student vyhledal literaturu a seznámil se se současným stavem využití LLM při multiagentním skupinovém rozhodování a na tom postavil svoje řešení. Literatura je aktuální a plyne z ní současné poznání v této oblasi. | ||
| Aktivita během řešení, konzultace, komunikace | V úvodní fázi projektu jsme společně hledali vhodný způsob, jakým by bylo možné začlenit multiagentní systémy do oblasti počítačové bezpečnosti, přičemž cílem bylo nalézt nový a potenciálně přínosný přístup. Nakonec padla volba na využití velkých jazykových modelů. Student tuto myšlenku dále konzultoval s odborníky z oblasti bezpečnosti a aktivně hledal možnosti propojení agentních systémů, jazykových modelů a bezpečnostních scénářů. Pracoval samostatně a iniciativně, o postupu prací mě průběžně informoval. | ||
| Aktivita při dokončování | Vzhledem k novátorskému charakteru zvoleného přístupu nebylo snadné předem odhadnout náročnost realizace ani očekávané výsledky. Student proto pracoval na projektu až do termínu odevzdání, čemuž odpovídalo i postupné zpracovávání textu práce. Finální verzi jsem tak neměl možnost detailně korigovat. Přesto se studentovi podařilo dosáhnout relevantních výsledků a text podle mého názoru obsahuje všechny podstatné části. | ||
| Publikační činnost, ocenění | Doposud žádná. |
Práce kreativně zpracovává nové a zajímavé výzkumné téma ve velmi dobré kvalitě a to od definice výzkumné otázky, zpracování související teorie, až po návrh metodologie experimentu, přípravu prostředí a realizaci vč. kvalitní zpracování výsledků. Úroveň hodnocení snižuji nižší rozsah provedených experimentů.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | Jedná se výzkumnou práci, která má za cíl ověřit použitelnost multiagentního systému založeného na LLM v oblasti kyberbezpečnosti. Vedle implementační části práce, tak bylo nutno i vhodně navrhnout metodologii experimentů. | ||
| Rozsah splnění požadavků zadání | Práce splnila všechny body zadání ve velmi dobré kvalitě. Části tykající se přípravy podpůrných nástrojů je na velmi dobré úrovni, experimentální část by zasloužila další rozšíření. | ||
| Rozsah technické zprávy | Rozsah technické zprávy je v obvyklém rozsahu. Všechny části jsou relevantní a informačně bohaté. | ||
| Prezentační úroveň technické zprávy | 95 | Logická struktura práce je na výborné úrovni. Autor vhodným způsobem představuje řešenou problematiku vč. výzkumu na který navazuje a technologií potřebných k porozumění větších detailů. Návrh experimentu je kvalitní, vyhodnocení experimentů je detailní a velmi dobře popsané. Očekával bych detailnější popis vybraných datasetů jako klíčového faktoru ovlivňující výsledky a dopad experimentu. | |
| Formální úprava technické zprávy | 85 | Jazyková a stylistická stránka práce je na výborné úrovni. Pozitivně hodnotím zpracování v angličtině. Práce obsahuje menší množství typografických chyb. Asi největší prohřešek je malá velikost písma u přebraných obrázků, např. obr. 2.3, 3.3., 3.4, nebo zdvojení použité věty (kap. 3.1.2). Styl některých grafů např. 7.2 není šťastný – nevhodná škála na ose x znemožňuje vidět lineární charakter výsledků. V kap. 7.4 jsou některé odstavce formátovány s jiným řádkováním. | |
| Práce s literaturou | 95 | Práce je založena na aktuální a robustně zpracované související literatuře, která široce pokrývá související výzkum. | |
| Realizační výstup | 75 | Realizačním výstupem byla tvorba podpůrných nástrojů pro realizaci experimentu a vlastní experiment. Jedná se tak spíše o konfigurační a integrační práci za účelem realizace experimentu a ověření navrženého konceptu. Použitý přístup je navržen dle konceptů popsaných v aktuální odborné literatuře, které jsou drobně rozšířeny. Autor letmo zmiňuje i koncepty, které testoval a nevedly k cíli, tyto mohly být lépe vysvětleny. Experiment je velmi dobře navržený, ale mohl být rozsáhlejší. Použitá datová sada mohla být detailněji popsána, není na první pohled zřejmá např. její velikost. Na druhou stranu velmi dobře je zpracována analýza chování použitých modelů. Popsané útočné scénáře jsou poměrně obecné, stejně tak popis prostředí pro emulaci reálného útoku. Dále bych očekával, že součástí experimentů bude alespoň nějaký pokus o vylepšení výsledků např. lepším kontextem o testovaném prostředí, jak je uváděno v kap. 8. Dále jsou dobře identifikovány další možné problémy, ale očekával bych, že alespoň jejich podmnožina bude následně experimentálně zahrnuta do testování. Chybí mi také lepší investigace aspoň části popsaných případů, kdy obrana nezareagovala. Chválím zahrnutí ekonomického pohledu na navržený koncept. Vše okolo experimentu je veřejně dostupné, což zajišťuje dobrou reprodukovatelnost. | |
| Využitelnost výsledků |
eVSKP id 162968