BRNÁK, J. Komunikující agenti pro bezpečnost kódu [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2025.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | Cílem zadání bylo nastudovat problematiku bezpečnosti kódu generovaného pomocí velkých jazykových modelů a možností agentních systémů. V práci měla vzniknout rešerše velkých jazykových modelů, agentních systémů na nich založených a problematiky hodnocení bezpečnosti kódu generovaného pomocí umělé inteligence. Na základě rešerše měl vzniknout návrh využití agentního systému za účelem zlepšení bezpečnosti generovaného kódu, jeho implementace a experimentální vyhodnocení. Práce je vyšší obtížnosti vzhledem k potřebě hlubokého porozumění problematiky a vědecké podstatě práce. Všechny body zadání byly splněny, nemám výhrady. | ||
| Práce s literaturou | Student vycházel z relevantních a aktuálních literárních zdrojů, které následně zahrnul do technické zprávy. | ||
| Aktivita během řešení, konzultace, komunikace | Student pravidelně konzultoval svoji práci a vždy byl pečlivě připraven. Student sám aktivně vymýšlel možná rozšíření pro dosažení lepších výsledků. V této oblasti nemám žádné připomínky. | ||
| Aktivita při dokončování | Práce byla dokončena včas, nicméně její poslední části nebyly s dostatečným předstihem konzultovány. | ||
| Publikační činnost, ocenění |
Práce kreativně zpracovává nové a zajímavé výzkumné téma ve výborné kvalitě a to od definice výzkumné otázky, návrhu metodologie experimentu, přípravy prostředí, až po realizaci a kvalitní zpracování výsledků. Mé výše uvedené výtky jsou na úrovni požadavků na vědecký článek, výrazně převyšují požadavky na bakalářskou práci a mají za cíl pomoci autorovi vylepšit slabá místa v případě, kdyby se rozhodl výsledky publikovat.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | Jedná se o práci výzkumného charakteru, která navazuje na předchozí výzkum v této oblasti a věnuje se novému konceptu propojení AI agentů. | ||
| Rozsah splnění požadavků zadání | Všechny body zadání byly splněny ve výborné kvalitě. | ||
| Rozsah technické zprávy | Rozsah technické zprávy se blíží horní hranici doporučeného rozsahu, nicméně všechny části jsou relevantní a informačně bohaté a odpovídají rozsahu zpracování tématu. Velké množství příloh obsahující výsledky experimentu by bylo vhodnější připojit jako elektronickou přílohu. | ||
| Prezentační úroveň technické zprávy | 95 | Logická struktura práce je na výborné úrovni. Autor vhodným způsobem představuje řešenou problematiku vč. výzkumu na který navazuje a technologií potřebných k porozumění větších detailů. Návrh experimentu je robustní, využívá dostupné datasety. Vyhodnocení experimentů je detailní a velmi dobře popsané. Nicméně se dá vytknout stručnější popsání vybraných backend modelů a nejasnost důvodu pro výběr dvou použitých kandidátů. Očekával bych detailnější popis vybraných datasetů jako klíčového faktoru ovlivňující výsledky a dopad experimentu. | |
| Formální úprava technické zprávy | 95 | Jazyková a stylistická stránka práce i úroveň typografie je na výborné úrovni. Práce obsahuje jen minimum chyb. Pozitivně hodnotím zpracování v angličtině a pěkné vizualizace výsledků. | |
| Práce s literaturou | 75 | Práce obsahuje nadstandardní množství odkazovaných zdrojů, které jsou však relevantní tématu a vhodně vybrány. Systém Theses udává podobnost 9,4% z čehož cca 6% odkazuje na práci, na kterou autor navazuje. Podobné části jsou součástí teoretické části a korektně referencovány. Jako hlavní slabinu vidím absenci diskuze obdobných výzkum a srovnání s jejich výsledky, kterou bych u tohoto typu práce očekával. | |
| Realizační výstup | 95 | Realizačním výstupem byla tvorba podpůrných nástrojů pro realizaci experimentu a vlastní experiment. Práce obsahuje důležité postřehy, které autor získal během prototypovací fáze, jako je např. analýza omezení LLM pro daný typ úlohy nebo vliv počtu iterací komunikace agentů na výsledný kód. Zpracování výsledků by prospělo nejdříve shrnout základní zjištění a teprve poté sdělit plný detail. Pro lepší interpretaci pak chybí větší diskuze k jednotlivým číslům. Obdobně by práci prospělo zamyšlení, jak výsledky aplikovat do praxe a diskutovat reálnou použitelnost zjištění. | |
| Využitelnost výsledků | Výsledky mají potenciál publikace na kvalitní vědecké konferenci, protože přináší nové poznatky o chování agentního zapojení LLM v oblasti tvorby bezpečného kódu. |
eVSKP id 161680