LUKÁŠ, J. Sémantická analýza logů pomocí LLM [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2025.
Práci hodnotím celkově pozitivně. Student prokázal schopnost nastudovat komplexní teoretické základy, navrhnout a implementovat funkční softwarové řešení a systematicky jej experimentálně ověřit. Práce je logicky strukturovaná a srozumitelně napsaná. Oceňuji zejména modulární návrh nástroje, porovnání různých přístupů a modelů, a také snahu o automatizované hodnocení výsledků. Práce mohla obsahovat více experimentů, nicméně dosažené výsledky jsou přínosné a představují dobrý základ pro další rozvoj. Na základě výše uvedeného navrhuji hodnocení "B".
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | Zadání hodnotím jako průměrně náročné. Cílem bylo nastudovat teorii velkých jazykových modelů (LLM) a oblast zpracování logů a následně využít LLM k semantické analýze logových záznamů. Bylo nutné analyzovat datové sady, provést jejich anotaci z hlediska sémantiky a navrhnout způsob, jak z logových záznamů automaticky extrahovat názvy dynamických atributů, které budou odpovídat jejich významu. Klíčovým úkolem bylo zvolit vhodnou strategii využití LLM s cílem dosáhnout co nejlepších výsledků. Výsledky lze považovat za prakticky využitelné pro automatizovanou analýzu logů. Student splnil všechny požadavky zadání. | ||
| Práce s literaturou | Student čerpal jak z literatury doporučené vedoucím práce, tak především z literatury získané vlastní aktivitou. | ||
| Aktivita během řešení, konzultace, komunikace | Aktivita studenta byla po celou dobu řešení konzistentní. Konzultace probíhaly nepravidelně, avšak z iniciativy studenta. Na každé konzultaci byl student řádně připraven a odnášel si zpětnou vazbu, kterou dále využil k posunu ve své práci. | ||
| Aktivita při dokončování | V závěrečné fázi před odevzdáním projevil student zvýšenou aktivitu. Finální podoba práce byla konzultována, avšak již nezbyl dostatek času na další zpětnou vazbu, která by mohla práci dále zkvalitnit. | ||
| Publikační činnost, ocenění |
Celkově hodnotím práci jako velmi dobrou, pro lepší hodnocení by bylo potřeba otestovat více modelů a tím práci rozšířit nad rámec základního zadání.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | Převážná část zadání práce jsou experimenty s jazykovými modely pomocí prompt engineeringu a práce tak je spíše exerimentálního charakteru než vývojová. | ||
| Rozsah splnění požadavků zadání | Všechny body zadání byly splněny, čekal bych ale experimenty s více modely. | ||
| Rozsah technické zprávy | |||
| Prezentační úroveň technické zprávy | 85 | Práce je logicky strukturovaná, kapitoly na sebe navzájem navazují. Drobný nedostatek spatřuji v pozdním vysvětlení pojmu normalizace, který je poprvé použit v kapitole 6.3, je vysvětlen až v kapitole 6.4. Definice úspěšnosti šablon a úspěšnosti parametrů není definována vůbec. | |
| Formální úprava technické zprávy | 85 | Formální úprava je na velmi dobré úrovni. Některé obrázky mají nižší kvalitu. | |
| Práce s literaturou | 90 | Práce s literaturou je na vysoké úrovni, převzaté materiály jsou citovány v souladu s citačními zvyklostmi. | |
| Realizační výstup | 85 | Realizační výstup je funkční, svým rozsahem menší, což je dáno i jednodušším zadáním. V některých souborech zůstaly absolutní cesty na autorův adresář. Většina funkcí je komentována, některé komponenty mají jednoduché jednotkové testy. | |
| Využitelnost výsledků | Výsledek by po důkladné kontrole a přizpůsobení byl využitelný pro generování pojmenování dynamických parametrů. |
eVSKP id 164487