DOLEŽAL, J. Simulace procházení webu člověkem [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2024.
Realizační výstup představuje funkční a inovativní dílo, které zajme především svým netradičním přístupem. Oceňuji použití moderních technologií na bázi LLM. Lepšímu hodnocení bohužel brání problémy při dokončování a také technická zpráva. Že byla finalizována na poslední chvíli, bych dokázal odpusit, pokud by student chybějící pasáže dopracoval v odpovídající kvalitě. Bohužel, i odevzdané dílo má vícero nedostatků, např. minimalistický návrh řešení, absence hlubší diskuse nad závěry experimentů apod. Hodnotím stupněm C.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | Cílem práce bylo vytvořit nástroj, který bude simulovat procházení webové stránky člověkem, přičemž chování simulovaného člověka bude možné konfigurovat. Náročnost práce závisela z velké míry na tom, jaký způsob řešení student zvolí. Pan Doležal šel cestou využití Large Language Models (LLM), což na jednu stranu umožňuje využití existujících modelů, na druhou stranu přináší zajímavé poznatky do této aktuální oblasti. Zvolený způsob řešení hodnotím jako průměrně obtížný. Zadání považuji za splněné. | ||
| Práce s literaturou | Z neznámých důvodů student nevyužil jediný doporučený zdroj. Veškeré prameny si dohledal sám. Do technické zprávy navíc většinu z nich doplnil až těsně před odevzdáním, tudíž jsem neměl možnost se k výběru vyjádřit. Výběr působí relevantně k tématu a rozsah bibliografie je také v pořádku. Postrádám ale uvedení názvů konferencí, časopisů apod. Člověku, který chce zdroje následovat, tak nezbývá než "googlit". | ||
| Aktivita během řešení, konzultace, komunikace | Aktivita studenta byla přiměřená. Na konzultace docházel a dohodnuté termíny vesměs plnil, alespoň tedy po většinu akademického roku. Při finalizaci bohužel nastalo zpoždění. | ||
| Aktivita při dokončování | Práci jsem dostal k připomínkování v nekompletní podobě. Implementace byla popsána jen z části a chyběla také kapitola o experimentech. Tyto části tak student dokončoval svépomocí bez spolupráce s vedoucím. | ||
| Publikační činnost, ocenění | Student zveřejnil zdrojové kódy svého díla na portálu GitHub pod licencí MIT: https://github.com/JachymDolezal/Human-web-browsing-simulation |
Celkově je práce z praktické stránky na nadprůměrné úrovni a splňuje stanovené požadavky inovativním způsobem. Student Doležal Jáchym prokázal hluboké porozumění a schopnost komplexně analyzovat a syntetizovat informace. Práce je prakticky orientovaná a velmi přínosná. I když je textová úroveň na nižší úrovni. Na základě praktického přesahu práce uděluji práci známku “A”.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | Zadání bylo formulováno velmi obecně a umožňovalo tak celou práci pojmout různými způsoby. Autor zvolil postup, který vyžadoval detailně nastudovat oblast jazykových modelů a jak je využít při procházení webu. Hodnotím proto zadání jako obtížnější. | ||
| Rozsah splnění požadavků zadání | Student splnil požadavky zadání. Hlavní cíle byly dosaženy, ale některé dílčí úkoly nebyly plně rozvinuty a staly se předmětem budoucí práce. Přesto však student projevil schopnost orientovat se v problematice a aplikovat teoretické znalosti, které vedly k zajímavému řešení. | ||
| Rozsah technické zprávy | Celkový rozsah zprávy splňuje minimální požadavky. Práce čítá bez příloh a literatury 42 stran vysázených v husté LaTeXové šabloně. Dle app.fit.vut.cz/normostrany práce vychází na 49 normostran. S mírnou rezervou tedy přesahuje minimální počet normostran. | ||
| Prezentační úroveň technické zprávy | 79 | Prezentace technické zprávy je na uspokojivé úrovni. Student užíval srozumitelný jazyk a logickou strukturu textu. Kapitoly na sebe logicky navazují. Přesto mohla být zpráva obohacena o více detailů v návrhu, což by usnadnilo pochopení některých částí spojených s interakcí s jazykovým modelem. | |
| Formální úprava technické zprávy | 75 | Formální úprava technické zprávy je na nižší úrovni. Text obsahuje standardní formátování, byť s několika drobnými nedostatky spojenými s ne-konzistencí uvádění citací v textu nebo popisek obrázku končí tečkou a zbylé popisky jsou bez tečky. V textu se nachází jednoslabičné předložky na konci řádku. Ukázky kódu by měli být zobrazeny např. výpisem a nebýt volně vloženy v textu. Student v teoretické části používá nekvalitní rastrové obrázky. Celková prezentace je ale přehledná a čitelná. | |
| Práce s literaturou | 90 | Student čerpá z celkem 37 literárních pramenů. Převážnou většinu tvoří seriózní vědecké publikace. Výběr je relevantní k řešenému tématu. Citace byly přesné a uvedené v souladu s požadovaným citačním stylem. Celkový počet literárních pramenů je nadprůměrný. Práce s literaturou je celkově uspokojivá. | |
| Realizační výstup | 99 | Realizační výstup je velmi kvalitní a nadstandardní. Student předvedl schopnost efektivně aplikovat teoretické poznatky do praxe. Výstup je inovativní, funkční a zároveň bylo potřeba řešit netriviální problémy při implementaci. Zpracování výsledků ukazuje na hluboké porozumění problematice. Student zvolil korektní postup při evaluaci funkčnosti řešení. | |
| Využitelnost výsledků | Přínos práce je jak výzkumného charakteru, tak praktického. Práce odhaluje poznatky, jak využívat jazykové modely pro simulaci reálných požadavků na web. Můžeme tak vytvářet reálnější testovací prostředí nebo získávat snadněji datové sady pro další analýzy. Práce má potenciál být dále rozvíjena a rozšiřována. |
eVSKP id 153702