RYŠÁNEK, J. Vizualizace neuronové sítě použité jako jazykový model [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2023.
Řešení tohoto poměrně otevřeného zadání zůstalo spíše v minimalistické podobě, bez opravdu důkladného ponoření se do problému. Jako vedoucí ale musím ocenit pokroky, které student v průběhu řešení dosáhl, zejména ve studijní části projektu.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | Toto zadání je dosti otevřené a nechává na řešiteli, co přesně bude v neurálních jazykových modelech vizualizovat. Student při řešení vykazoval zvídavost nutnou pro zvládnutí takového zadání, ale jen místy a zřídka ji podpořil důsledným proniknutím na dřeň problému. Zadání práce je běžné obtížnosti. Vyžaduje, aby si řešitel osvojil znalosti neuronových sítí a vizualizace vysokorozměrných dat nad rámec bakalářského programu na FITu, ale nevyžaduje nutně, aby tak učinil do velké hloubky -- a řešitel v tomto případě do velké hloubky nešel. | ||
| Práce s literaturou | Student k vyhledávání zdrojů přistupoval poměrně aktivně, ale povrchně, s odbornou literaturou se seznamoval spíše z popudu vedoucího. Kladně ovšem hodnotím, že kvalita studovaných zdrojů a úroveň jejich pochopení s průběhem řešení zlepšovala. | ||
| Aktivita během řešení, konzultace, komunikace | Student v průběhu řešení komunikoval, řádně chodil na dohodnuté schůzky a postupně pracoval na vytyčených cílech. Jen menší podíl z těchto cílů si ale vytyčil student sám. | ||
| Aktivita při dokončování | Textová zpráva o bakalářské práci vznikala postupně a byla po částech konzultována. Vzhledem k finálnímu šturmu k odevzdání nebyla její definitivní podoba podrobena kritickému oku vedoucího. Spěch při dokončování experimentů bohužel zabránil zahrnout do výsledku i -- rozpracované -- nasazení navržených metod na předtrénovaný model z rodiny GPT. | ||
| Publikační činnost, ocenění | Pokud je mi známo, výsledky práce nebyly nikde publikovány. |
Zadání je ve velmi zajímavém oboru, formálně splněné, ale s nepříliš obsáhlými výsledky. Technická zpráva je podprůměrná s chybějícími podstatnými informacemi.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | Na bakalářské úrovni složitost zvyšuje nutnost nastudování problematiky neuronových sítí a jazykových modelů na nich založených, na druhé straně práce využívá již hotové modely a doplňuje pouze vizualizační vrstvu, která je relativně jednoduchá. | ||
| Rozsah splnění požadavků zadání | Student se seznámil se základy NNLM a vypracoval několik technik pro vizualizaci jejich vnitřního chování, zadání je tedy formálně splněno, byť analýza podle mého názoru zůstává na povrchu a neobsahuje odpovědi na základní otázky „proč ?“ a „jak výsledky využít pro tvorbu lepších / menších / více robustních LM“. | ||
| Rozsah technické zprávy | Technická zpráva zřejmě dosahuje formálního minima, ale některé části by bylo nutné rozšířit proto, aby byla dobře technicky čitelná, především doplnit přesný popis architektury použitého LM, popis dat, atd. | ||
| Prezentační úroveň technické zprávy | 65 | Práce obsahuje slušný popis architektur pro NNLM (i když i zde by si zasloužila podrobnější matematický popis, alespoň základy principů trénování, atd), zaostává při popisu vlastní práce a interpretace výsledků. Kapitola 4 o implementaci je poměrně odbytá, měla obsahovat alespoň základní informace o tom, která část kódu dělá co. | |
| Formální úprava technické zprávy | 75 | Práce je psána relativně slušnou angličtinou, student dostane okomentovaný výtisk práce s detaily. U převzatých obrázků je nutné hlídat jejich technickou kvalitu, u vlastních (4.1, 5.3) naopak volit formát tak, aby byly čitelné. | |
| Práce s literaturou | 60 | Seznam literatury obsahuje základní práce o NNLM, necituje žádnou práci, která by se vizualizaci chování NNLM věnovala, takových je přitom (v souvislosti s vlnou „explainable AI“) spousta. Práce neobsahuje standardní kapitolu „state of the art“, která by obsahovala přehled dostupných řešení. | |
| Realizační výstup | 60 | Sada skriptů pro vizualizaci chování NNLM, výsledky analýz prezentované v práci. | |
| Využitelnost výsledků | V případě důkladnějšího provedení by byly výsledky velmi relevantní pro výzkum v oblasti strojového učení na FIT (řeč, NLP, OCR), do tohoto stavu by ale bylo potřeba podstatného rozšíření SW i analýzy výsledků |
eVSKP id 148495