SOVA, M. Využití velkých předtrénovaných jazykových modelů pro konfiguraci a podporu klinického informačního systému [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2024.
Celkově považuji aktivitu studenta při řešení práce za průměrnou a navrhuji hodnotit práci stupněm dobře (C) .
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | Cílem bylo prozkoumat možnosti použití velkých před-trénovaných jazykových modelů pro uživatelskou podporu při konfiguraci klinického informačního systému. Vzhledem k rozsáhlé problematice, velmi aktivnímu vývoji existujících modelů a nutnosti častých experimentů se jedná, z pohledu vedoucího, o obtížnější zadání. Zadání považuji za splněné. | ||
| Práce s literaturou | Student samostatně vyhledal a nastudoval související literaturu. | ||
| Aktivita během řešení, konzultace, komunikace | Během řešení byl student aktivní a svůj postup pravidelně konzultoval. Prakticky zaměřené konzultace probíhaly také s průmyslovým partnerem. Na konzultacích byl student vždy dobře připraven a dohodnuté termíny dodržel. | ||
| Aktivita při dokončování | Práce byla dokončena včas a její výsledná podoba byla dostatečně konzultována. Připomínky student zapracoval. | ||
| Publikační činnost, ocenění | Bez publikací či ocenění. |
Pan Sova nastudoval několik dostupných jazykových modelů a dokázal je prakticky aplikovat ve specifickém prostředí, což je největším přínosem práce. Výsledná aplikace je funkční, avšak málo dokumentovaná, také k technické zprávě mám různé, výše uvedené výhrady. S přihlédnutím k vyšší obtížnosti zadání však navrhuji hodnotit práci celkově stupněm C.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | Zadání předpokládá využití velkých jazykových modelů pro poskytování nápovědy při konfiguraci rozsáhlého informačního systému. Zadání hodnotím jako obtížnější vzhledem k nutně rozsáhlejší studijní etapě , která zahrnovala jak principy různých jazykových modelů, tak i praktické aspekty jejich nasazení a související nástroje. | ||
| Rozsah splnění požadavků zadání | Zadání považuji za splněné s drobnou výhradou k bodu 4, kde integrace aplikace do klinického informačního systému je vyřešena jedním odkazem a testování, i když zjevně proběhlo, není v technické zprávě explicitně diskutováno. | ||
| Rozsah technické zprávy | Práce je svým rozsahem spíše na dolní hranici rozmezí obvyklého pro bakalářskou práci. Kapitoly pokrývající studijní etapu jsou přiměřeně rozsáhlé a podrobné, kapitoly věnované vlastnímu řešení jsou místy až příliš stručné, jak uvádím dále. | ||
| Prezentační úroveň technické zprávy | 65 | Technická zpráva obsahuje pěkně zpracovanou teoretickou část pokrývající nejvýznamnější současné velké jazykové modely a jejich principy, možnosti jejich přizpůsobení pro vlastní aplikační oblast a cílový informační systém FONS enterprise. Tyto části jsou přehledně strukturované, dostatečně podrobné a srozumitelné. V popisu vlastního řešení naopak poněkud postrádám definici cílů a předpokládaných scénářů nasazení velkých jazykových modelů. Vstupní datová sada je popsána na dvou řádcích v kapitole 6.1. Další kapitoly popisují experimenty s různými parametry modelů a nástrojů, bez stanovených cílů a ale tyto experimenty působí poněkud náhodně. Také kapitola věnovaná implementaci je poměrně krátká, základní představu však dává. Testování celého řešení vyplývá spíše z příkladů uváděných v textu a z odevzdaných datových souborů, explicitně diskutováno není. | |
| Formální úprava technické zprávy | 70 | Teoretická část práce je po jazykové i typografické stránce na dobré úrovni. V částech věnovaných trénování modelů a implementaci řešení lze narazit na drobné prohřešky. Zejména texty generované jazykovým modelem jsou vysázeny nejednotně a často nejsou dostatečně odděleny od vlastního textu autora, což může být pro čtenáře matoucí (např. str. 27). | |
| Práce s literaturou | 60 | Seznam použité literatury není příliš rozsáhlý a zdroje jsou v textu práce citovány spíše ojediněle. Podle jedné citace na začátku se zdá, že téměř celá část popisující jazykové modely čerpá z jediného zdroje [10], což zřejmě odpovídá realitě, explicitně deklarováno to ale není. Původ informací např. v kapitole 2.1.2 tak lze jen odhadovat. | |
| Realizační výstup | 78 | Realizačním výstupem jsou skripty umožňující konfiguraci několika volně dostupných jazykových modelů, webová aplikace umožňující interakci s těmito modely a provedené experimenty. Také jsou odevzdány datové soubory s výsledky provedených experimentů. Ačkoliv co do rozsahu programového kódu se nejedná o příliš rozsáhlý výsledek, vzhledem k experimentální povaze použitých modelů a nástrojů a jejich časové i prostorové náročnosti lze konstatovat, že student zde odvedl velký kus práce. Výsledný nástroj je funkční a dává výsledky popsané v technické zprávě. Bohužel vlastní kód je velmi málo komentovaný a postrádám jakýkoliv návod nebo dokumentaci, která by umožnila vytvořené nástroje zprovoznit i dalším uživatelům. | |
| Využitelnost výsledků | Práce je experimentálního charakteru, dosažené výsledky ale mají praktický potenciál v podpoře uživatelů informačního systému. |
eVSKP id 153714