PRICL, P. Asistence při tvorbě lékařských zpráv pomocí velkých předtrénovaných jazykových modelů [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2024.
Vzhledem k nevyváženému tempu práce a uspěchanému, problematickému dokončování považuji celkovou aktivitu studenta během řešení za podprůměrnou. Navrhuji hodnotit práci na stupněm uspokojivě (D) .
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | Cílem práce bylo prozkoumat možnosti použití velkých před-trénovaných jazykových modelů při asistované tvorbě lékařských zpráv. Vzhledem k rozsáhlé problematice, velmi aktivnímu vývoji existujících modelů a nutnosti častých experimentů se jedná, z pohledu vedoucího, o obtížnější zadání. Zadání považuji za splněné. | ||
| Práce s literaturou | Student samostatně vyhledal a prozkoumal relevantní literaturu. | ||
| Aktivita během řešení, konzultace, komunikace | V průběhu řešení student pracoval nerovnoměrně a obtížně se vypořádával s četnými technickými komplikacemi a větší časovou náročností prováděných experimentů. Vzhledem k pomalejšímu postupu byly konzultace v průběhu řešení jen občasné. V průběhu dopracování (po první neúspěšné obhajobě) byly konzultace již pravidelné a časté, student dobře reagoval na připomínky a termíny byly dodrženy. Spolupráce v oblasti praktického nasazení probíhala s průmyslovým partnerem, opět spíše volnějším tempem. | ||
| Aktivita při dokončování | Práce byla dokončena dodatečně (po první neúspěšné obhajobě). Výsledná podoba technické zprávy byla konzultována a výsledné programové řešení bylo předvedeno. | ||
| Publikační činnost, ocenění | Bez publikací či ocenění. |
Pan Pricl prostudoval poměrně složitou problematiku velkých jazykových modelů a jejich použití pro konkrétní aplikační doménu a navrhl a implementoval funkční řešení, které, ač je experimentální, dává poměrně nadějné výsledky. K technické zprávě mám některé výhrady převážně formálního charakteru. Celkově proto navrhuji hodnocení stupněm C.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | Zadání předpokládá detailní prostudování funkce velkých jazykových modelů a jejich aplikaci v poněkud specifické oblasti. Jedná se spíše o výzkumnou a experimentální práci, daná problematika je poměrně složitá a zadání proto považuji za obtížnější. | ||
| Rozsah splnění požadavků zadání | Zadání považuji za splněné bez výhrad. | ||
| Rozsah technické zprávy | Technická zpráva je svým rozsahem v rozmezí obvyklém pro diplomovou práci. | ||
| Prezentační úroveň technické zprávy | 78 | Technická zpráva je dobře strukturovaná a pokrývá jak studium problematiky umělé inteligence se zaměřením na velké jazykové modely, tak i praktickou část, která se zabývá návrhem řešení pro asistenci při tvorbě lékařských zpráv. Konkrétně se autor zaměřil na automatické generování propouštěcí zprávy pacienta na základě záznamů o průběhu léčby uložených v databázi. Teoretická východiska, použité datové sady i způsob řešení jsou velmi podrobně popsány. Rovněž vyhodnocení výsledků je dostatečně podrobné. | |
| Formální úprava technické zprávy | 65 | Práce je psána v anglickém jazyce, což obecně hodnotím jako klad, nicméně úroveň použité angličtiny je místy problematická. Často se objevují gramatické chyby, chybný slovosled (např. v závěru práce), apod. Nicméně celkově je text srozumitelný. K typografické stránce mám jen drobné připomínky např. k formátování seznamů. | |
| Práce s literaturou | 75 | Seznam použité literatury je přiměřeně rozsáhlý a obsahuje relevantní zdroje. Tyto zdroje jsou v textu práce řádně citovány. | |
| Realizační výstup | 82 | Realizačním výstupem je sada skriptů v jazyce Python, které provádí přípravu vstupu pro jazykový model, jeho trénování a použití. Výsledek mi byl demonstrován a je plně funkční. Součástí řešení je i webová aplikace skládající se ze serverové části provádějící generování propouštěcích zpráv a klientské části poskytující uživatelské rozhraní. Dalším výsledkem je i poměrně důkladné vyhodnocení úspěšnosti generování s použitím různých modelů a jejich nastavení. | |
| Využitelnost výsledků | Práce je spíše experimentálního charakteru a výsledky dosud zřejmě nejsou použitelné v reálných podmínkách, nicméně poskytuje dobrý výchozí bod pro nasazení jazykových modelů v informačních systémech. |
eVSKP id 162623