PRICL, P. Asistence při tvorbě lékařských zpráv pomocí velkých předtrénovaných jazykových modelů [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2024.
Vzhledem k nevyváženému tempu práce a uspěchanému, problematickému a pozdnímu dokončování považuji aktivitu studenta během řešení za velmi podprůměrnou. Navrhuji hodnotit práci na stupněm dostatečně (E) .
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | Cílem práce bylo prozkoumat možnosti použití velkých před-trénovaných jazykových modelů při asistované tvorbě lékařských zpráv. Vzhledem k rozsáhlé problematice, velmi aktivnímu vývoji existujících modelů a nutnosti častých experimentů se jedná, z pohledu vedoucího, o obtížnější zadání. Rámcově považuji zadání za splněné. | ||
| Práce s literaturou | Student samostatně vyhledal a prozkoumal relevantní literaturu. | ||
| Aktivita během řešení, konzultace, komunikace | V průběhu řešení student pracoval nerovnoměrně a obtížně se vypořádával s četnými technickými komplikacemi a větší časovou náročností prováděných experimentů, což se projevilo na částečné nezralosti výsledného díla. Vzhledem k pomalejšímu postupu byly konzultace jen občasné s výjimkou dokončování poslední měsíc řešení, avšak rámcové termíny byly nakonec dodrženy. Spolupráce v oblasti praktického nasazení probíhala s průmyslovým partnerem, opět spíše volnějším tempem. | ||
| Aktivita při dokončování | Práce byla dokončena až na poslední chvíli, takže výsledná podoba technické zprávy nebyla konzultována (zejména celá část popisující vlastní řešení). Programové řešení bylo konzultováno průběžně. | ||
| Publikační činnost, ocenění | Bez publikací či ocenění. |
Pan Pricl nastudoval principy fungování a aplikace jazykových modelů a navrhl prototyp řešení, který demonstruje možný přístup k takovému problému. Problematika jazykových modelů je nadprůměrně složitá, při řešení student zřejmě překonal množství technických problémů a výsledek je alespoň částečně funkční. Bohužel však jak technická zpráva, tak odevzdaná implementace jsou extrémně stručné až nekompletní, jak uvádím výše. Proto celkově navrhuji hodnotit práci jako nedostatečnou.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | Zadání předpokládá detailní prostudování funkce velkých jazykových modelů a jejich aplikaci v poněkud specifické oblasti. Jedná se spíše o výzkumnou a experimentální práci, daná problematika je poměrně složitá a zadání proto považuji za obtížnější. | ||
| Rozsah splnění požadavků zadání | Vzhledem k celkové stručnosti technické zprávy je obtížné posoudit splnění jednotlivých bodů zadání. Za bez problémů splněný lze považovat první bod 1. K bodům 2 a 3 lze dohledat zmínky o experimentech s několika existujícími modely, parametry těchto modelů a jejich trénování jsou řešeny pouze na několika řádcích v kapitole 4.3. Žádné měření použitelnosti modelů pro daný účel jsem nenašel. Popis implementace (bod 4 zadání) se omezuje na snímek obrazovky a tři řádky textu v kapitole 4.4.2. Testování je pouze letmo zmíněno a další vyhodnocení není v technické zprávě obsaženo. | ||
| Rozsah technické zprávy | Technická zpráva svým rozsahem formálně splňuje požadované minimum 50 normostran. Avšak kapitola 1 však poskytuje jen velmi obecný úvod do problematiky umělé inteligence bez větší návaznosti na téma práce a naopak v kapitolách věnovaných vlastnímu řešení chybí mnohé podstatné informace, jak uvádím níže. Text práce proto nepovažuji z hlediska rozsahu za dostatečný. | ||
| Prezentační úroveň technické zprávy | 40 | Student v technické zprávě poměrně pěkně a srozumitelně zpracoval problematiku velkých jazykových modelů (kapitola 2). Cíl práce byl konkretizován na automatické generování propouštěcí zprávy pacienta na základě záznamů o průběhu léčby uložených v databázi, která je v práci popsána. Zbývající části práce však nedávají mnoho informací o způsobu řešení, ani dosažených výsledcích. Postrádám zejména podrobnosti o způsobu generování vstupu pro jazykový model, parametrech a dosažených výsledcích jednotlivých modelů zmíněných v kapitole 4.2.1, vlivu fine-tuningu aplikovaného na výsledný model a vyhodnocení výsledků. Jsou prezentovány pouze 1 - 2 ukázky vygenerovaného textu bez nějaké diskuse nebo zhodnocení. | |
| Formální úprava technické zprávy | 60 | Technická zpráva je psána v anglickém jazyce na velmi dobré úrovni, po typografické stránce však trpí mnoha nedostatky včetně přetékajících řádků, poněkud svérázné sazbě seznamů apod. Celkově však z tohoto pohledu hodnotím práci jako přijatelnou. | |
| Práce s literaturou | 75 | Seznam použité literatury obsahuje přiměřené množství zdrojů, které jsou relevantní a jsou v textu práce řádně citovány. | |
| Realizační výstup | 50 | Realizačním výstupem je několik skriptů v jazyce Python, které zřejmě provádí přípravu vstupu pro jazykový model, jeho trénování a použití. V rámci předvedení se plnou funkčnost docílit nepodařilo, jednalo se však o problém na straně poskytovatele jazykových modelů HuggingFace. Podle zdrojových kódů jsou zřejmě vytvořené skripty schopny produkovat výstup popsaný v technické zprávě. Souhrnný návod k použití není k dispozici a kód je jen velmi spoře komentován. Dále je implementována webová aplikace, ze které je bohužel odevzdána jen přeložená klientská část, serverová část chybí. Nicméně funkčnost aplikace mi byla demonstrována. Hlavní cíl v podobě aplikace vybraných modelů pro danou úlohu odevzdaná implementace plní, nicméně rozsah a podobu odevzdání považuji za hraniční pro diplomovou práci. | |
| Využitelnost výsledků | Jedná se o práci spíše experimentálního charakteru, dosažené výsledky mohou sloužit jako základ pro další využití jazykových modelů v dané oblasti. |
eVSKP id 153712