BLAUDE, O. Automaticka diagnostika 12svodoveho EKG pomoci hlubokeho uceni [online]. Brno: Vysoké učení technické v Brně. Fakulta elektrotechniky a komunikačních technologií. 2023.
Student Ondřej Blaude se zabýval obtížnou problematikou návrhu metody pro diagnostiku 12svodového EKG pomocí hlubokých neuronových sítí. Ve své práci vyšel z dostatečné rešerše relevantních literárních zdrojů a nastudoval některé důležité přístupy k problematice. V praktické části navrhl vlastní řešení, které je v zásadě funkční. Zde je nutné konstatovat, že při změně parametrů modelu s cílem optimalizovat F1 skóre se model často choval v rozporu s očekáváními. Podařilo se odhalit a opravit některé chyby v implementaci, příprava datové sady je velmi pravděpodobně provedena správně. Student věnoval práci dostatek času a energie, korektně se inspiroval v již publikovaných funkčních řešeních, poměrně pravidelně reportoval svoje průběžné výsledky vedoucí práce a věnoval se hledání chyb a příčin slabé výkonnosti modelu. Zadání práce bylo splněno, nicméně představený model překvapivě nedosahuje výkonnosti obvyklé v této oblasti. Model by si zasloužil další podrobnou analýzu a nalezení přičin jeho nestandardního chování na daném datovém setu.
Student se ve své diplomové práci zabýval klasifikací patologií ve 12svodovém EKG pomocí metod hlubokého učení. Teoretická část práce je příliš obsáhlá a obsahuje zbytečně detailní popis studentem nepoužitých metod (např. PCA, ICA, SVM). Tyto kapitoly obsahují celou řadu nepřesností i vyloženě chybných tvrzení. Uvádím jen několik příkladů: předposlední věta kap 2.1 tvrdí, že antialisingový filtr je aplikován až po decimaci signálu; první věta kap. 2.2.2: ICA je nelineární metoda…; atd. Některé části jsou doslovně nebo jen s drobnou úpravou přeloženy do češtiny z citovaných anglických zdrojů – například téměř celý popis v kap. 2.2 a částečně 2.3 ze zdroje [9]. Text celé práce obsahuje časté neodborné, nepřesné nebo chybné výrazy. Na místo zbytečného a nepřesného popisu v práci nepoužitých metod bych očekával rešerši aktuálních relevantních publikovaných přístupů využívající strojové učení k řešení daného problému. Praktická část práce obsahuje návrh, implementaci a trénování jednoho modelu residuální konvoluční neuronové sítě s architekturou převzatou ze zdroje [22]. Model je dále optimalizován z hlediska počtu použitých klasifikačních tříd a různých hyperparametrů sítě, a získané výsledky jsou vzájemně porovnány a diskutovány. Všechny body zadání tak považuji za splněné. K praktické části mám však řadu připomínek. Dle průběhů křivek učení sítí (obr. 4.18, 4.19, 5.6, 5.7, 5.9) a dle tabulek výsledků došlo ve všech případech k silnému přeučení modelů. To je nejen špatně a prakticky nepoužitelné, ale také v rozporu s tvrzeními studenta, že modely jsou nedoučené, a ani zvyšování počtu epoch nevedlo k jejich zlepšení. Dále je velmi zvláštní, že všechny testované možnosti pro zvýšení klasifikační úspěšnosti modelu (zavedení augmentace učební databáze a váhování kriteriální funkce dle četnosti jednotlivých tříd) nevedly ke zlepšení nebo výsledky dokonce zhoršily. Podivně se modely chovají také při změně vzorkovacího kmitočtu signálů, kdy nedochází k výrazné změně F1 skóre nebo není patrný trend jeho změn. To ukazuje pravděpodobně na chybu (nebo chyby) v implementaci modelu nebo přípravě dat. V celé práci je zmatené názvosloví použitých metrik (recall, sensitivita, úplnost, přesnost apod.), které se často zaměňují a pokaždé označují jinak. Pojmy „trénovací/testovací chyba“, uváděné v celé řadě výsledků, nejsou blíže specifikovány, ale jedná-li se o vzájemnou entropii (kriteriální funkce), tak je její hodnota objektivně neporovnatelná mezi modely a jejich modifikacemi, a cokoliv vyvozovat z její absolutní hodnoty nedává smysl. Často také není zřejmé, zda jsou hodnoty uvedeny pro trénovací, testovací nebo validační data. Prezentované matice záměn jsou nepřehledné a duplikují výsledky z tabulek. Tabulky jsou také nepřehledné; není v nich zvýrazněna alespoň nejlepší hodnota nebo podobné důležité informace. Vhodnější by v některých případech byla grafická podoba výsledků. Veškeré vyhodnocení je provedeno pouze na základě průměrných hodnot bez detailnější statistiky. Po formální stránce práce obsahuje několik nedostatků a překlepů. Například tabulka 5.18 a 5.20 obsahuje stejné údaje, ačkoliv se má jednat o rozdílné výsledky, některé tabulky obsahují rozdílné počty desetinných míst v různých buňkách. Titulní strana obsahuje překlepy v názvu práce. Citace zdrojů jsou často uváděny nahodile nebo za tečkou, místo toho, aby odkazovaly konkrétní pasáž nebo větu. Student využil 36 relevantních i zahraničních zdrojů, některé z nich jsou však nesprávně uvedeny v seznamu referencí. Závěrem mohu konstatovat, že většinu prohřešků vytýkaných v předchozí odevzdané práci student více či méně opravil. Je vidět, že k dopracování práce vynaložil značného úsilí a zejména praktickou část výrazně rozšířil o analýzu a optimalizaci hyperparametrů modelu. Vzhledem k předchozím připomínkám a zejména kvůli doslovnému překladu některých pasáží však práci hodnotím stupně F (49 bodů).
eVSKP id 153839