ZAŤKO, M. Vliv kódování výstupu hluboké neuronové sítě na kvalitu modelu u multi-label klasifikace [online]. Brno: Vysoké učení technické v Brně. Fakulta elektrotechniky a komunikačních technologií. 2022.
Student se ve své diplomové práci zabývá experimentálním porovnáním technik nelineárního kódování diagnostických tříd s cílem postihnout sémantickou podobnost v klinické terminologii a její vliv na klasifikační schopnosti hluboké neuronové sítě. Vzhledem k tomu, že se jedná o problematiku dosud neprobádanou, vyžadovala práce vysokou míru vlastní invence a pochopení vztahů mezi biologickými principy arytmogeneze a klinickou terminologií. Student pracoval v zásadě samostatně. Oboustranně se dařilo nastavit jen velmi malou míru konzultací. K finálnímu draftu textu v období před odevzdáním jsem neměl možnost se vyjádřit. Výsledkem je minimalistická práce obsahující několik (na magisterské úrovni celkem běžných) metodologických pochybení. Osobně si myslím, že do práce mělo být zařazeno větší množství diagnostických tříd, případně ty stávající rozšířit o upřesňující nomenklaturu, aby využití metod pro NLP dávalo smysl. Celkově technická dokumentace postrádá větší systematičnost. Nejsou zde reportovány některé mezivýsledky (např. průběhy učení), technická řešení (např. nerovnoměrné zastoupení diagnostických tříd) či nastavení učebních algoritmů, které by umožňovaly postup ověřit a replikovat. Pro validaci modelu je použita nestandardní kombinace křížové validace a hold-out metody, přičemž dále u výsledků není uvedeno, které množiny se čísla týkají. Není tak možné posoudit generalizační schopnosti výsledného modelu. Hodnocení kvality modelu pouze na základě specificity a senzitivity není dostatečné. Zdrojový kód přitom obsahuje výpočet dalších standardních metrik. Tyto výsledky mohly být do práce zařazeny i pokud nedopadly zcela příznivě. U diskuze bych očekával, že bude vycházet ze statistického porovnání rozdílů mezi uskutečněnými experimenty, nikoliv osobních dojmů. Po stylistické stránce je práce na vynikající úrovni. Rozsah literární rešerše je vyhovující. V textu místy chybí vysvětlení pojmů z přiložených obrázků. Odborná úroveň vyjadřování a práce s literaturou je spíše na průměrné úrovni s výskytem obecných nebo nepřesných tvrzení. U řady tezí a principů není uveden odkaz na původní zdroj. Není tak jasné, jestli se jedná o osobní názor nebo ověřenou informaci. Přes uvedené výtky bylo zadání formálně naplněno. Student úspěšně zvládl proces návrhu, implementace, učení a vyhodnocení hlubokého neuronálního modelu a metod pro kódování přirozeného jazyka v knihovně Keras. V práci nevnímám nedostatky zásadního charakteru a proto ji doporučuji k obhajobě s hodnocením 75 bodů.
Student Martin Zaťko vypracoval diplomovou práci na téma Vliv kódování výstupu hluboké neuronové sítě na kvalitu modelu u multi-label klasifikace. Cílem práce byla analýza možností zakódovat výslednou diagnostickou třídu signálu v multi-dimenzionálním prostoru. V teoretické části práce se autor věnuje elektrokardiografii, detekci a klasifikaci arytmií, povětšinou metodami hlubokého učení, a metodám kódování kategoriálního výstupu. V této části popsal 4 přístupy, které všechny v následné praktické části realizuje. Popis přístupů je věcný, někdy se však autor vyjadřuje nepřesně (např. knihovnu Keras označuje za model). Praktická část práce začíná popisem EKG dat. Databáze čítala okolo 14000 záznamů, kde vybraných 5 arytmií nebylo zastoupeno rovnoměrně. Největší problém byl se skupinou síňového flutteru, který autor vyřešil otočením signálu v čase. Tento způsob augmentace je nevhodný pro 1D data (narozdíl od obrazu). Pokud autor použil tento typ augmentace pouze na jednu z prezentovaných tříd, pravděpodobně se klasifikátor naučil poznat otočení a ne samotný typ arytmie. Pro porovnání jednotlivých přístupů kódování autor navrhl 1D konvoluční síť. Zde bych vytkla opakované uvádění tabulky s architekturou sítě pro všechny 4 přístupy, ve kterých se měnil pouze poslední řádek. Nesouhlasím s tvrzením, že použití optimalizátoru Adam zaručuje optimalizované hyperparametry. Pro vyhodnocení úspěšnosti modelů autor zvolil 2 parametry - senzitivitu a specificitu. Očekávala bych zařazení F1 skóre a jeho interpretaci pro jednotlivé arytmie, nebo alespoň matici záměn pro představu slabých míst klasifikace. Pro každý z popisovaných přístupů využil autor kriteriální funkce, kdy “binary crossentropy” a “sparse categorical crossentropy” jsou ve své podstatě stejné kriteriální funkce. Zároveň není volba vzájemných entropií vhodná v případě, že se snažíme minimalizovat vzdálenost v multi-dimenzionálním prostoru. Vyhodnocení 1% výhody metody word embbeding pomocí tabulky 2.17, kde jsou některé hodnoty zaokrouhleny na 2 desetinná místa, nepovažuji na nejšťastnější. Celkově je práce dlouhá 41 stran, má 2 hlavní kapitoly a 11 podkapitol. Autor čerpal z 23 převážně zahraničních zdrojů, u zdroje [13] chybí výčet autorů. Práce je psaná ve slovenštině, nedovolím si tedy hodnotit gramatickou a syntaktickou úroveň. Typograficky je však práce na vysoké úrovni. Přes všechny uvedené výtky považuji všechny body zadání za splněné, práci hodnotím stupněm C/78 bodů.
eVSKP id 142118