ŠKUNDA, J. Analyzing brain electroencephalogram (EEG) signals to detect anxiety and depression [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2025.
The student has completed all the objectives specified in the project description. He has developed a machine learning-based approach for the detection of anxiety and depression dealing with it as a multiclass problem. He has tested it with three different datasets and the results are promising. The work is publishable as a conference or journal paper with some additional work. The shortcoming is in the evaluation section. Though the students had many results but he did not include them in the thesis.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | The thesis was related to detection of anxiety and depression from the brain EEG signals. The work was challenging because it not only required knowledge in signal processing and the machine learning but also required understanding of the mental health problems of anxiety and depression. The complexity of the project increased due to the multi-level classification, that is normal, mild/moderate anxiety, severe anxiety, and depression. The student developed a machine learning model to achieve this objective and tested it on three different databases. The results are promising. | ||
| Práce s literaturou | The student has provided literature review in chapter 2. Section 2.1 discusses the anatomy of the brain and the corresponding EEG signals are discussed in section 2.2. In section 2.3, research related to anxiety and depression is presented. Section 2.4 provides theory behind many of the machine learning models. The details of the existing datasets are provided in section 2.5 while the quality metrics are presented in section 2.6. Overall, the literature review is good. | ||
| Aktivita během řešení, konzultace, komunikace | The student had weekly meetings and he came to meetings on time and he regularly attended the meetings. I found him to be punctual and hardworking student. He faced many challenges and worked hard to overcome the challenges. He was active and quite focused on his project. | ||
| Aktivita při dokončování | The student regularly consulted me before the submission of the thesis. The work was challenging because of the complexity of brain EEG signals which include many electrodes and requires extensive pre-processing. Also, there is a learning curve as it’s a multidisciplinary topic. The student was able to complete the development just in time and was able to submit the thesis within the give timeframe. However, the shortcoming is in the evaluation section. Though the students had many results but he did not include them in the thesis. | ||
| Publikační činnost, ocenění | The thesis is well written and contains content which may be publishable either as a conference or a journal article with some additional work. |
Autor v této práci představuje celý řetězec pro klasifikaci EEG dat. V teoretické části i přes drobné nedostatky zadané téma zpracoval dobře. Implementace je funkční, nepřináší žádné nové myšlenky, ale evidentně dělá to, co má dělat. Největší problém je evaluace, kdy výsledky jsou vyhodnoceny minimalisticky, není provedena žádná větší diskuze výsledků. To, že algoritmus pracuje dobře, je nutné hledat více ve zdrojových kódech. Problém s přeskočením části zadání týkající se složitosti nepovažuji za zásadní. Vzhledem k výše uvedenému po uspokojivém odpovězení na mé otázky komisi navrhuji celkové hodnocení stupněm E - dostatečně .
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | Cílem práce bylo pracovat s EEG signály. Vzhledem k neexistenci jednotného datasetu pro tento problém považuji zadání za obtížnější. | ||
| Rozsah splnění požadavků zadání | V teoretické části zadání student splnil bez výhrad. V implementační části mám však připomínku ke splnění bodu 6. Autor vytvořil celkovou pipeline pro předzpracování, extrakci příznaku, jejich selekci, trénování i validaci. Tuto aplikaci poté přenesl do platformy Hugging Face, která umožňuje cloudový běh. Nevyhodnotil však výpočetní a paměťovou náročnost navržených algoritmů. Podobně také nevyhodnotil vlastnosti navrženého datasetu. I přes tyto nedostatky se však dá říct, že student podstatné části zadání splnil a jádro práce bylo vytvořeno, jen hůře prezentováno. | ||
| Rozsah technické zprávy | |||
| Prezentační úroveň technické zprávy | 50 | Teoretická část práce obsahuje všechny důležité informace. V některých případech by bylo lepší změnit názvy a pořadí kapitol (např. 2.4 Literature review obsahuje detekci poruch, naopak datasety (2.5) jsou diskutovány až po existujících přístupech a podobně). Vlastní návrh obsahuje dost částí, které by spíše patřily do rešerše literatury, ale celkově je pochopitelné, co autor dělal. Největší slabina je však popis implementace a výsledků. Autor nevyhodnotil parametry algoritmu, není vždy jasné, kdy používal vlastní implementace. Navržená implementace není vůbec vyhodnocena z pohledu časové a paměťové náročnosti, navíc implementace cloudové platformy v prostředí Hugging face je zmíněna pouze okrajově. Ještě větší problém je však diskuze výsledků. Autor dochází ke klasifikační přesnosti kolem 100 % (obr. 5.5 a 5.7) a vůbec se tomuto nežádoucímu trendu, který může být způsoben metodickou chybou či nevhodným datasetem, nevěnuje. | |
| Formální úprava technické zprávy | 75 | Jazyková úroveň práce je průměrná, z pohledu formálních úprav neobsahuje závažnější nedostatky. Nicméně prezentace výsledků (např. Tab. 5.1) je docela nepřehledná. Podobně matice záměn (tzv. confusion matrices - obr. 5.7, 5.8) jsou nejednotné a někdy příliš roztažené. | |
| Práce s literaturou | 75 | Autor vycházel z aktuální literatury, většina zdrojů je vhodných. Dalo by se diskutovat o použití různých webových stránek a blogů, když na toto téma existuje i ověřená literatura (např. [9] a [15]), podobně některé zdroje jsou hůře dohledatelné kvůli absenci či naopak přidávání nevhodných informací do záznamu ([8] nebo [6]). | |
| Realizační výstup | 52 | Autor vytvořil ucelený nástroj pro jednotlivé fáze zpracování EEG signálů. Tato práce je kompilací existujících přístupů implementovaných ve specializovaných knihovnách, jako jsou mne a sklearn . Technicky je navržená implementace správná, kód je čitelný a dokumentovaný. Autor navrhl využití různých příznaků, které mohou vést k dobré klasifikaci. Mírnou komplikaci vidím v kombinaci datasetů, což může být problematické z pohledu správného předzpracování RAW dat. Největší slabinou této práce je však výsledná evaluace výsledků, což by u práce tohoto charakteru měla být důležitá součást. Autor algoritmy spustil, zjistil klasifikační přesnosti a matice záměn. Nezabýval se tím, že různí pacienti mají jinou úroveň nemoci - což může být problém, protože jiná chyba je špatně zařadit pacienta s lehkou poruchou a nebo s těžkou. Podobně potom nezjišťoval, jak navržený klasifikátor funguje. Při analýze významně použitých frekvencí či sond by mohl provést validaci s literaturou a ukázat, zda navržená implementace je správná. Výsledná implementace měla být přenesena do cloudové platformy. Autor zvolil systém Hugging Face , což může být dobrá volba, ale neporovnává tuto platformu s jinými alternativami, které by teoreticky mohly být vhodnější. To, že aplikace funguje a jak, jsem pak zjistil pomocí vlastního experimentování a ukázky studentem, v textu práce se této problematice věnuje na osmi řádcích textu. | |
| Využitelnost výsledků | Vzhledem k tomu, že výsledky nevypadají příliš přesvědčivě (např. již zmíněnou stoprocentní přesností) a že se z mého pohledu jedná spíše o kompilační práci, tak výsledky v této formě nemohou být použity dále. |
eVSKP id 160641