Analyzing a person’s handwriting for recognizing his/her emotional state
Loading...
Date
Authors
Chudárek, Aleš
ORCID
Advisor
Referee
Mark
B
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Rozpoznávání emocí z rukopisu je náročný a interdisciplinární úkol, který může poskytnout vhled do psychologického a emočního stavu pisatele. V této diplomové práci byl vyvinut a vyhodnocen model strojového učení schopný predikovat emoční stav pisatele na základě vzorků jeho rukopisu. Byl využit dataset EMOTHAW, který obsahuje vzorky rukopisu a kreseb od subjektů, jejichž emoční stavy byly změřeny pomocí testu DASS, který hodnotí úroveň deprese, úzkosti a stresu, a CIU Handwritten databázi pro ověření a experimentování. Bylo extrahováno množství příznaků inspirovaných standardní grafologií, stejně jako příznaky specifické pro online data. Pomocí ANOVA byly vybrány statisticky významné příznaky, které byly normalizovány pomocí Z-Score, MinMax, IQR nebo logaritmické transformace. Dimenzionalita příznaků byla snížena pomocí analýzy hlavních komponent (PCA) a lineární diskriminační analýzy (LDA). Pro klasifikaci byl použit meta-přístup Ensemble learning, který se snaží snížit chyby jednoho jednoduchého modelu využitím rozmanitosti a doplňkovosti více modelů. Struktura klasifikátoru závisí na mnoha argumentech, což vede k více než 300 000 různým konfiguracím. Optimální argumenty a tudíž optimální struktura byla hledána pomocí zamrazování argumentů. Byly identifikovány nejlepší klasifikátory pro binární a trinární klasifikaci každé emoce, což vedlo k šesti optimálním modelům. Tyto modely byly hodnoceny pomocí různých metrik, jako jsou accuracy, precision, recall a F1 Skóre, a dosáhly adekvátních výsledků ve všech metrikách. Kromě nalezení klasifikátorů tato práce zkoumala význam každého extrahovaného příznaku, čímž byl vytvořen seznam nejvýznamnějších příznaků použitých pro rozpoznávání emocí z rukopisu. Dále tato práce rozšiřuje databázi EMOTHAW identifikací úkolů, které jsou více indikativní pro specifické emoce, čímž se snižuje potřeba kompletní baterie úkolů pro emoční analýzu.
Emotion recognition from handwriting is a challenging and interdisciplinary task that can provide insights into the psychological and emotional aspects of the writer. In this study, we developed and evaluated a machine learning model that can predict the emotional state of a writer from their handwriting samples. We utilized the EMOTHAW dataset, which consists of handwriting and drawing samples from subjects whose emotional states are measured by the DASS test, which gives a score for depression, anxiety, and stress and the CIU Handwritten database for verification and experimentation. We extracted a large number of features that are inspired by the standard graphology work, as well as features that are specific to online data. We used ANOVA to select statistically significant features and normalized the data using Z-Score, MinMax, IQR or Log. We reduced the dimensionality of the features using Principal Component Analysis (PCA) and Linear Discriminant Analysis (LDA). We employed a meta approach Ensemble learning that seeks to reduce the errors of a single model by exploiting the diversity and complementarity of multiple models. The structure of our classifier is dependent on multiple arguments resulting in over 300,000 different configurations. We optimized arguments using argument freezing. We found the best classifiers for binary and trinary classification for each emotion, resulting in six optimal models. We evaluated our models using different metrics, such as accuracy, precision, recall, and F1-score. Our models reached adequate results in all metrics. In addition to finding the classifiers, this thesis explored the importance of each extracted feature, providing a sorted list of the most significant features used for emotion recognition from handwriting. We also enhanced the EMOTHAW database by identifying tasks that are more indicative of specific emotions, thereby reducing the need for a full task battery for emotional analysis.
Emotion recognition from handwriting is a challenging and interdisciplinary task that can provide insights into the psychological and emotional aspects of the writer. In this study, we developed and evaluated a machine learning model that can predict the emotional state of a writer from their handwriting samples. We utilized the EMOTHAW dataset, which consists of handwriting and drawing samples from subjects whose emotional states are measured by the DASS test, which gives a score for depression, anxiety, and stress and the CIU Handwritten database for verification and experimentation. We extracted a large number of features that are inspired by the standard graphology work, as well as features that are specific to online data. We used ANOVA to select statistically significant features and normalized the data using Z-Score, MinMax, IQR or Log. We reduced the dimensionality of the features using Principal Component Analysis (PCA) and Linear Discriminant Analysis (LDA). We employed a meta approach Ensemble learning that seeks to reduce the errors of a single model by exploiting the diversity and complementarity of multiple models. The structure of our classifier is dependent on multiple arguments resulting in over 300,000 different configurations. We optimized arguments using argument freezing. We found the best classifiers for binary and trinary classification for each emotion, resulting in six optimal models. We evaluated our models using different metrics, such as accuracy, precision, recall, and F1-score. Our models reached adequate results in all metrics. In addition to finding the classifiers, this thesis explored the importance of each extracted feature, providing a sorted list of the most significant features used for emotion recognition from handwriting. We also enhanced the EMOTHAW database by identifying tasks that are more indicative of specific emotions, thereby reducing the need for a full task battery for emotional analysis.
Description
Keywords
Rozpoznávání emocí, Grafologie, Deprese, Úzkost, Stres, Analýza rukopisu, Strojové učení, Klasifikace, Dataset, Příznak, Předzpracování, Extrakce příznaků, Výběr příznaků, ANOVA, Normalizace, Analýza hlavních komponent (PCA), Lineární diskriminační analýza (LDA), Random forest, Support Vector Machine (SVM), algoritmus K-nejbližších sousedů (KNN), Umělá neuronová síť (ANN), Rozhodovací strom (DT), Esemble learning, Meta-model, Argumenty, Matice záměn, Emotion recognition, Graphology, Depression, Anxiety, Stress, Handwriting analysis, Machine learning, Classification, Dataset, Feature, Preprocessing, Feature extraction, Feature selection, ANOVA, Normalization, Principal Component Analysis (PCA), Linear Discriminant Analysis (LDA), Random forest, Support Vector Machine (SVM), K-Nearest Neighbors algorithm (KNN), Artificial neural network (ANN), Decision tree (DT), Esemble learning, Meta-model, Arguments, Confusion matrix
Citation
CHUDÁREK, A. Analyzing a person’s handwriting for recognizing his/her emotional state [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2024.
Document type
Document version
Date of access to the full text
Language of document
en
Study field
Strojové učení
Comittee
prof. Dr. Ing. Jan Černocký (předseda)
doc. Ing. Lukáš Burget, Ph.D. (člen)
doc. Mgr. Lukáš Holík, Ph.D. (člen)
Ing. Michal Hradiš, Ph.D. (člen)
Ing. František Grézl, Ph.D. (člen)
prof. Ing. Lukáš Sekanina, Ph.D. (člen)
Date of acceptance
2024-06-18
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B.
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení