Sentiments analysis of fMRI using automatically generated stimuli labels under naturalistic paradigm
Loading...
Date
2023-05-04
Authors
Mahrukh, Rimsha
Shakil, Sadia
Malik, Aamir Saeed
ORCID
0000-0003-1085-3157Advisor
Referee
Mark
Journal Title
Journal ISSN
Volume Title
Publisher
Springer Nature
Altmetrics
Abstract
Our emotions and sentiments are influenced by naturalistic stimuli such as the movies we watch and the songs we listen to, accompanied by changes in our brain activation. Comprehension of these brain-activation dynamics can assist in identification of any associated neurological condition such as stress and depression, leading towards making informed decision about suitable stimuli. A large number of open-access functional magnetic resonance imaging (fMRI) datasets collected under natzuralistic conditions can be used for classification/prediction studies. However, these datasets do not provide emotion/sentiment labels, which limits their use in supervised learning studies. Manual labeling by subjects can generate these labels, however, this method is subjective and biased. In this study, we are proposing another approach of generating automatic labels from the naturalistic stimulus itself. We are using sentiment analyzers (VADER, TextBlob, and Flair) from natural language processing to generate labels using movie subtitles. Subtitles generated labels are used as the class labels for positive, negative, and neutral sentiments for classification of brain fMRI images. Support vector machine, random forest, decision tree, and deep neural network classifiers are used. We are getting reasonably good classification accuracy (42-84%) for imbalanced data, which is increased (55-99%) for balanced data.
Naše emoce a pocity jsou ovlivňovány přirozenými podněty, jako jsou filmy, které sledujeme, a písně, které posloucháme, což je doprovázeno změnami v aktivaci našeho mozku. Pochopení dynamiky této mozkové aktivace může pomoci při identifikaci jakéhokoli souvisejícího neurologického stavu, jako je stres a deprese, což vede k informovanému rozhodování o vhodných podnětech. Pro klasifikační/predikční studie lze využít velké množství volně přístupných souborů dat ze zobrazování funkční magnetickou rezonancí (fMRI) shromážděných za naturalistických podmínek. Tyto datové soubory však neposkytují označení emocí/sentimentů, což omezuje jejich použití ve studiích učení pod dohledem. Ruční označování subjekty může tyto štítky generovat, nicméně tato metoda je subjektivní a zkreslená. V této studii navrhujeme jiný přístup generování automatických štítků ze samotných naturalistických podnětů. Ke generování štítků pomocí filmových titulků používáme analyzátory sentimentu (VADER, TextBlob a Flair) ze zpracování přirozeného jazyka. Štítky vygenerované z titulků se používají jako štítky tříd pro pozitivní, negativní a neutrální sentimenty pro klasifikaci snímků fMRI mozku. Použity jsou klasifikátory typu podpůrný vektor, náhodný les, rozhodovací strom a hluboká neuronová síť. Pro nevyvážená data dosahujeme poměrně dobré klasifikační přesnosti (42-84 %), která se pro vyvážená data zvyšuje (55-99 %).
Naše emoce a pocity jsou ovlivňovány přirozenými podněty, jako jsou filmy, které sledujeme, a písně, které posloucháme, což je doprovázeno změnami v aktivaci našeho mozku. Pochopení dynamiky této mozkové aktivace může pomoci při identifikaci jakéhokoli souvisejícího neurologického stavu, jako je stres a deprese, což vede k informovanému rozhodování o vhodných podnětech. Pro klasifikační/predikční studie lze využít velké množství volně přístupných souborů dat ze zobrazování funkční magnetickou rezonancí (fMRI) shromážděných za naturalistických podmínek. Tyto datové soubory však neposkytují označení emocí/sentimentů, což omezuje jejich použití ve studiích učení pod dohledem. Ruční označování subjekty může tyto štítky generovat, nicméně tato metoda je subjektivní a zkreslená. V této studii navrhujeme jiný přístup generování automatických štítků ze samotných naturalistických podnětů. Ke generování štítků pomocí filmových titulků používáme analyzátory sentimentu (VADER, TextBlob a Flair) ze zpracování přirozeného jazyka. Štítky vygenerované z titulků se používají jako štítky tříd pro pozitivní, negativní a neutrální sentimenty pro klasifikaci snímků fMRI mozku. Použity jsou klasifikátory typu podpůrný vektor, náhodný les, rozhodovací strom a hluboká neuronová síť. Pro nevyvážená data dosahujeme poměrně dobré klasifikační přesnosti (42-84 %), která se pro vyvážená data zvyšuje (55-99 %).
Description
Citation
Scientific Reports. 2023, vol. 13, issue 1, p. 1-15.
https://www.nature.com/articles/s41598-023-33734-7
https://www.nature.com/articles/s41598-023-33734-7
Document type
Peer-reviewed
Document version
Published version
Date of access to the full text
Language of document
en