Deep learning-based assessment model for Real-time identification of visual learners using Raw EEG
Loading...
Date
2024-01-02
ORCID
Advisor
Referee
Mark
Journal Title
Journal ISSN
Volume Title
Publisher
Altmetrics
Abstract
Automatic identification of visual learning style in real time using raw electroencephalogram (EEG) is challenging. In this work, inspired by the powerful abilities of deep learning techniques, deep learning-based models are proposed to learn high-level feature representation for EEG visual learning identification. Existing computer-aided systems that use electroencephalograms and machine learning can reasonably assess learning styles. Despite their potential, offline processing is often necessary to eliminate artifacts and extract features, making these methods unsuitable for real-time applications. The dataset was chosen with 34 healthy subjects to measure their EEG signals during resting states (eyes open and eyes closed) and while performing learning tasks. The subjects displayed no prior knowledge of the animated educational content presented in video format. The paper presents an analysis of EEG signals measured during a resting state with closed eyes using three deep learning techniques: Long-term, short-term memory (LSTM), Long-term, short-term memory-convolutional neural network (LSTM-CNN), and Long-term, short-term memory - Fully convolutional neural network (LSTM-FCNN). The chosen techniques were based on their suitability for real-time applications with varying data lengths and the need for less computational time. The optimization of hypertuning parameters has enabled the identification of visual learners through the implementation of three techniques. LSTM- CNN technique has the highest average accuracy of 94%, a sensitivity of 80%, a specificity of 92%, and an F1 score of 94% when identifying the visual learning style of the student out of all three techniques. This research has shown that the most effective method is the deep learning-based LSTM-CNN technique, which accurately identifies a student's visual learning style.
Automatická identifikace vizuálního učebního stylu v reálném čase pomocí hrubého elektroencefalogramu (EEG) je náročná. V této práci, inspirované schopnostmi technik hlubokého učení, jsou navrženy modely založené na hlubokém učení, které se učí reprezentaci funkcí na vysoké úrovni pro identifikaci vizuálního učení EEG. Stávající počítačem podporované systémy, které používají elektroencefalogramy a strojové učení, mohou rozumně posoudit styly učení. Navzdory jejich potenciálu je offline zpracování často nezbytné k odstranění artefaktů a extrahování funkcí, což činí tyto metody nevhodnými pro aplikace v reálném čase. Soubor dat byl vybrán mezi 34 zdravými subjekty při měření jejich EEG signálů během klidových stavů (otevřené oči a zavřené oči) a při plnění učebních úkolů. Subjekty nevykazovaly žádné předchozí znalosti v oblasti animovaného vzdělávacího obsahu prezentovaného ve video formátu. Článek představuje analýzu EEG signálů měřených během klidového stavu se zavřenýma očima pomocí tří technik hlubokého učení: LSTM, LSTM-CNN a LSTM-FCNN. Tyto techniky byly zvoleny dle jejich vhodnosti pro aplikace v reálném čase s různou délkou dat a potřebě kratšího výpočetního času. Optimalizace parametrů pomocí hypertuningu umožnila identifikaci vizuálního stylu učení studenta prostřednictvím implementace tří technik. Technika LSTM-CNN má nejvyšší průměrnou přesnost ze všech tří technik - 94 %, senzitivitu 80 %, specificitu 92 % a skóre F1 94 % při identifikaci vizuálního stylu učení studenta. Tento výzkum ukázal, že nejúčinnější metodou je technika LSTM-CNN založená na hlubokém učení, která přesně identifikuje vizuální styl učení studenta.
Automatická identifikace vizuálního učebního stylu v reálném čase pomocí hrubého elektroencefalogramu (EEG) je náročná. V této práci, inspirované schopnostmi technik hlubokého učení, jsou navrženy modely založené na hlubokém učení, které se učí reprezentaci funkcí na vysoké úrovni pro identifikaci vizuálního učení EEG. Stávající počítačem podporované systémy, které používají elektroencefalogramy a strojové učení, mohou rozumně posoudit styly učení. Navzdory jejich potenciálu je offline zpracování často nezbytné k odstranění artefaktů a extrahování funkcí, což činí tyto metody nevhodnými pro aplikace v reálném čase. Soubor dat byl vybrán mezi 34 zdravými subjekty při měření jejich EEG signálů během klidových stavů (otevřené oči a zavřené oči) a při plnění učebních úkolů. Subjekty nevykazovaly žádné předchozí znalosti v oblasti animovaného vzdělávacího obsahu prezentovaného ve video formátu. Článek představuje analýzu EEG signálů měřených během klidového stavu se zavřenýma očima pomocí tří technik hlubokého učení: LSTM, LSTM-CNN a LSTM-FCNN. Tyto techniky byly zvoleny dle jejich vhodnosti pro aplikace v reálném čase s různou délkou dat a potřebě kratšího výpočetního času. Optimalizace parametrů pomocí hypertuningu umožnila identifikaci vizuálního stylu učení studenta prostřednictvím implementace tří technik. Technika LSTM-CNN má nejvyšší průměrnou přesnost ze všech tří technik - 94 %, senzitivitu 80 %, specificitu 92 % a skóre F1 94 % při identifikaci vizuálního stylu učení studenta. Tento výzkum ukázal, že nejúčinnější metodou je technika LSTM-CNN založená na hlubokém učení, která přesně identifikuje vizuální styl učení studenta.
Description
Citation
IEEE TRANSACTIONS ON NEURAL SYSTEMS AND REHABILITATION ENGINEERING. 2024, vol. 32, issue 1, p. 378-390.
https://ieeexplore.ieee.org/document/10387266?source=authoralert
https://ieeexplore.ieee.org/document/10387266?source=authoralert
Document type
Peer-reviewed
Document version
Published version
Date of access to the full text
Language of document
en