Speech production under stress for machine learning: multimodal dataset of 79 cases and 8 signals
Loading...
Date
2024-11-12
Authors
Pešán, Jan
Juřík, Vojtěch
Růžičková, Alexandra
Svoboda, Vojtěch
Janoušek, Oto
Němcová, Andrea
Bojanovská, Hana
Aldabaghová, Jasmína
Kyslík, Filip
Vodičková, Kateřina
0000-0002-9655-1143Advisor
Referee
Mark
Journal Title
Journal ISSN
Volume Title
Publisher
Springer Nature
Altmetrics
Abstract
Early identification of cognitive or physical overload is critical in fields where human decision making matters when preventing threats to safety and property. Pilots, drivers, surgeons, and operators of nuclear plants are among those affected by this challenge, as acute stress can impair their cognition. In this context, the significance of paralinguistic automatic speech processing increases for early stress detection. The intensity, intonation, and cadence of an utterance are examples of paralinguistic traits that determine the meaning of a sentence and are often lost in the verbatim transcript. To address this issue, tools are being developed to recognize paralinguistic traits effectively. However, a data bottleneck still exists in the training of paralinguistic speech traits, and the lack of high-quality reference data for the training of artificial systems persists. Regarding this, we present an original empirical dataset collected using the BESST experimental protocol for capturing speech signals under induced stress. With this data, our aim is to promote the development of pre-emptive intervention systems based on stress estimation from speech.
Včasná identifikace kognitivního nebo fyzického přetížení je zásadní v oblastech, kde záleží na lidském rozhodování při předcházení ohrožení bezpečnosti a majetku. Piloti, řidiči, chirurgové a operátoři jaderných elektráren patří mezi ty, kteří jsou touto výzvou zasaženi, protože akutní stres může zhoršit jejich poznávání. V této souvislosti vzrůstá význam paralingvistického automatického zpracování řeči pro včasnou detekci stresu. Intenzita, intonace a kadence výpovědi jsou příklady paralingvistických rysů, které určují význam věty a často se ztrácejí v doslovném přepisu. K vyřešení tohoto problému se vyvíjejí nástroje, které umožňují efektivní rozpoznání paralingvistických rysů. Datové úzké hrdlo však stále existuje při trénování paralingvistických řečových znaků a přetrvává nedostatek kvalitních referenčních dat pro trénování umělých systémů. S ohledem na to uvádíme původní empirický soubor dat shromážděný pomocí experimentálního protokolu BESST pro zachycení řečových signálů při indukovaném stresu. S těmito údaji je naším cílem podporovat rozvoj systémů preemptivní intervence založených na odhadu stresu z řeči.
Včasná identifikace kognitivního nebo fyzického přetížení je zásadní v oblastech, kde záleží na lidském rozhodování při předcházení ohrožení bezpečnosti a majetku. Piloti, řidiči, chirurgové a operátoři jaderných elektráren patří mezi ty, kteří jsou touto výzvou zasaženi, protože akutní stres může zhoršit jejich poznávání. V této souvislosti vzrůstá význam paralingvistického automatického zpracování řeči pro včasnou detekci stresu. Intenzita, intonace a kadence výpovědi jsou příklady paralingvistických rysů, které určují význam věty a často se ztrácejí v doslovném přepisu. K vyřešení tohoto problému se vyvíjejí nástroje, které umožňují efektivní rozpoznání paralingvistických rysů. Datové úzké hrdlo však stále existuje při trénování paralingvistických řečových znaků a přetrvává nedostatek kvalitních referenčních dat pro trénování umělých systémů. S ohledem na to uvádíme původní empirický soubor dat shromážděný pomocí experimentálního protokolu BESST pro zachycení řečových signálů při indukovaném stresu. S těmito údaji je naším cílem podporovat rozvoj systémů preemptivní intervence založených na odhadu stresu z řeči.
Description
Keywords
Citation
Document type
Peer-reviewed
Document version
Published version
Date of access to the full text
Language of document
en
Study field
Comittee
Date of acceptance
Defence
Result of defence
Document licence
Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International
http://creativecommons.org/licenses/by-nc-nd/4.0/
http://creativecommons.org/licenses/by-nc-nd/4.0/