A Virtual Simulation-Pilot Agent for Training of Air Traffic Controllers

Simple item page
dc.contributor.authorZuluaga-Gomez, Juancs
dc.contributor.authorPrasad, Amruthacs
dc.contributor.authorNigmatulina, Iuliiacs
dc.contributor.authorMotlíček, Petrcs
dc.contributor.authorKleinert, Matthiascs
dc.coverage.issue5cs
dc.coverage.volume10cs
dc.date.issued2023-05-22cs
dc.description.abstractIn this paper we propose a novel virtual simulation-pilot engine for speeding up air traffic controller (ATCo) training by integrating different state-of-the-art artificial intelligence (AI)-based tools. The virtual simulation-pilot engine receives spoken communications from ATCo trainees, and it performs automatic speech recognition and understanding. Thus, it goes beyond only transcribing the communication and can also understand its meaning. The output is subsequently sent to a response generator system, which resembles the spoken read-back that pilots give to the ATCo trainees. The overall pipeline is composed of the following submodules: (i) an automatic speech recognition (ASR) system that transforms audio into a sequence of words; (ii) a high-level air traffic control (ATC)-related entity parser that understands the transcribed voice communication; and (iii) a text-to-speech submodule that generates a spoken utterance that resembles a pilot based on the situation of the dialogue. Our system employs state-of-the-art AI-based tools such as Wav2Vec 2.0, Conformer, BERT and Tacotron models. To the best of our knowledge, this is the first work fully based on open-source ATC resources and AI tools. In addition, we develop a robust and modular system with optional submodules that can enhance the system's performance by incorporating real-time surveillance data, metadata related to exercises (such as sectors or runways), or even a deliberate read-back error to train ATCo trainees to identify them. Our ASR system can reach as low as 5.5% and 15.9% absolute word error rates (WER) on high- and low-quality ATC audio. We also demonstrate that adding surveillance data into the ASR can yield a callsign detection accuracy of more than 96%.en
dc.description.abstractV tomto článku navrhujeme nový virtuální simulační pilotní nástroj pro urychlení výcviku řídících letového provozu (ATCo) integrací různých nejmodernějších nástrojů založených na umělé inteligenci (AI). Virtuální simulační pilotní zařízení přijímá mluvenou komunikaci od účastníků ATCo a provádí automatické rozpoznávání a porozumění řeči. Jde tedy nad rámec pouhého přepisu komunikace a dokáže pochopit i její význam. Výstup je následně odeslán do systému generátoru odezvy, který se podobá mluvenému zpětnému čtení, které piloti dávají účastníkům ATCo. Celkový kanál se skládá z následujících submodulů: (i) systém automatického rozpoznávání řeči (ASR), který převádí zvuk na sekvenci slov; ii) analyzátor entity související s řízením letového provozu na vysoké úrovni (ATC), který rozumí přepsané hlasové komunikaci; a (iii) submodul převodu textu na řeč, který generuje mluvený projev, který se podobá pilotní části na základě situace v dialogu. Náš systém využívá nejmodernější nástroje založené na umělé inteligenci, jako jsou modely Wav2Vec 2.0, Conformer, BERT a Tacotron. Podle našich nejlepších znalostí se jedná o první dílo plně založené na zdrojích ATC s otevřeným zdrojovým kódem a nástrojích AI. Kromě toho vyvíjíme robustní a modulární systém s volitelnými submoduly, které mohou zvýšit výkon systému začleněním sledovacích dat v reálném čase, metadat souvisejících s cvičeními (jako jsou sektory nebo dráhy) nebo dokonce záměrnou chybou zpětného čtení pro trénování ATCo. stážisty, aby je identifikovali. Náš systém ASR může dosáhnout až 5,5 % a 15,9 % absolutní slovní chybovosti (WER) na audiu ATC vysoké a nízké kvality. Ukazujeme také, že přidáním sledovacích dat do ASR lze dosáhnout přesnosti detekce volací značky více než 96 %.cs
dc.formattextcs
dc.format.extent1-25cs
dc.format.mimetypeapplication/pdfcs
dc.identifier.citationAerospace. 2023, vol. 10, issue 5, p. 1-25.en
dc.identifier.doi10.3390/aerospace10050490cs
dc.identifier.issn2226-4310cs
dc.identifier.orcid0000-0001-6467-1119cs
dc.identifier.other187716cs
dc.identifier.scopus57203111353cs
dc.identifier.urihttp://hdl.handle.net/11012/244949
dc.language.isoencs
dc.publisherMDPIcs
dc.relation.ispartofAerospacecs
dc.relation.urihttps://www.mdpi.com/2226-4310/10/5/490cs
dc.rightsCreative Commons Attribution 4.0 Internationalcs
dc.rights.accessopenAccesscs
dc.rights.sherpahttp://www.sherpa.ac.uk/romeo/issn/2226-4310/cs
dc.rights.urihttp://creativecommons.org/licenses/by/4.0/cs
dc.subjectair traffic controller trainingen
dc.subjectsimulation-pilot agenten
dc.subjectBERTen
dc.subjectautomatic speech recognition and understandingen
dc.subjectspeech synthesisen
dc.titleA Virtual Simulation-Pilot Agent for Training of Air Traffic Controllersen
dc.title.alternativeVirtuální agent simulující pilota pro výcvik řídících letového provozucs
dc.type.driverarticleen
dc.type.statusPeer-revieweden
dc.type.versionpublishedVersionen
sync.item.dbidVAV-187716en
sync.item.dbtypeVAVen
sync.item.insts2024.03.05 23:45:06en
sync.item.modts2024.03.05 23:12:49en
thesis.grantorVysoké učení technické v Brně. Fakulta informačních technologií. Ústav počítačové grafiky a multimédiícs
Files
Original bundle
Now showing 1 - 1 of 1
Thumbnail Image
Name:
aerospace1000490.pdf
Size:
1000.19 KB
Format:
Adobe Portable Document Format
Description:
file aerospace1000490.pdf
Download
Collections
Ústav počítačové grafiky a multimédií