Automatický přepis řeči letecké komunikace do textu

Abstract

Táto práca sa zaoberá automatickým prepisom reči v leteckej komunikácii. Teoretická časť práce opisuje základy umelých neurónových sietí, architektúru Transformer a princípy automatického rozpoznávania reči. Ďalej sa venuje technológii text-to-speech a špecifikám leteckej hlasovej komunikácie. V praktickej časti bol fine-tunovaný model Parakeet-TDT- 0.6b-v3 od spoločnosti NVIDIA na troch rôznych datasetoch. Tie sú rozdelené na reálne nahrávky leteckej komunikácie, synteticky generované nahrávky v jedenástich prízvukových variantoch a ich kombinácii. Syntetické dáta boli vytvorené pomocou TTS nástrojov a všetky nahrávky mali simulované akustické prostredie VHF leteckého rádia. Výsledky ukazujú, že doménový fine-tuning je nevyhnutný. Predtrénovaný model bez adaptácie dosahuje WER 61,70 %, zatiaľ čo fine-tuning na reálnych dátach ho znižuje na 23,20 %. Syntetické dáta samostatne nedokážu nahradiť reálne nahrávky, avšak ich kombinácia s reálnymi dátami prináša mierne zlepšenie výkonu modelu.This thesis deals with automatic speech recognition in air traffic control communication. The theoretical part describes the fundamentals of artificial neural networks, the Transformer architecture and the principles of automatic speech recognition. It further covers text-tospeech technology and the specifics of aviation voice communication. In the practical part, the Parakeet-TDT-0.6b-v3 model by NVIDIA was fine-tuned on three different datasets: real air traffic control recordings, synthetically generated recordings in eleven accent variants, and their combination. Synthetic data were created using TTS tools and all recordings were processed with a custom VHF radio environment simulation. The results show that domain specific fine-tuning is essential. The pre-trained model without adaptation achieves a WER of 61.70 %, while fine-tuning on real data reduces it to 23.20 %. Synthetic data alone cannot replace real recordings, however their combination with real data provides a moderate improvement in model performance.