Simulace pohybujícího se řečníka/řečníků v místnosti s ozvěnou

Abstract

Cieľom tejto práce je priblížiť proces simulovania akustiky miestnosti s ozvenou a dynamickými zmenami pozícií rečníka s použítím knižnice Pyroomacoustics. Súčasťou práce je získavanie vlastných dát v malej miestnosti (3,45 × 3,91 × 2,62 m), v ktorej sme manipulovali mierou ozveny odoberaním predmetov. Na účely automatického rozpoznávania reči boli vytvorené dva datasety. V prvom z nich bol pridaný dynamický pohyb bez ozveny (maximálna absorbcia stien), druhý obsahuje dynamický pohyb s pridanou ozvenou. Práca sa ďalej zaoberá adaptáciou modelu Whisper od spoločnosti OpenAI na vytvorených datasetoch. Adaptáciou modelu Whisper Medium na vytvorenej dátovej sade s ozvenou sa znížila hodnota WER o 4,89 % na evaluačných dátach.

This thesis aims to approach the process of simulating the acoustics of a room with reverberation and dynamic changes in speaker position using the Pyroomacoustics library. This work also involved acquiring our own data in a small room (3.45 × 3.91 × 2.62 m) where the reverberation was adjusted by removing objects. Two datasets were created for automatic speech recognition purposes. The first includes only movement without reverberation (maximal wall absorption), and the second dataset includes movement with added reverberation. The thesis further covers the adaptation of the automatic speech recognition model Whisper by OpenAI on the generated datasets. By fine-tuning the Whisper Medium model on a reverberation dataset, we decreased WER by 4.89 % on evaluation data.