Modelování hudby na úrovni signálu pomocí WaveNetu

Abstract

Práca sa zaoberá skúmaním možnosti modelovania hudby a reči pomocou WaveNetu, hlbokou neurónovou sieťou pre generovanie zvuku na úrovni signálu. Za pomoci existujúcich implementácií bol WaveNet netrénovaný na rôznych datasetoch a vyprodukoval mnohé zvukové súbory. Bolo vykonaných niekoľko experimentov s rôznym nastavením hyperparametrov WaveNetu. Taktiež bolo použitých niekoľko schém generovania, každá s rôznym vplyvom na generovaný výsledok. Kvalita výstupných zvukových súborov bola ohodnotená na základe dotazníku. Hudobné zvukové stopy dosiahli skóre 2-3.1818 na 5-bodovej škále, čo je porovnateľné s hudobnými nahrávkami originálneho výskumného tímu (3.1818).This thesis focuses on exploring the possibilities of modelling music and speech with WaveNet, a deep neural network for generating raw audio waveforms. Using existing implementations, WaveNet was trained on multiple datasets and produced several audio files. Multiple experiments were carried out with various hyperparameter setups of WaveNet to find the optimal settings for the best results. Furthermore, multiple generation schemes were used, each having varying impact on the quality of generated audio. This quality was evaluated using human assessment via a questionnaire, where the musical samples were rated with a score 2-3.1818 on a 5 point scale, which is comparable to the rating of referential audio from the original WaveNet paper (3.1818).