Detektor tempa hudebních nahrávek na bázi neuronové sítě

Diplomová práce se zabývá systémy k detekci tempa a dob v hudebních nahrávkách, jejichž funkčnost je založena na neuronových sítích. Je zde popsána struktura těchto systémů a způsob zpracování signálu v jejich jednotlivých blocích. Pozornost je potom věnována především rekurentním a temporálním konvolučním sítím, které ze své podstaty detekci tempa a dob dokáží efektivně řešit. Vybrané metody, architektury sítí a jejich modifikace jsou pak implementovány v rámci uceleného detekčního systému, který je dále testován a vyhodnocen procesem křížové validace na žánrově rozmanitém datasetu. Z výsledků vyplývá, že systém s vlastní architekturou temporální konvoluční sítě dosahuje srovnatelných výsledků se zahraničními publikacemi – v rámci datasetu SMC se například projevil jako nejúspěšnější, naopak v případě jiných se nacházel mírně pod přesností state-of-the-art systémů, přičemž navržená síť si i přes zvýšenou vnitřní komplexnost zachovává nízkou výpočetní náročnost.
This Master’s thesis deals with beat tracking systems, whose functionality is based on neural networks. It describes the structure of these systems and how the signal is processed in their individual blocks. Emphasis is then placed on recurrent and temporal convolutional networks, which by they nature can effectively detect tempo and beats in audio recordings. The selected methods, network architectures and their modifications are then implemented within a comprehensive detection system, which is further tested and evaluated through a cross-validation process on a genre-diverse data-set. The results show that the system, with proposed temporal convolutional network architecture, produces comparable results with foreign publications. For example, within the SMC dataset, it proved to be the most successful, on the contrary, in the case of other datasets it was slightly below the accuracy of state-of-the-art systems. In addition,the proposed network retains low computational complexity despite increased number of internal parameters.

Keywords

Detekce tempa a dob, konvoluční neuronové sítě, mel spektrogram, neuronové sítě, prav-děpodobnostní model, rekurentní neuronové sítě, strojové učení, temporální konvolučníneuronové sítě, Beat tracking, convolutional neural networks, machine learning, mel spectrogram, neuralnetworks, probabilistic model, recurrent neural networks, temporal convolutional neuralnetworks

Citation

SUCHÁNEK, T. Detektor tempa hudebních nahrávek na bázi neuronové sítě [online]. Brno: Vysoké učení technické v Brně. Fakulta elektrotechniky a komunikačních technologií. 2021.

Language of document

cs

Study field

Zvuková produkce a nahrávání

Comittee

doc. Ing. Kamil Říha, Ph.D. (předseda) doc. Ing. MgA. Mgr. Dan Dlouhý, Ph.D. (místopředseda) MgA. et Mgr. Ondřej Jirásek, Ph.D. (člen) Ing. Petr Honzík, Ph.D. (člen) doc. Ing. Petr Sysel, Ph.D. (člen) Mgr. Tomáš Staudek, Ph.D. (člen)

Date of acceptance

2021-06-10

Defence

Student prezentoval výsledky své práce a komise byla seznámena s posudky. Otázky oponenta: Proč jste právě pro hodnocení detekčních systémů zvolil metody recall, precision, F-score, CML a AML? V kmitočtové oblasti je v diplomové práci používán mel-spektrogram, který je jednou z metod, jak zařadit vlastnosti lidského slyšení do analýzy signálu. Při zpracování řeči další alternativou je například použití percepční lineární predikce. Proč byl pro analýzu hudebního signálu zvolen právě mel-spektrogram a ne jiné zobrazení v kmitočtové oblasti? Jaký je rozdíl mezi významem pojmu bias, který je použit v oblasti neuronových sítí a například v teorii pravděpodobnosti? Student obhájil diplomovou práci a odpověděl na otázky členů komise a oponenta.

Result of defence

práce byla úspěšně obhájena

Document licence

Standardní licenční smlouva - přístup k plnému textu bez omezení