Synchronizace symbolického zápisu s hudebními interpretacemi
| but.committee | doc. Ing. Kamil Říha, Ph.D. (předseda) Doc.Ing.MgA. Ondřej Urban, Ph.D. (místopředseda) Ing. Petr Honzík, Ph.D. (člen) Ing.MgA. Edgar Mojdl, Ph.D. (člen) Ing. Matěj Ištvánek, Ph.D. (člen) | cs |
| but.defence | Student prezentoval výsledky své práce a komise byla seznámena s posudky. Student obhájil diplomovou práci a odpověděl na otázky členů komise a oponenta. Jakým způsobem byste realizoval rozšíření datasetu o „ground truth“ synchronizované MIDI verze nahrávek? Student dostatečně vysvětlil otázku. | cs |
| but.jazyk | čeština (Czech) | |
| but.program | Audio inženýrství | cs |
| but.result | práce byla úspěšně obhájena | cs |
| dc.contributor.advisor | Ištvánek, Matěj | cs |
| dc.contributor.author | Němec, Petr | cs |
| dc.contributor.referee | Miklánek, Štěpán | cs |
| dc.date.accessioned | 2025-06-13T03:59:29Z | |
| dc.date.available | 2025-06-13T03:59:29Z | |
| dc.date.created | 2025 | cs |
| dc.description.abstract | Tato diplomová práce se zabývá vývojem a vyhodnocením synchronizačního procesu, který nepracuje v reálném čase. Proces je určen pro synchronizaci symbolického hudebního zápisu (ve formátu MIDI) s odpovídajícími zvukovými nahrávkami. Cílem je propojit dvě odlišné reprezentace hudby pomocí optimální cesty borcení, která popisuje výrazové odchylky v interpretaci. Základ synchronizačního procesu tvoří algoritmus dynamického borcení časové osy (anglicky Dynamic Time Warping), který vyhledává cestu borcení mezi chroma příznaky extrahovanými ze zvukového signálu a symbolického zápisu. Pro výpočet těchto příznaků byly využity dvě metody spektrální analýzy – Krátkodobá Fourierova Transformace (STFT) a Konstantní-Q Transforamce (CQT) s ručně vyladěným poměrem rozlišení časové a frekvenční osy pro nejlepší, nebo univerzální, výsledky. Byla vytvořena modulární implementace v jazyce Python umožňující převod dat, zarovnání, sonifikaci a vizuální porovnání výsledků. Pro účely testování a ladění algoritmu byl navržen a vytvořen vlastní dataset s různorodým hudebním materiálem, zahrnujícím různé textury, míru expresivity a nástrojové obsazení. Dataset obsahuje i záměrně nesprávně zarovnané interpretace, které slouží k testování odolnosti navržených metod. Kvalita zarovnání byla hodnocena pomocí metrik založených na detekci úderů, které umožňují porovnat syntetizovaný MIDI výstup s originální nahrávkou bez nutnosti ruční anotace referenčního zarovnání. Mezi použité metriky patří DTW divergence, střední absolutní chyba, korelace a chyba v poloze vrcholů úderů. Výsledky ukazují, že CQT je ve většině hudebních kontextů přesnější než STFT, zejména u harmonicky bohatších skladeb, zatímco STFT poskytuje konkurenceschopné výsledky u perkusivních a transietních signálů. Výstupem práce je nejen funkční synchronizační rámec, ale také nová metodika poloautomatického hodnocení kvality zarovnání, která může být dále využita v oblasti synchronizace hudby a hudební analýzy. | cs |
| dc.description.abstract | This thesis presents the development and evaluation of an offline synchronization pipeline for aligning symbolic musical notation (in MIDI format) with corresponding audio recordings. The goal is to bridge these two distinct representations of musical data by computing an optimal temporal alignment that accounts for expressive variations in performance. The synchronization process is based on the Dynamic Time Warping (DTW) algorithm, which computes a warping path between chroma features extracted from both the audio signal and the symbolic score. Two spectral analysis methods—Short-Time Fourier Transform (STFT) and Constant-Q Transform (CQT), were employed to extract chroma representations with handoptimized time–frequency trade-offs for best or most robust performace. A modular Python implementation was developed, allowing for conversion, alignment, sonification, and visual comparison of results. To evaluate the effectiveness of the synchronization pipeline, a custom dataset was created, featuring various levels of texture, expressivity, and instrumentation. Both correct and intentionally misaligned audio interpretations were included to test the robustness of the proposed methods. The alignment quality was assessed using a combination of novelty-based evaluation metrics, including DTW divergence, mean absolute error, cross-correlation, and peak alignment error—computed without the need for manually annotated ground truth. Results show that CQT-based features generally outperform STFT in harmonically rich contexts, while STFT remains competitive in transient-heavy passages. This work contributes a reproducible framework for symbolic–audio alignment and a novel semi-automatic evaluation methodology that can support further research in music synchronization and analysis. | en |
| dc.description.mark | A | cs |
| dc.identifier.citation | NĚMEC, P. Synchronizace symbolického zápisu s hudebními interpretacemi [online]. Brno: Vysoké učení technické v Brně. Fakulta elektrotechniky a komunikačních technologií. 2025. | cs |
| dc.identifier.other | 167434 | cs |
| dc.identifier.uri | https://hdl.handle.net/11012/252320 | |
| dc.language.iso | cs | cs |
| dc.publisher | Vysoké učení technické v Brně. Fakulta elektrotechniky a komunikačních technologií | cs |
| dc.rights | Standardní licenční smlouva - přístup k plnému textu bez omezení | cs |
| dc.subject | synchronizace notového zápisu se zvukem | cs |
| dc.subject | DTW | cs |
| dc.subject | optimální cesta borcení časové osy | cs |
| dc.subject | chroma příznaky | cs |
| dc.subject | spektrální novost | cs |
| dc.subject | STFT | cs |
| dc.subject | CQT | cs |
| dc.subject | MIDI | cs |
| dc.subject | symbolická hudební data | cs |
| dc.subject | získávání informací z hudby | cs |
| dc.subject | zpracování zvukových signálů | cs |
| dc.subject | score-to-audio synchronization | en |
| dc.subject | Dynamic Time Warping (DTW) | en |
| dc.subject | optimal warping path | en |
| dc.subject | chroma features | en |
| dc.subject | Short-Time Fourier Transform (STFT) | en |
| dc.subject | Constant-Q Transform (CQT) | en |
| dc.subject | symbolic music representation | en |
| dc.subject | Music Information Retrieval (MIR) | en |
| dc.subject | audio signal processing | en |
| dc.title | Synchronizace symbolického zápisu s hudebními interpretacemi | cs |
| dc.title.alternative | Synchronization of symbolic notation with musical interpretations | en |
| dc.type | Text | cs |
| dc.type.driver | masterThesis | en |
| dc.type.evskp | diplomová práce | cs |
| dcterms.dateAccepted | 2025-06-12 | cs |
| dcterms.modified | 2025-06-12-15:46:34 | cs |
| eprints.affiliatedInstitution.faculty | Fakulta elektrotechniky a komunikačních technologií | cs |
| sync.item.dbid | 167434 | en |
| sync.item.dbtype | ZP | en |
| sync.item.insts | 2025.06.13 05:59:29 | en |
| sync.item.modts | 2025.06.13 05:33:51 | en |
| thesis.discipline | Zvuková produkce a nahrávání | cs |
| thesis.grantor | Vysoké učení technické v Brně. Fakulta elektrotechniky a komunikačních technologií. Ústav telekomunikací | cs |
| thesis.level | Inženýrský | cs |
| thesis.name | Ing. | cs |