HOLKOVÁ, N. Aplikace pro separaci kytarového zvuku z hudební nahrávky [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2023.
V rámci řešení byly tři stěžejní úlohy (sběr dat, natrénování modelu, vytvoření aplikace) diplomové práce splněny. Výsledkem je použitelná aplikace, kterou lze dále rozvíjet. V rámci řešení proběhlo i několik experimentů s neuronovými sítěmi pro separaci hudebních zdrojů a jejich objektivní vyhodnocení. Současně se studentce podařilo najít několik respondentů jednak testujících aplikaci, ale také kvalitu výstupů sítě (což je krok přesahující požadavky zadání).
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Informace k zadání | Zadání je spíše obtížnější, jelikož je na pomezí různých oblastí – strojového učení, kolekce dat, tvorby aplikací a uživatelských rozhraní. Bylo vytvořeno na základě původní myšlenky separace zdrojů hudby a následného přizpůsobení. Idea aplikace usnadňující učení hry na kytaru je totiž z autorského pera studentky. Jedná se tak o samostatné personalizované zadání. K úspěšnému splnění zadání bylo nutné se vypořádat se třemi základními problémy: 1) kolekcí dat, jelikož volné datové sady pro danou specifickou úlohu neexistují, 2) porozuměním strojového učení potřebného k natrénování modelů pro separaci, 3) tvorbou aplikace integrující natrénované modely a poskytující grafické uživatelské rozhraní. Celkově jsem s prací spokojen a domnívám se, že výsledná aplikace je použitelná. | ||
| Práce s literaturou | Studentka aktivně dohledávala zdroje týkající se doporučeného modelu. Díky porozumění konkrétní neuronové síti pak byla schopna úprav výchozích skriptů s otevřeným kódem vydaných společně s modelem. Brzy po vydání nalezla novou vylepšenou iteraci daného modelu (založenou na „transformer encoder” vrstvách), která nakonec nebyla využita kvůli výpočetní náročnosti. Studentka současně prováděla rešerši datových sad (a přidružených článků). Samostatně pak dohledávala zdroje pro kompilaci vlastních dat, které jsou použité při trénování a vyhodnocování. | ||
| Aktivita během řešení, konzultace, komunikace | Studentka byla aktivní po celou dobu řešení. Konzultace v zimním semestru probíhaly jednou za dva týdny. V druhé polovině řešení se frekvence zvýšila na konzultaci za týden. Před každou konzultací studentka do sdíleného dokumentu v bodech popisovala činnosti, kterými se zabývala. Vždy byl představen menší či větší pokrok v řešení. | ||
| Aktivita při dokončování | Práce na experimentech a samotné aplikaci byla dokončena s dostatečným předstihem před termínem odevzdání. Technická zpráva byla dokončena tak, že jsem ji mohl celou bez problému přečíst a předat zpětnou vazbu k obsahu a formálním náležitostem. Nebyl jsem už však obeznámen o zapracování připomínek. | ||
| Publikační činnost, ocenění | Zdrojový kód pro trénování neuronových sítí pro separaci hudby vychází z „open source“ implementace autorů z Meta AI. Verze upravená za účelem separace kytarového zvuku (a dalších nástrojů) se nachází na GitHubu (prozatím ne veřejně). Uvedený repositář obsahuje i autorské zdrojové kódy aplikace. Původní plán zveřejnit datovou sadu se neuskutečnil kvůli licenčním nejasnostem. Kdyby se ukázalo, že licence nebrání ve zveřejnění, byla by datová sada jistě přínosem pro komunitu. |
The student developed a software for separating guitar from a mix of other instruments and song. All aspects of product development were considered, including data collection, model selection, model training, model evaluation, software development and interface evaluation. All of the tasks were completed. The student seems to have been dedicated to solve the project in a good way and to develop a useful software. For example, when the initial approach for data collection did not turn out well (after some significant amount of hard work had already been spent on it), it was abandoned and a new approach was attempted.
| Kritérium | Známka | Body | Slovní hodnocení |
|---|---|---|---|
| Náročnost zadání | This project is challenging because it includes all steps of building a machine learning based signal processing application, i.e., background study, data collection, model training, application design, application development, evaluation (subjective and objective) of the developed models and subjective evaluation of the user interface. The student therefore had to learn many things of very different nature as well as carefully plan how to distribute the available time between all the tasks. | ||
| Rozsah splnění požadavků zadání | The student fulfilled all tasks. Subjective evaluation of the developed models was done even though it was not required. (Subjective evaluation of the user interface was required.) | ||
| Rozsah technické zprávy | The thesis meets the requirements. It is in the shorter range. However, it should be taken into account that software development constitutes an extensive part of the work which means that a much larger amount of coding is needed compared to a pure experimental work. | ||
| Prezentační úroveň technické zprávy | 90 | The thesis is well organized and easy to read. A good point is that whenever concepts that are to be exlained later are mentioned, this is clearly pointined out. The overall flow withing and between chapters is good. | |
| Formální úprava technické zprávy | 95 | The thesis is excellent in typographical and linguistic aspects. Figures are clear, captions, footnotes and references are formatted consistently. | |
| Práce s literaturou | 85 | The thesis contains a large set of references about neural network architectures for source separation and related problems. These references are described consicely and accurately in the thesis. There are fewer but still sufficient number of references for algorithm evaluation as well as software development. For user experience evaluation I did not see any reference. Overall the usage of references is good. | |
| Realizační výstup | 90 | The software has a clean interface. The student has made several efforts to make the software pleasent to use, for example by making sure that the user can continue to listen to a song while the source separation network is processing it. Further, feedback from the subjective user interface evaluation has been taken into acount in the final version of the software. Documentation is sufficient. In my understanding, external libraries have been used in accordance with their license. Regarding the training data, its license is not clear to me so I think this should be double checked before putting the project online if the student has this intention. The same is the case for the provided example data. | |
| Využitelnost výsledků | The project utilizes existing method and software. A state-of-the art model is extended to cover additional instruments. A new database is collected which could be useful for the reserach community. The software solution as well as models are good enough to be useful to people practising guitar. |
eVSKP id 148426