Restaurace poškozených audio signálů založená na optimalizaci s neuronovými sítěmi

Abstract

Tato práce se zabývá doplňováním souvislých chybějících úseků ve zvukových signálech. Dává přehled dosavadních řešení problematiky, přičemž se zaměřuje na přístupy využívající optimalizaci. V jejím rámci byla navržena a implementována metoda založená na principu consensus equilibrium dále označovaná jako metoda CE nebo pouze ekvilibrium, která kombinuje různé existující metody jako tzv. agenty s cílem nalézt společné kompromisní řešení, ke kterému všichni tito agenti směřují. Kvalita rekonstrukce metody CE byla porovnána s jejími jednotlivými komponentami, které se skládaly z metod využívajících spektrální řídkosti, autoregrese a hlubokého učení. Jednotlivé výstupy byly porovnány pomocí objektivních metrik a hodnocen byl i vliv parametrů ekvilibria na výslednou kvalitu rekonstrukce. V řadě případů metoda CE překonala své jednotlivé agenty a to především v momentech, kdy všichni dospěli k dobrému řešení. Pokud řešení některého z agentů nebylo kvalitní z hlediska objektivních metrik, dokázalo jej ekvilibrium potlačit pokud ostatní agenti byli sami schopni řešení nalézt. Pokud většina agentů nebyla schopná ke kvalitnímu řešení dospět, pak i metoda CE vygenerovala horší výsledek, který většinou překonal některý z jejích agentů.

This thesis deals with inpainting of continuous missing segments in audio signals. It gives an overview of previous solutions to the problem, focusing on approaches using optimization. It proposes and implements a method based on the consensus equilibrium principle, hereafter referred to as the CE method, which combines various existing methods as so-called agents in order to find a common compromise solution towards which all these agents work. The reconstruction quality of the CE method was compared with its individual components, which consisted of methods based on spectral sparsity, autoregression and deep learning. The individual outputs were compared using objective metrics, and the influence of the equilibrium parameters on the resulting reconstruction quality was assessed. In a many cases, the CE method outperformed its individual agents and especially in moments when all generated a good solution. If any agent's solution was not of good quality in terms of objective metrics, the equilibrium was able to overcome it as long as the other agents were able to find a solution themselves. If most of the agents were unable to come to a good solution, then also the CE method generated a worse result, which was usually outperformed by one of its agents.