Audio inpainting v časově-frekvenční oblasti s využitím okamžité frekvence

Abstract

Diplomová práca sa zameriava na úlohu audio inpaintingu v časovo-frekvenčnej oblasti. Hlavným cieľom práce bolo navrhnúť metódu, ktorá rieši túto úlohu pomocou optimalizačného algoritmu využívajúceho fázu a okamžitú frekvenciu. Boli navrhnuté dve metódy na riešenie tejto úlohy. Jedna metóda ju rieši pomocou Chambolle–Pockovho algoritmu. Táto metóda pracuje výlučne v časovo-frekvenčnej oblasti. Druhá metóda rieši úlohu pomocou zovšeobecneného Chambolle–Pockovho algoritmu. Namiesto pracovania iba v časovo-frekvenčnej oblasti využíva krátkodobú Fourierovu transformáciu na striedavý prechod medzi časovou a časovo-frekvenčnou doménou, čím sa zlepšuje celková kvalita rekonštrukcie. Navrhnuté metódy boli objektívne a subjektívne porovnané s inými, už zavedenými metódami inpaintingu v časovo-frekvenčnej oblasti. Navrhnutá metóda využívajúca zovšeobecnený Chambolle–Pockov algoritmus prekonala všetky ostatné metódy v objektívnom hodnotení, aj v posluchovom teste. Druhá metóda dosiahla podobné výsledky ako jedna z už zavedených metód, a to ako z hľadiska objektívnych metrík, tak aj subjektívne. Okrem toho boli obe navrhnuté metódy menej výpočtovo náročné ako už zavedené metódy.

The master's thesis focuses on the problem of audio inpainting in the time-frequency domain. The main goal of this thesis was to propose a method that solves this problem using a phase-aware optimization algorithm that exploits the instantaneous frequency. Two methods of solving this problem were proposed. One method solves it using the Chambolle–Pock algorithm. It acts solely in the time-frequency domain. The other method solves the problem using the generalized Chambolle–Pock algorithm. Instead of working only in the time-frequency domain, it utilizes the short-time Fourier transform to alternate between the time domain and the time-frequency domain, improving the overall quality of the reconstruction. The proposed methods were objectively and subjectively compared with other established inpainting methods in the time-frequency domain. The proposed method utilizing the generalized Chambolle–Pock algorithm outperformed all other methods in the objective evaluation and in the conducted listening test. The other proposed method performed similarly to one of the already established methods, both by objective metrics and subjectively. In addition, the proposed methods were less computationally demanding than the established methods.