Zlepšování kvality videa pomocí neuronových sítí

Abstract

Cieľom tejto práce je vytvoriť novú metódu super rozlíšenia na zlepšenie kvality videa. Táto metóda je založená na myšlienke použitia deformovateľných konvolučných vrstiev a optického toku na zarovnanie príznakov z viacerých po sebe následujúcích snímkov videa. Táto metóda je následne použitá v neuronovej sieti založenej na U-Net architektúre na predikciu snímkov vo vysokom rozlíšení. Vyhodnotenie je prevedené na datasete obsahujúcom snímky z reálneho života a porovnané s inými metódami. Testované sú rôzne konfigurácie navrhnutej metódy a výsledky sú analyzované. Výsledky experimentov ukazujú sľubné výsledky, pričom model prekonáva bilineárnu interpoláciu a metódy založené na jednom snímku. Testované sú rôzne architektúry modulu zarovnávania príznakov spolu s celou architektúrou U-Net, pričom sa ukazuje, že použitie Vgg19 ako enkóderu dáva najlepšie výsledky.In this thesis, a new method for video super-resolution is proposed. The method is based on the idea of using deformable convolutional layers together with optical flow to align features from multiple sequential video frames. This novel module is then used in a U-Net-like deep neural network to predict high-resolution frames. The proposed method is evaluated on a dataset containing real-life scenes and compared to other methods. Multiple different configurations of the proposed method are tested and the results are analyzed. The results of the experiments show promising results, with the model outperforming bilinear interpolation, and single-frame methods. Multiple different architectures of the feature alignment module together with the rest of the U-Net architecture are tested, showing that using Vgg19 as the encoder of the U-Net gives the best results.