Rekonstrukce nekvalitních snímků obličejů

Abstract

V tejto diplomovej práci sa venujem superrezolúcii obrázkov tvárí pomocou konvolučných neurónových sietí so zameraním na zachovanie identity. Ako riešenie problému navrhujem metódu pozostávajúcu z architektúry DPNet a spôsobu trénovania, ktorá vychádza z moderných metód superrezolúcie pomocou neurónových sietí. Model architektúry DPNet je trénovaný na dátovej sade Flickr-Faces-HQ, kde pri štvornásobnom zväčšení dosahuje hodnotu SSIM 0.856, pričom najlepšia z vybraných moderných architektúr, nazývaná Residual channel attention network, dosahuje po natrénovaní hodnotu 0.858. Pri trénovaní modelov pomocou adversariálnej chyby sa v obrázkoch objavovali rôzne artefakty, pričom som experimentoval s viacerými metódami pre ich odstránenie, čo zatiaľ neviedlo k zlepšeniu. Pre porovnanie hodnotenia kvality s ľudským vnímaním som vyhodnotil dotazník, kde sú obrázky zoradené podľa kvality. Výsledky ukazujú, že navrhnutá architektúra sa kvalitou približuje najnovším metódam.In this thesis, I tackle the problem of facial image super-resolution using convolutional neural networks with focus on preserving identity. I propose a method consisting of DPNet architecture and training algorithm based on state-of-the-art super-resolution solutions. The model of DPNet architecture is trained on Flickr-Faces-HQ dataset, where I achieve SSIM value 0.856 while expanding the image to four times the size. Residual channel attention network, which is one of the best and latest architectures, achieves SSIM value 0.858. While training models using adversarial loss, I encountered problems with artifacts. I experiment with various methods trying to remove appearing artefacts, which weren't successful so far. To compare quality assessment with human perception, I acquired image sequences sorted by percieved quality. Results show, that quality of proposed neural network trained using absolute loss approaches state-of-the-art methods.