Porovnání metod pro doplnění chybějící části obrazu založených na hlubokém učení
Loading...
Date
Authors
Rajsigl, Tomáš
ORCID
Advisor
Referee
Mark
A
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Cílem této bakalářské práce je porovnat metody hlubokého učení pro doplnění chybějící části obrazu pomocí kvantitativních metrik jako jsou PSNR, SSIM a LPIPS. Pro dodatečné subjektivní ohodnocení byla taktéž provedena uživatelská studie. K porovnání byly použity celkem čtyři neuronové sítě založené na architektuře GAN. Navrhovaná architektura neuronové sítě a její modifikované verze byly porovnávány oproti síti AOT-GAN. Experimenty ukázaly, že v obrazech s malou chybějící částí dosáhla varianta navržené metody 29% zlepšení oproti již zmiňované metodě AOT-GAN. Toto tvrzení podporují i výsledky uživatelské studie, kde byla tato metoda vyhodnocena jako nejlepší. V rámci této práce vznikla malá datová sada určená pro vyhodnocení metod retušování obrazu při úloze odstraňování objektů. Reálné využití těchto metod je demonstrováno prostřednictvím webové aplikace.
This bachelor thesis aims to compare deep learning methods and approaches for image inpainting using quantitative metrics like PSNR, SSIM, and LPIPS. Moreover, a user study has also been carried out for further subjective assessment. For the purposes of this comparison, four GAN-based neural networks were used. The first network, AOT-GAN, represents a benchmark against which the proposed architecture and its modifications were compared. In the experiments, a variant of the proposed method achieved a 29% improvement against AOT-GAN in images with small missing regions. This claim is also supported by the results of the user study where this method was ranked as the best. As a result of this thesis, a small dataset specifically for the evaluation of image inpainting in the context of object removal was created. Real-world applications of these methods are demonstrated through a web application.
This bachelor thesis aims to compare deep learning methods and approaches for image inpainting using quantitative metrics like PSNR, SSIM, and LPIPS. Moreover, a user study has also been carried out for further subjective assessment. For the purposes of this comparison, four GAN-based neural networks were used. The first network, AOT-GAN, represents a benchmark against which the proposed architecture and its modifications were compared. In the experiments, a variant of the proposed method achieved a 29% improvement against AOT-GAN in images with small missing regions. This claim is also supported by the results of the user study where this method was ranked as the best. As a result of this thesis, a small dataset specifically for the evaluation of image inpainting in the context of object removal was created. Real-world applications of these methods are demonstrated through a web application.
Description
Keywords
počítačové vidění, zpracování obrazu, retušování obrazu, odstranění objektu, hluboké učení, konvoluční neuronové sítě, U-Net, reziduální blok, generativní adversariální sítě, GAN, PatchGAN, AOT-GAN, uživatelská studie, computer vision, image processing, image inpainting, object removal, deep learning, convolutional neural networks, U-Net, residual block, generative adversarial networks, GAN, PatchGAN, AOT-GAN, user study
Citation
RAJSIGL, T. Porovnání metod pro doplnění chybějící části obrazu založených na hlubokém učení [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2024.
Document type
Document version
Date of access to the full text
Language of document
cs
Study field
Informační technologie
Comittee
prof. Dr. Ing. Jan Černocký (předseda)
Ing. Ivana Burgetová, Ph.D. (člen)
Ing. Michal Hradiš, Ph.D. (člen)
Ing. Josef Strnadel, Ph.D. (člen)
doc. RNDr. Dana Hliněná, Ph.D. (člen)
Date of acceptance
2024-06-10
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky přítomných, např. ohledně prezentovaných hodnot metrik u několika metod, cílů jednotlivých metod a jejich využití v kontextu realizovaného řešení, standardních přístupů či metrik strojového vyhodnocování, a výsledků uživatelského testování. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A - výborně.
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení