Debayerizace RAW fotografie pomocí hluboké neuronové sítě

Abstract

Táto práca sa zaoberá problémom debayerizácie a to konkrétne debayerizáciou pomocou deep image prior. Deep image prior (DIP) je koncept riešenia bežných rekonštrukčných problémov použitím netrénovaných konvolučných neurónových sietí. Jedinou vstupnou informáciou je obrázok, ktorý bol nejakým spôsobom poškodený. Cieľom tejto práce je zistiť, či je DIP použitelná metóda na problémy debayerizácie. Taktiež bola navrhnutá nová debayerizačná metóda založená na DIP a porovnaná s bežnými debayerizačnými metódami. Rôzne mozaikové farebné filtre (CFAs) boli otestované na zistenie plného potenciálu navrhnutej metódy. Číselné porovnanie bolo spravené použitím rôznych metód hodnotenia. Na základne tohto porovnania, zvolená metóda preukázala podobné, v niektorých prípadoch aj lepšie, výsledky ako Malvarova debayerizačná metóda. Vizuálne, navrhovaná metóda ukázala podobné výsledky k najkvalitnejšej metóde v experimentoch – Menonovej debayerizačnej metóde. Dodatočne, spriemerovanie posledných pár obrázkov optimizačného procesu prinieslo pozitívne výsledky vzhľadom na číselné porovnanie. Aj keď navrhovaná metóda priniesla zaujímavé výsledky, ukázalo sa, že je mimoriadne výpočetne náročná v porovnaní s ďaľšími bežnými debayerizačnými metódami.

This thesis focuses on the problem of demosaicing; specifically, demosaicing using deep image prior. Deep image prior (DIP) is a concept that uses untrained convolutional neural networks to solve common reconstruction problems, with the only input information being an image degraded in some way. The aim of this thesis is to find out whether the DIP is a viable method for demosaicing problems. A new demosaicing method based on DIP is proposed and compared with common demosaicing methods. Different color filer arrays (CFAs) were tested to see the full potential of the proposed method. A numerical comparison was made using a variety of assessment methods. Based on this comparison, the proposed method proved to be similar, in some cases even better than the widely used Malvar’s demosaicing method. Visually, the proposed method displayed similar results to the finest method in the experiments – the Menon’s demosaicing method. Additionally, averaging the last few images of the optimization process proved to bring positive results in terms of numerical comparison. Even though the proposed method brought some interesting results, it turned out to be extremely computationally challenging when compared with other common demosaicing methods.