Generativní modely pro doplnění 3D tvaru

Abstract

Naskenované 3D modely často trpia chybami kvôli oklúzii, skenovacím nedostatkom alebo neúplnosti samotného modelu. Cieľom tejto práce je vyvinúť automatizovaný proces na doplnenie chýbajúcich častí 3D tvarov prostredníctvom hlbokého učenia. Navrhované riešenie vychádza z predchádzajúcej práce DiffComplete, ktorá využíva generatívny difúzny proces na vyplnenie chýbajúcich časti 3D tvarov. Úloha sa takto vníma ako generatívny problém. Výsledky preukazujú vysokú účinnosť tohto modelu s IoU skóre dosahujúcim 81,6 na konkrétnej testovacej sade pozostávajúcej z tvarov nábytku. Model navyše úspešne generalizuje aj na tvary, ktoré nie sú zahrnuté v trénovacej sade, dosahujúc priemerné IoU skóre 70,9. Práca okrem popisu dátovo orientovaných experimentov obohacuje súčasnú problematiku vypĺňania 3D útvarov dvoma spôsobmi. Po prvé rieši najväčšiu limitáciu, výpočetnú náročnosť, spracovaním vstupu v priestore s nízkym rozlíšením. Po druhé využíva užívateľský vstup (vo forme oblasti záujmu), čo umožňuje užívateľovi lepšie ovládať proces generácie v nejednoznačných situáciách.In many real-world scenarios, scanned 3D models contain missing parts due to occlusion, scanning errors, or the incomplete nature of the data itself. The goal of this work is to create an automated process for 3D shape completion using a supervised deep learning-based method. The proposed solution is based on the prior work of DiffComplete, which uses a diffusion-based model operating over distance field representation and handles the task as a generative problem. The results showed a high capability of this model with an 81.6 IoU metric on the custom-prepared test set of furniture objects. The model also demonstrates strong generalization capabilities on shapes that are out of the training distribution (average 70.9 IoU metric). Apart from more detailed data-centric experiments, this work further extends current state-of-the-art in two ways. Firstly, it addresses the most crucial shortcoming, expensive computation, by processing the input in a low-resolution domain. Secondly, it utilizes user input (Region of Interest), which gives the user more control over generation in ambiguous scenarios.