Generativní modely pro doplnění 3D tvaru
Loading...
Date
Authors
Zdravecký, Peter
ORCID
Advisor
Referee
Mark
A
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Naskenované 3D modely často trpia chybami kvôli oklúzii, skenovacím nedostatkom alebo neúplnosti samotného modelu. Cieľom tejto práce je vyvinúť automatizovaný proces na doplnenie chýbajúcich častí 3D tvarov prostredníctvom hlbokého učenia. Navrhované riešenie vychádza z predchádzajúcej práce DiffComplete, ktorá využíva generatívny difúzny proces na vyplnenie chýbajúcich časti 3D tvarov. Úloha sa takto vníma ako generatívny problém. Výsledky preukazujú vysokú účinnosť tohto modelu s IoU skóre dosahujúcim 81,6 na konkrétnej testovacej sade pozostávajúcej z tvarov nábytku. Model navyše úspešne generalizuje aj na tvary, ktoré nie sú zahrnuté v trénovacej sade, dosahujúc priemerné IoU skóre 70,9. Práca okrem popisu dátovo orientovaných experimentov obohacuje súčasnú problematiku vypĺňania 3D útvarov dvoma spôsobmi. Po prvé rieši najväčšiu limitáciu, výpočetnú náročnosť, spracovaním vstupu v priestore s nízkym rozlíšením. Po druhé využíva užívateľský vstup (vo forme oblasti záujmu), čo umožňuje užívateľovi lepšie ovládať proces generácie v nejednoznačných situáciách.
In many real-world scenarios, scanned 3D models contain missing parts due to occlusion, scanning errors, or the incomplete nature of the data itself. The goal of this work is to create an automated process for 3D shape completion using a supervised deep learning-based method. The proposed solution is based on the prior work of DiffComplete, which uses a diffusion-based model operating over distance field representation and handles the task as a generative problem. The results showed a high capability of this model with an 81.6 IoU metric on the custom-prepared test set of furniture objects. The model also demonstrates strong generalization capabilities on shapes that are out of the training distribution (average 70.9 IoU metric). Apart from more detailed data-centric experiments, this work further extends current state-of-the-art in two ways. Firstly, it addresses the most crucial shortcoming, expensive computation, by processing the input in a low-resolution domain. Secondly, it utilizes user input (Region of Interest), which gives the user more control over generation in ambiguous scenarios.
In many real-world scenarios, scanned 3D models contain missing parts due to occlusion, scanning errors, or the incomplete nature of the data itself. The goal of this work is to create an automated process for 3D shape completion using a supervised deep learning-based method. The proposed solution is based on the prior work of DiffComplete, which uses a diffusion-based model operating over distance field representation and handles the task as a generative problem. The results showed a high capability of this model with an 81.6 IoU metric on the custom-prepared test set of furniture objects. The model also demonstrates strong generalization capabilities on shapes that are out of the training distribution (average 70.9 IoU metric). Apart from more detailed data-centric experiments, this work further extends current state-of-the-art in two ways. Firstly, it addresses the most crucial shortcoming, expensive computation, by processing the input in a low-resolution domain. Secondly, it utilizes user input (Region of Interest), which gives the user more control over generation in ambiguous scenarios.
Description
Citation
ZDRAVECKÝ, P. Generativní modely pro doplnění 3D tvaru [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2024.
Document type
Document version
Date of access to the full text
Language of document
en
Study field
Počítačové vidění
Comittee
prof. Ing. Adam Herout, Ph.D. (předseda)
prof. Dr. Ing. Jan Černocký (člen)
doc. RNDr. Milan Češka, Ph.D. (člen)
Ing. Michal Hradiš, Ph.D. (člen)
doc. Ing. Peter Chudý, Ph.D., MBA (člen)
Ing. David Bařina, Ph.D. (člen)
Date of acceptance
2024-06-20
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A.
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení