Opravování chyb ve 3D modelech s využitím strojového učení

Abstract

Táto práca implementuje a vyhodnocuje existujúci prístup na vypĺňanie dier v 3D modeloch sietí (mesh) pomocou techník dopĺňania (inpaintingu) 2D obrázkov. Podľa overenej metodiky je 3D problém transformovaný do 2D domény extrahovaním segmentov okolo dier, ich parametrizáciou do 2D priestoru a zakódovaním povrchovej krivosti ako farebných hodnôt. Sieť Large Mask Inpainting (LaMa) bola doladená (fine-tuned) na približne 120 000 obrázkoch krivosti vygenerovaných z vysokokvalitných 3D modelov, čo je výrazne menší dataset ako v referenčnej práci. Implementácia zahŕňa detekciu dier, trianguláciu, parametrizáciu segmentov, výpočet krivosti, inpainting pomocou doladenej siete a iteratívne spresňovanie výsledkov. Hoci doladený model preukázal merateľné zlepšenie oproti predtrénovanému, rozsah tohto zlepšenia bol menej výrazný ako uvádza referenčná práca, predovšetkým kvôli obmedzeniam veľkosti datasetu. Výsledky napriek tomu ukazujú potenciál prispôsobenia 2D inpaintingu pre 3D rekonštrukciu a zároveň zdôrazňujú dôležitosť objemu trénovacích dát pre dosiahnutie optimálneho výkonu.

This work implements and evaluates an existing approach for filling holes in 3D mesh models by leveraging 2D image inpainting techniques. Following established methodology, the 3D problem is transformed into a 2D domain by extracting segments around holes, parameterizing them into 2D space, and encoding surface curvature as color values. A Large Mask Inpainting (LaMa) network was fine-tuned on approximately 120,000 curvature images generated from high-quality 3D models, which is significantly smaller than the dataset used in the reference work. The implementation includes hole detection, triangulation, segment parameterization, curvature calculation, inpainting with the fine-tuned model, and iterative refinement. While the fine-tuned model showed measurable improvement over the pre-trained version, the magnitude of improvement was less pronounced than reported in the reference work, primarily due to dataset size limitations. The results nevertheless demonstrate the potential of adapting 2D image inpainting for 3D reconstruction while highlighting the importance of training data volume for optimal performance.