Hluboké učení pro analýzu 3D geometrie v medicíně
Loading...
Date
Authors
Kubík, Tibor
ORCID
Advisor
Referee
Mark
A
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Architektúry hlbokých neurónových sietí navrhnuté pre tradičné signály, ako sú pravidelne vzorkované obrázky a mriežky, sa nedajú priamo previesť na geometrické reprezentácie s nepravidelným charakterom, ako napríklad triangulované povrchy či mračná bodov. Keďže nástroje, ktoré produkujú tieto 3D dáta sú čoraz dostupnejšie, toto rozšírenie je pre plánovanie zákrokov v digitálnej medicíne stále viac a viac potrebné. Cieľom tejto práce je preskúmať využitie techník hlbokého učenia na analýzu trojuholníkových sietí. Na úlohu automatickej segmentácie zubov v povrchových skenoch čeľustí, automatizácie žiadanej v priemysle, je v tejto práci navrhnutý a vyhodnotený prístup založený na rekurentných viacpohľadových neurónových sieťach. Tento algoritmus prekonáva jednak konvenčný segmentačný algoritmus založený na metóde 3D Graph-Cutu, rovnako ako aj iné neeuklidovské metódy spracovávajúce mračná bodov či priamo štruktúru mešov. Na komplexných ortodontických prípadoch obsahujúcich skeny s krivými zubami či naskenovanými ortodontickými aparátmi dosahuje navrhnutý prístup hodnôt 0,966 na metrike váhovaného IoU a 0,382 mm na metrike 95 percentilu Hausdorffovej vzdialenosti. Výsledky sú sľubné pre nasadenie do softvéru na plánovanie zubných zákrokov, čo by zubným lekárom zefektívnilo pracovný postup a umožnilo im venovať viac pozornosti na samotnú liečbu.
Deep neural network architectures designed for traditional signals like regularly sampled images and grids do not straightforwardly translate to irregularly sampled and triangulated surfaces, point clouds, and other geometric representations. As the acquisition tools that produce such 3D data are becoming broadly available, this generalization is increasingly needed for treatment planning in digital medicine. This work aims to examine the application of deep learning techniques for the analysis of triangular meshes. A recurrent multi-view approach is proposed for the task of segmentation of teeth in surface dental scans, an industry-desirable automation. On complex real-world orthodontic cases containing dental irregularities or scanned appliances, the proposed method outperforms both the conventional segmentation algorithm based on 3D Graph-Cut, and non-Euclidean methods that analyze point clouds or directly meshes. It achieves an average weighted IoU score of 0.966 and Hausdorff distance at 95 percentile of 0.382 mm. The results are promising for a deployment in dental planning software, enabling clinicians to streamline their workflow and devote more attention and focus on the treatment itself.
Deep neural network architectures designed for traditional signals like regularly sampled images and grids do not straightforwardly translate to irregularly sampled and triangulated surfaces, point clouds, and other geometric representations. As the acquisition tools that produce such 3D data are becoming broadly available, this generalization is increasingly needed for treatment planning in digital medicine. This work aims to examine the application of deep learning techniques for the analysis of triangular meshes. A recurrent multi-view approach is proposed for the task of segmentation of teeth in surface dental scans, an industry-desirable automation. On complex real-world orthodontic cases containing dental irregularities or scanned appliances, the proposed method outperforms both the conventional segmentation algorithm based on 3D Graph-Cut, and non-Euclidean methods that analyze point clouds or directly meshes. It achieves an average weighted IoU score of 0.966 and Hausdorff distance at 95 percentile of 0.382 mm. The results are promising for a deployment in dental planning software, enabling clinicians to streamline their workflow and devote more attention and focus on the treatment itself.
Description
Keywords
segmentácia meshov, segmentácia zubov, dentálne skeny, geometric deep learning, rekurentné viacpohľadové neurónové siete, ConvLSTM, PointNet, PointNet++, MeshCNN, mesh segmentation, teeth segmentation, dental scans, geometric deep learning, recurrent multi-view neural networks, ConvLSTM, PointNet, PointNet++, MeshCNN
Citation
KUBÍK, T. Hluboké učení pro analýzu 3D geometrie v medicíně [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2023.
Document type
Document version
Date of access to the full text
Language of document
en
Study field
Počítačové vidění
Comittee
prof. Ing. Adam Herout, Ph.D. (předseda)
doc. Ing. Martin Čadík, Ph.D. (člen)
Ing. František Grézl, Ph.D. (člen)
Ing. Michal Hradiš, Ph.D. (člen)
Ing. David Bařina, Ph.D. (člen)
doc. Mgr. Adam Rogalewicz, Ph.D. (člen)
Date of acceptance
2023-08-24
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A.
Result of defence
práce byla úspěšně obhájena
Document licence
Přístup k plnému textu prostřednictvím internetu byl licenční smlouvou omezen na dobu 2 roku/let