Hluboké učení pro analýzu 3D geometrie v medicíně

Abstract

Architektúry hlbokých neurónových sietí navrhnuté pre tradičné signály, ako sú pravidelne vzorkované obrázky a mriežky, sa nedajú priamo previesť na geometrické reprezentácie s nepravidelným charakterom, ako napríklad triangulované povrchy či mračná bodov. Keďže nástroje, ktoré produkujú tieto 3D dáta sú čoraz dostupnejšie, toto rozšírenie je pre plánovanie zákrokov v digitálnej medicíne stále viac a viac potrebné. Cieľom tejto práce je preskúmať využitie techník hlbokého učenia na analýzu trojuholníkových sietí. Na úlohu automatickej segmentácie zubov v povrchových skenoch čeľustí, automatizácie žiadanej v priemysle, je v tejto práci navrhnutý a vyhodnotený prístup založený na rekurentných viacpohľadových neurónových sieťach. Tento algoritmus prekonáva jednak konvenčný segmentačný algoritmus založený na metóde 3D Graph-Cutu, rovnako ako aj iné neeuklidovské metódy spracovávajúce mračná bodov či priamo štruktúru mešov. Na komplexných ortodontických prípadoch obsahujúcich skeny s krivými zubami či naskenovanými ortodontickými aparátmi dosahuje navrhnutý prístup hodnôt 0,966 na metrike váhovaného IoU a 0,382 mm na metrike 95 percentilu Hausdorffovej vzdialenosti. Výsledky sú sľubné pre nasadenie do softvéru na plánovanie zubných zákrokov, čo by zubným lekárom zefektívnilo pracovný postup a umožnilo im venovať viac pozornosti na samotnú liečbu.

Deep neural network architectures designed for traditional signals like regularly sampled images and grids do not straightforwardly translate to irregularly sampled and triangulated surfaces, point clouds, and other geometric representations. As the acquisition tools that produce such 3D data are becoming broadly available, this generalization is increasingly needed for treatment planning in digital medicine. This work aims to examine the application of deep learning techniques for the analysis of triangular meshes. A recurrent multi-view approach is proposed for the task of segmentation of teeth in surface dental scans, an industry-desirable automation. On complex real-world orthodontic cases containing dental irregularities or scanned appliances, the proposed method outperforms both the conventional segmentation algorithm based on 3D Graph-Cut, and non-Euclidean methods that analyze point clouds or directly meshes. It achieves an average weighted IoU score of 0.966 and Hausdorff distance at 95 percentile of 0.382 mm. The results are promising for a deployment in dental planning software, enabling clinicians to streamline their workflow and devote more attention and focus on the treatment itself.