Hluboké neuronové sítě pro detekci landmarků v obraze

Abstract

Detekcia významných bodov v medicínskych snímkoch je kľúčová pre diagnostiku rôznych zdravotných ťažkostí. Tento proces je však pracný, časovo náročný a teda drahý. Ako vhodné riešenie sa ukázali hlboké neurónové siete, ktoré umožňujú vytvoriť plne automatické systémy na detekciu týchto bodov. V medicínskej praxi však automatická detekcia naráža na problém nedostatočného množstva trénovacích dát, čo zdôrazňuje potrebu efektívnej reprezentácie dát. V tejto práci sú porovnávané tri rôzne metódy reprezentácie dát počas trénovania hlbokých neurónových sietí. Prvé dve využívajú model U-Net na regresiu teplotných máp a líšia sa v spôsobe ich vytvárania: prvá metóda používa 2D Gaussovské teplotné mapy, ktoré však nezohľadňujú anatomické detaily vo vstupnom obraze, zatiaľ čo druhá metóda tento problém rieši použitím nových „contour-hugging“ teplotných máp priliehajúcich ku kontúram vo vstupnom obraze. Tretia metóda využíva grafovú neurónovú sieť na spracovanie hierarchickej grafovej reprezentácie vstupného obrazu. Experimenty ukázali, že kombinácia modelu U-Net s novými „contour-hugging“ teplotnými mapami umožnila detekovať významné body na kefalometrických snímkoch s priemernou chybou 1,8 mm, čo je zlepšenie o 3,34 % oproti 2D Gaussovským teplotným mapám. Okrem toho, táto metóda predpovedala 70,21 % významných bodov s chybou menšou ako 2 mm.Landmark detection in medical images is essential for the diagnosis of various medical conditions. However, it remains laborious, time-consuming, and therefore costly. Deep neural networks have proved themselves to be an applicable solution for the creation of fully automatic landmark detection systems. Automatic landmark detection in the medical domain faces the obstacle of insufficient training data; because of this, using the most efficient representation of the data is important. In this work, three different approaches to the representation of data during the training of deep neural networks were tested. The first two use the U-Net model for heatmap regression and differ in the way how the heatmaps are created. One uses 2D Gaussian heatmaps, which, however, ignore the underlying anatomical information in the input image, and the second one addresses this problem by using novel contour-hugging heatmaps. The third approach uses a graph neural network to process the hierarchical graph representation of the input image. Experiments demonstrated that the combination of the U-Net and the novel contour-hugging heatmaps could detect landmarks in cephalometric images with a mean error of 1.8 mm. This represents a 3.34% improvement over the 2D Gaussian heatmaps. Additionally, the method predicted 70.21% of landmarks with an error of less than 2 mm.