Hluboké neuronové sítě pro sešívání obrázků

Abstract

Sešívání obrázků je klíčovou technikou pro rekonstrukci objemů biologických vzorků z překrývajících se snímků z elektronové mikroskopie (EM). Současné metody zpracování snímků z EM k sešívání zpravidla využívají ručně definované příznaky, produkované například technikou SIFT. Nedávný vývoj však ukazuje, že konvoluční neuronové sítě dokáží zlepšit přesnost sešívání tím, že se naučí diskriminativní příznaky přímo z trénovacích obrázků. S ohledem na potenciál konvolučních neuronových sítí tato práce navrhuje sešívací nástroj DEMIS, který staví na pozornostní síti LoFTR pro hledání shodných příznaků mezi páry obrázků. Dále práce navrhuje novou datovou sadu generovanou dělením obrázků z EM s vysokým rozlišením na pole překrývajících se dlaždic. Výsledná datová sada je použita pro dotrénování sítě LoFTR a k vyhodnocení nástroje DEMIS. Experimenty na dané datové sadě ukazují, že nástroj je schopen nalézt přesnější shody mezi příznaky než SIFT. Navazující experimenty na obrázcích s vysokým rozlišením a malými překryvy mezi dlaždicemi dále poukazují na výrazně vyšší robustnost oproti metodě SIFT. Dosažené výsledky celkově naznačují, že hluboké učení může vést k prospěšným změnám v oblasti EM, například k umožnění menších překryvů mezi snímanými obrázky.Image stitching is an essential technique for reconstructing volumes of biological samples from overlapping tiles of electron microscopy (EM) images. Current volume EM stitching methods generally rely on handcrafted features, such as those produced by SIFT. However, recent developments indicate that convolutional neural networks (CNNs) can improve stitching accuracy by learning discriminative features directly from training images. Taking into account the potential of CNNs, this thesis proposes DEMIS, a novel EM image stitching tool based on LoFTR, an attention-based feature matching network. The thesis also proposes a novel dataset generated by splitting high-resolution EM images into grids of overlapping image tiles. The dataset is used to fine-tune LoFTR and to evaluate the DEMIS tool. Experiments on the synthetic dataset reveal higher feature matching accuracy compared to SIFT. Moreover, experiments on challenging images with small overlap regions and high resolution demonstrate significantly higher stitching robustness than SIFT. Overall, the results suggest that deep learning methods could be beneficial for EM imaging, for example, by allowing the use of smaller tile overlaps.