Hodnocení neurčitosti predikcí neuronových sítí v úlohách klasifikace, detekce a segmentace
Loading...
Date
Authors
Vlasák, Jiří
ORCID
Advisor
Referee
Mark
A
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Tato práce se zaměřuje na porovnání tří široce používaných metod pro zlepšení odhadů neurčitosti: hlubokých ansámlů, monte carlo dropout a temperature scaling. Tyto metody jsou aplikovány na šest modelů pro počítačové vidění, mezi nimiž jsou předtrénované modely i modely trénované od nuly. Tyto modely jsou hodnoceny na datasetech počítačového vidění pro úlohy klasifikace, sémantické segmentace a detekce objektů, při použití široké škály metrik. Modely jsou rovněž evaluovány na transformovaných datasetech, kvůli jejich ohodnocení na datech mimo trénovací distribuci. Tyto modifikované modely dosahují slibných výsledků. Ansámbly překonávají ostatní modely až o 70 % v přesnosti a o 0.2 v IOU na transformovaném segmentačním datasetu MedSeg COVID-19 a zároveň překonávají ostatní modely na datasetech CIFAR-100 a FMNIST.
This work focuses on comparing three widely used methods for improving uncertainty estimations: Deep Ensembles, Monte Carlo Dropout, and Temperature Scaling. These methods are applied to six computer vision models that are pretrained as well as trained from scratch. The models are then evaluated on computer vision datasets for classification, semantic segmentation, and object detection using a wide range of metrics. The models are also evaluated on distorted versions of these datasets to measure their performance on out-of-distribution data. These modified models achieve promising results. Ensembles outperform the other models by as high as 70 % in accuracy and 0.2 in IOU on the distorted MedSeg COVID-19 segmentation dataset while also outperforming the other models on the CIFAR-100 and FMNIST datasets.
This work focuses on comparing three widely used methods for improving uncertainty estimations: Deep Ensembles, Monte Carlo Dropout, and Temperature Scaling. These methods are applied to six computer vision models that are pretrained as well as trained from scratch. The models are then evaluated on computer vision datasets for classification, semantic segmentation, and object detection using a wide range of metrics. The models are also evaluated on distorted versions of these datasets to measure their performance on out-of-distribution data. These modified models achieve promising results. Ensembles outperform the other models by as high as 70 % in accuracy and 0.2 in IOU on the distorted MedSeg COVID-19 segmentation dataset while also outperforming the other models on the CIFAR-100 and FMNIST datasets.
Description
Keywords
monte carlo dropout, hluboké ansámbly, temperature scaling, klasifikace, sémantická segmentace, detekce objektů, posunutí datasetu, kalibrace modelů, FMNIST, CIFAR-100, PASCAL-VOC, monte carlo dropout, deep ensembles, temperature scaling, classification, semantic segmentation, object detection, dataset shift, model calibration, FMNIST, CIFAR-100, PASCAL-VOC
Citation
VLASÁK, J. Hodnocení neurčitosti predikcí neuronových sítí v úlohách klasifikace, detekce a segmentace [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2022.
Document type
Document version
Date of access to the full text
Language of document
cs
Study field
Informační technologie
Comittee
prof. Ing. Adam Herout, Ph.D. (předseda)
doc. Dr. Ing. Otto Fučík (místopředseda)
doc. Ing. Vítězslav Beran, Ph.D. (člen)
doc. Ing. Radek Burget, Ph.D. (člen)
doc. Mgr. Lukáš Holík, Ph.D. (člen)
Date of acceptance
2022-06-13
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A. Otázky u obhajoby: Umožňují metody pro hodnocení neurčitosti predikcí neuronových sítí lépe detekovat data, které nejsou součástí cílové domény (outliers)? Proč se při trénování parametru T, u metody Temperature Scaling, používá oddělená trénovací sada?
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení