Detekce anomálií při vizuální inspekci v průmyslových a biologických datech
Loading...
Files
Date
Authors
Bilík, Šimon
ORCID
Advisor
Referee
Mark
P
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta elektrotechniky a komunikačních technologií
Abstract
Automatická vizuální inspekce je technickou disciplínou zahrnující množství dalších vědních oborů od optiky přes elektroniku až po informatiku a vyznačuje se potenciálem efektivně získat velké množství informace z jednoho snímku, nebo jejich sekvence. Metody používané pro vizuální inspekci zahrnují klasické i hluboké techniky počítačového vidění za účelem provádění úkolů jako měření, klasifikace a detekce různých oblastí obrazu pro rozpoznání možných defektů. S rozmachem hlubokého učení se otevřely nové možnosti pro řešení dříve obtížných úkolů, které jsou ale spojeny s problémem zajištění dat vhodných pro učení těchto modelů. Pro natrénování běžných modelů automatické vizuální inspekce jsou většinou nutná anotovaná data, která by měla zahrnovat všechny možné stavy vstupních vzorků, a to včetně těch vadných, což je však často náročné, nebo nákladné. Problémy spojené se zajištěním anotovaných dat efektivně řeší detektory anomálií, které se učí reprezentovat nominální vstupní data a díky tomu mohou být trénovány na datasetech s nulovým, nebo malým počtem vadných vzorků. Výzkum prezentovaný v této práci zahrnuje dvě metody pro řešení úkolu detekce anomálií ve vizuálních datech, čtyři nové datasety a dvě platformy pro sběr dat. První z navržených metod využívá objektové detektory založené na metodách hlubokého učení jako YOLO, SSD a Faster R-CNN k odhalení anomálií pomocí různých přístupů anotace vstupních dat. Tento způsob se ukázal být vhodný pro datasety s dostatečným množstvím anomálií s podobným vzhledem, což je nutné pro účinné naučení těchto modelů. Druhá metoda je založena na řetězci rekonstrukce vstupních snímků za účelem zvýraznění případných vad následovanou extrakcí příznaků a jednotřídní klasifikací, což je vhodné pro datasety s omezeným množstvím anomálií, nebo s velkými rozdíly mezi jejich možnými třídami. Dva z datasetů představených v této práci pokrývají snímky z průmyslové oblasti a zbývající dva pak z oblasti biologie, kdy první obsahuje snímky nakažených včel a druhý nakaženého planktonu. Výsledky obou navržených přístupů byly porovnány na datasetu s planktonem. Metoda využívající objektové detektory dosáhla lepších výsledků na experimentu využívajícím všech druhů planktonu s dosaženým F1-skóre 0.86 na nominálních vzorcích v porovnání s průměrným F1-skóre 0.75 dosaženým rekonstrukčním přístupem. Na druhou stranu metoda založená na rekonstrukčním přístupu dosáhla lepších výsledků v případě experimentu na jednotlivých druzích planktonu, kde bylo k dispozici menší množství vzorků pro trénink, a to s průměrným F1-skóre 0.85 oproti F1-skóre 0.62 v případě výsledků dosažených objektovým detektorem na stejném experimentu. Představené přípravky pro sběr dat pak zahrnují zařízení určené pro dlouhodobé monitorování zdravotního stavu včelstva a výukovou demonstrační platformu pro detekci anomálií. Zařízení pro monitorování včel je navrženo jako open source projekt, který zahrnuje díly pro 3D tisk spolu s běžně dostupnými elektronickými moduly a obslužným programem. Pomocí tohoto zařízení byly také shromážděny další dva datasety, které budou použity jako součást dalšího výzkumu.
Automated visual inspection embodies a markedly significant discipline across diverse technical fields, featuring a potential to retrieve a high amount of information from a single image and to process multiple images efficiently. Such methods usually involve the traditional and deep learning computer vision techniques to perform the classification and object detection tasks. With the recent progress in artificial neural networks and computing, many applications are solved using deep learning. Although effective, deep learning usually requires a high amount of annotated images to train the models; such images typically represent all possible situations, including defective observations. This task, however, can be challenging due to a lack of defective cases or expensive collection of such data. These issues are eliminable via anomaly detection, where the methods are trained with zero or only a small number of defective samples. In the training, the relevant detection techniques rely on datasets with zero or only a minor quantity of defective (anomalous) images, and they extract a representation of the normal data. Such approach brings many benefits as an easier collection of the training datasets, robustness against unknown anomalies and in some cases, leaving out the annotation process. The research presented herein comprises two methods for solving the visual anomaly detection task, four novel datasets, and two data collection platforms. One of the methods exploits deep learning object detectors and the common object detector models YOLO, SSD, and Faster R-CNN to reveal the anomalies by using various annotation approaches. This approach proved to be suitable for datasets comprising a sufficient amount of anomalies with a similar appearance; this capability is indispensable for any successful training of such detectors. The other technique then involves reconstructing the input images to emphasise anomalies followed by several feature extraction techniques and one-class classifiers. This option was demonstrated as more convenient for datasets that exhibit a limited amount of anomalous images available for the training or a high variance of the anomalous classes. Two of the presented datasets cover the industrial domain, and these are followed by two biological ones, which relate to phytoplankton and bee parasites. The proposed approaches were compared on the phytoplankton anomaly dataset. The object detector-based option achieved better results over all the phytoplankton species, reaching the F1- score of 0.86 using the normal samples, and the anomalies annotation procedure reached an above-the-average F1-score of 0.75 using the reconstruction based approach. The reconstruction-based approach performed better in the case of species-specific experiment while reaching an average F1-score of 0.85 over the average F1-score of 0.62 in the case of the object detector-based approach. The data collection platforms include a bee health inspection device and an anomaly detection demonstration platform. The device was designed as an open project to facilitate long-term monitoring, involving 3D printed parts and commonly available electronic modules. Using this device, two other datasets planned to be employed in the future research were collected.
Automated visual inspection embodies a markedly significant discipline across diverse technical fields, featuring a potential to retrieve a high amount of information from a single image and to process multiple images efficiently. Such methods usually involve the traditional and deep learning computer vision techniques to perform the classification and object detection tasks. With the recent progress in artificial neural networks and computing, many applications are solved using deep learning. Although effective, deep learning usually requires a high amount of annotated images to train the models; such images typically represent all possible situations, including defective observations. This task, however, can be challenging due to a lack of defective cases or expensive collection of such data. These issues are eliminable via anomaly detection, where the methods are trained with zero or only a small number of defective samples. In the training, the relevant detection techniques rely on datasets with zero or only a minor quantity of defective (anomalous) images, and they extract a representation of the normal data. Such approach brings many benefits as an easier collection of the training datasets, robustness against unknown anomalies and in some cases, leaving out the annotation process. The research presented herein comprises two methods for solving the visual anomaly detection task, four novel datasets, and two data collection platforms. One of the methods exploits deep learning object detectors and the common object detector models YOLO, SSD, and Faster R-CNN to reveal the anomalies by using various annotation approaches. This approach proved to be suitable for datasets comprising a sufficient amount of anomalies with a similar appearance; this capability is indispensable for any successful training of such detectors. The other technique then involves reconstructing the input images to emphasise anomalies followed by several feature extraction techniques and one-class classifiers. This option was demonstrated as more convenient for datasets that exhibit a limited amount of anomalous images available for the training or a high variance of the anomalous classes. Two of the presented datasets cover the industrial domain, and these are followed by two biological ones, which relate to phytoplankton and bee parasites. The proposed approaches were compared on the phytoplankton anomaly dataset. The object detector-based option achieved better results over all the phytoplankton species, reaching the F1- score of 0.86 using the normal samples, and the anomalies annotation procedure reached an above-the-average F1-score of 0.75 using the reconstruction based approach. The reconstruction-based approach performed better in the case of species-specific experiment while reaching an average F1-score of 0.85 over the average F1-score of 0.62 in the case of the object detector-based approach. The data collection platforms include a bee health inspection device and an anomaly detection demonstration platform. The device was designed as an open project to facilitate long-term monitoring, involving 3D printed parts and commonly available electronic modules. Using this device, two other datasets planned to be employed in the future research were collected.
Description
Keywords
počítačové vidění, zpracování obrazu, detekce anomálií, automatická optická inspekce, detekce objektů, konvoluční neuronové sítě, biologické výpočty, computer vision, image processing, anomaly detection, automatic optical inspection, object detection, convolutional neural networks, biology computing
Citation
BILÍK, Š. Detekce anomálií při vizuální inspekci v průmyslových a biologických datech [online]. Brno: Vysoké učení technické v Brně. Fakulta elektrotechniky a komunikačních technologií. 2024.
Document type
Document version
Date of access to the full text
Language of document
en
Study field
bez specializace
Comittee
prof. Ing. Luděk Žalud, Ph.D. (předseda)
doc. Ing. Vítězslav Beran, Ph.D. (člen)
prof. Joni Kämäräinen - reviewer (člen)
doc. Ing. Jan Mikulka, Ph.D. (člen)
doc. RNDr. Barbara Zitová, Ph.D. - reviewer (člen)
doc. RNDr. Tomáš Brázdil, Ph.D. (člen)
Date of acceptance
2024-11-04
Defence
The dissertation defense took place combined in presence and online. The student showed deep understanding of the subject, demonstrated highly relevant publications in Q1 and Q2 journals, he has more than 60 citations in scientific publications. The student answered all the questions of the committee. The committee encourages the applicant to move the research a bit more towards the practical applications and prototyping.
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení