Fúze obrazových a nemřížkových dat pro segmentaci objektů
Loading...
Date
Authors
Repka, Samuel
ORCID
Advisor
Referee
Mark
A
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Objekt záujmu sa často dá popísať viacerými dátovými zdrojmi. Napríklad, z obrazu auta sa dá zistiť farba, značka, alebo aj jeho typ. Čo sa ale najskôr nedá, je zistiť stav motora, či beží alebo nie. Táto informácia sa ale dá zistiť inak, sluchom alebo aj dotykom. Aj keď je možné, že jeden dátový zdroj poskytuje všetky potrebné informácie, pridanie modality môže zlepšiť riešenie, kvôli možnej komplementarite dát. Tento proces dátovej fúzie môže byť ale pomerne komplikovaný proces. Rôzne dáta majú rôzne vlastnosti, štruktúry a rôzne výzvy, ktoré s nimi súvisia. Existuje veľké množstvo rôznych metód dátovej fúzie, ktoré sú ale často aplikovateľné len na konkrétne modality. Táto práca prezentuje nový prístup k dátovej fúzii dvoch modalít, primárne za účelom segmentácie obrazu. Jedna z modalít je obraz, druhá je ľubovoľná neštrukturovaná modalita. Prezentovaná metóda využíva graf na spoločnú reprezentáciu oboch modalít, dizajnovanú tak, aby čo najpresnejšie zachytila závislosti v modalitách aj medzi nimi. Graf je potom spracovaný, výsledkom čoho je graf so spojenými dátami, alebo aj priama segmentácia. Prezentované riešenie bolo otestované na dvoch datasetoch (z oblasti mineralógie a drevárskeho priemyslu) a porovnané s inými metódami. Výsledky ukazujú, že riešenie má veľký potenciál ale aj svoje limitácie. V prípade datasetu z mineralógie, výsledky boli výborné a ukazujú, že metóda je schopná dátovej fúzie a dokáže prekonať aj súčasné metódy vo viacerých metrikách. V druhom prípade, výsledky až tak jednoznačné neboli, pretože metóda nevylepšila výsledky v porovnaní s iným riešením, čo ale mohlo byť spôsobené aj ťažkým datasetom.
Quite often, a phenomenon of interest can described by more than one data source. For example, a car's appearance shows its colour and brand, but not its engine status. However, other data sources do provide us with this information, be it a sound or mere touch. Such data source is often referred to as a modality. While using a single data source to extract the needed information may be sufficient, the addition of more modalities can be beneficial, because of their complementary nature. This data fusion, however, may be a quite challenging process. Different kinds of data have different properties, structures and various challenges connected to them. A plethora of different methods has been proposed, but usually, the methods are very data-dependent. This thesis presents a new approach to the fusion of two modalities, primarily for the purpose of image segmentation. One of the modalities is image, and the second one is any non-grid-like modality. The method uses a graph to jointly represent both modalities, aiming to capture the intra and inter-modalities relationships as accurately as possible. The graph is then processed, producing a graph with fused data, or a direct segmentation. The proposed method was evaluated on two datasets (from the fields of mineralogy and timber processing) and compared to another solution, showing both the potential and limitations of the method. In case of the mineralogy dataset, the results are very encouraging, showing that the method is capable of data fusion, even outperforming a contemporary method. In case of the timber dataset, the results were not as conclusive, as the method failed to improve the results when compared to a baseline solution, which may have been caused by a challenging dataset.
Quite often, a phenomenon of interest can described by more than one data source. For example, a car's appearance shows its colour and brand, but not its engine status. However, other data sources do provide us with this information, be it a sound or mere touch. Such data source is often referred to as a modality. While using a single data source to extract the needed information may be sufficient, the addition of more modalities can be beneficial, because of their complementary nature. This data fusion, however, may be a quite challenging process. Different kinds of data have different properties, structures and various challenges connected to them. A plethora of different methods has been proposed, but usually, the methods are very data-dependent. This thesis presents a new approach to the fusion of two modalities, primarily for the purpose of image segmentation. One of the modalities is image, and the second one is any non-grid-like modality. The method uses a graph to jointly represent both modalities, aiming to capture the intra and inter-modalities relationships as accurately as possible. The graph is then processed, producing a graph with fused data, or a direct segmentation. The proposed method was evaluated on two datasets (from the fields of mineralogy and timber processing) and compared to another solution, showing both the potential and limitations of the method. In case of the mineralogy dataset, the results are very encouraging, showing that the method is capable of data fusion, even outperforming a contemporary method. In case of the timber dataset, the results were not as conclusive, as the method failed to improve the results when compared to a baseline solution, which may have been caused by a challenging dataset.
Description
Citation
REPKA, S. Fúze obrazových a nemřížkových dat pro segmentaci objektů [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2024.
Document type
Document version
Date of access to the full text
Language of document
en
Study field
Počítačové vidění
Comittee
prof. Ing. Adam Herout, Ph.D. (předseda)
doc. Ing. Michal Španěl, Ph.D. (člen)
prof. Ing. Tomáš Vojnar, Ph.D. (člen)
doc. Ing. Vítězslav Beran, Ph.D. (člen)
doc. Ing. Peter Chudý, Ph.D., MBA (člen)
Ing. David Bařina, Ph.D. (člen)
Date of acceptance
2024-06-18
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A.
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení