Forenzní metoda rozpoznávání originality uměleckých děl s pomocí multispektrální analýzy
Loading...
Date
Authors
Lánský, David
ORCID
Advisor
Referee
Mark
A
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta elektrotechniky a komunikačních technologií
Abstract
Odhalování falzifikátů je zásadní pro ochranu trhu s uměním a zachování autentičnosti uměleckých děl. Tato práce se věnuje detekci falzifikátů, a to s využitím konvolučních neuronových sítí (CNN). Hlavním cílem bylo vyvinout pokročilé metody, které jsou schopné identifikovat anomálie v malbách za účelem potvrzení pravosti či prokázání falzifikátu. V rámci tohoto výzkumu byly aplikovány architektury U-net a techniky binární sémantické segmentace, které výrazně zpřesňují relevanci detekovaných oblastí. Hlavním přínosem práce je 112 modelů čtyř různých architektur U-net a U-net++, které metodou binární sémantické segmentace efektivně zdůrazňují anomálie. Modely byly natrénovány na souboru obrazů s jejich synteticky vytvořenými rentgenovými snímky a uměle generovanými anomáliemi. Modely jsou tímto způsobem schopné detekovat olovnaté skvrny, hřebíky, vrstvy skrytých maleb, defekty, zatímco zároveň dokáží ignorovat nevýznamné prvky, jako jsou rámy obrazů a přeexponované rentgenové snímky. Testování modelů probíhalo ve dvou fázích. V první fázi byly hodnoceny pomocí metriky IoU na množině 400 synteticky generovaných dat, kde v nejlepších případech dosahovaly až 83,5 % IoU. V druhé fázi byly hodnoceny subjektivním způsobem na obrazech se skutečnými rentgeny a přirozenými anomáliemi. Tento přístup kombinuje tradiční rentgenové techniky s moderním počítačovým viděním, čímž odhaluje odchylky, které by mohly být přehlédnuty při standardní vizuální inspekci. Tímto přínosným spojením technologií práce otevírá nové možnosti pro ochranu uměleckých sbírek a poskytuje solidní základ pro další výzkum v oblasti detekce falzifikátů uměleckých děl pomocí umělé inteligence.
Detecting forgeries is crucial for protecting the art market and preserving the authenticity of artworks. This thesis focuses on forgery detection using convolutional neural networks (CNNs). The main goal was to develop advanced methods capable of identifying anomalies, and thus potential forgeries, in images with their X-ray photographs. During this research, U-net architectures and binary semantic segmentation techniques were applied, enabling successful anomaly detection. The main contribution of this work is 112 models of four different U-net and U-net++ architectures, which effectively highlight anomalies through the method of binary semantic segmentation. The models were trained on a set of images with their synthetically created X-ray images and artificially generated anomalies. In this way, the models can detect lead spots, nails, layers of hidden paintings, and other defects, while also being able to ignore insignificant elements, such as picture frames and overexposed X-ray images. The testing of the models occurred in two phases. In the first phase, they were evaluated using the IoU metric on a set of 400 synthetically generated data, where in the best cases, they achieved up to 83.5 % IoU. In the second phase, they were evaluated subjectively on images with real X-rays and natural anomalies. This approach combines traditional X-ray techniques with modern computer vision, revealing deviations that might be overlooked during standard visual inspection. By bridging these technologies, this work opens new possibilities for the protection of art collections and provides a solid foundation for further research in the field of art forgery detection using artificial intelligence.
Detecting forgeries is crucial for protecting the art market and preserving the authenticity of artworks. This thesis focuses on forgery detection using convolutional neural networks (CNNs). The main goal was to develop advanced methods capable of identifying anomalies, and thus potential forgeries, in images with their X-ray photographs. During this research, U-net architectures and binary semantic segmentation techniques were applied, enabling successful anomaly detection. The main contribution of this work is 112 models of four different U-net and U-net++ architectures, which effectively highlight anomalies through the method of binary semantic segmentation. The models were trained on a set of images with their synthetically created X-ray images and artificially generated anomalies. In this way, the models can detect lead spots, nails, layers of hidden paintings, and other defects, while also being able to ignore insignificant elements, such as picture frames and overexposed X-ray images. The testing of the models occurred in two phases. In the first phase, they were evaluated using the IoU metric on a set of 400 synthetically generated data, where in the best cases, they achieved up to 83.5 % IoU. In the second phase, they were evaluated subjectively on images with real X-rays and natural anomalies. This approach combines traditional X-ray techniques with modern computer vision, revealing deviations that might be overlooked during standard visual inspection. By bridging these technologies, this work opens new possibilities for the protection of art collections and provides a solid foundation for further research in the field of art forgery detection using artificial intelligence.
Description
Citation
LÁNSKÝ, D. Forenzní metoda rozpoznávání originality uměleckých děl s pomocí multispektrální analýzy [online]. Brno: Vysoké učení technické v Brně. Fakulta elektrotechniky a komunikačních technologií. 2024.
Document type
Document version
Date of access to the full text
Language of document
cs
Study field
bez specializace
Comittee
doc. Ing. Radim Burget, Ph.D. (předseda)
doc. Ing. Lukáš Malina, Ph.D. (místopředseda)
Ing. Jorge Truffin (člen)
doc. Ing. Leoš Boháč, Ph.D. (člen)
Ing. Marek Sikora (člen)
doc. Ing. Tomáš Horváth, Ph.D. (člen)
JUDr. MgA. Jakub Míšek, Ph.D. (člen)
Date of acceptance
2024-06-06
Defence
Student prezentoval výsledky své práce a komise byla seznámena s posudky.
Student obhájil diplomovou práci a odpověděl na otázky členů komise a oponenta.
Otázky oponenta:
Proč byla pro porovnání výsledků modelů použita pouze metrika IoU, když kapitola 4.1 popisuje mnohem více metrik pro hodnocení segmentačních algoritmů? - Student odpověděl na položenou otázku.
Popis trénování není zcela jasný: „Každý model byl natrénován 20krát, přičemž každá iterace zahrnovala trénink s jednou epochou na 500 obrázcích.“ Znamená to, že model byl celkově trénován na 20 epoch, nebo bylo trénování 20krát spuštěno od začátku? - Student odpověděl na položenou otázku.
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení