Ověření pravosti podpisu s využitím algoritmů založených na neuronových sítích
Loading...
Date
Authors
Čírtek, Petr
ORCID
Advisor
Referee
Mark
A
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta elektrotechniky a komunikačních technologií
Abstract
Podpis je jednou z nejpoužívanějších biometrik v bankovnictví a při uzavírání smluv, proto je zpětné ověření pravosti podpisu důležité. Toto ověření se dá provést za pomoci forenzního specialisty, nebo, díky nástupu pokročilých technologií, za pomoci výpočetní techniky. Účelem této práce je vytvořit metody ověření pravosti podpisu využitím neuronových sítí pro český typ podpisu a zjistit, zdali přidání manuálně získaných příznaků ke konvoluční analýze vylepší tyto metody. Neuronové sítě se snaží replikovat fungování lidského mozku, sestávají ze vstupních neuronů, několika skrytých vrstev a výstupních neuronů. Neuronové sítě jsou jedny z nejoblíbenějších technologií umělé inteligence pro analýzu a klasifikaci obrázků. Navržené metody v této práci fungují na principech konvolučních sítí. První metoda se skládá ze tří konvolučních vrstev, které z obrázku podpisu získávají důležité vlastnosti, které předají plně propojené vrstvě s klasifikátorem. Ten určí, zdali jde o podpis pravý, či falešný. Zároveň byly pro tuto metodu vytvořeny dvě funkce, které dokáží interpretovat její rozhodování. Druhá metoda, siamské konvoluční neuronové sítě, na rozdíl od první nepracuje s podpisy samostatně, ale využívá pro určení pravosti referenční obrázek podpisu. Základem této metody je vytažení příznaků pomocí konvoluční analýzy jak z referenčního podpisu, tak z podpisu, který je určen na ověření. Tyto příznaky se následně spojí a předají klasifikátoru. Pro natrénování modelů, které by ověřovaly český typ podpisů, byla vytvořena česká datová množina. Z experimentů bylo zjištěno, že přidání příznaků má potenciál vylepšit přesnost predikcí metod založených na konvoluční analýze obrazu. Byly natrénovány 3 modely, které s přesností vyšší než 80 \% dokáží ověřovat český typ podpisů, a to: model metody konvoluční neuronové sítě s příznakem diskrétní vlnkové transformace, který byl trénovaný na české datové množině, model stejné metody trénovaný na množině CEDAR s příznakem počtu tahů a model metody siamské konvoluční neuronové sítě trénovaný na české množině podpisů s příznakem tri-surface.
Signature is one of the most used biometrics in banking and contracting therefore is important to verificate signature authenticity. Verification can be done with the help of a forensic specialist or, thanks to the rise of advanced technology, with the help of a computing technology. The purpose of this thesis is to develop methods for signature verification using neural networks for Czech type of signature and to find out if adding manual extracted features to convolutional analysis could improve these methods. Neural networks seek to replicate the functioning of human brain, consisting of input neurons, several hidden layers and output neurons. Neural networks are one of the most popular artificial intelligence technologies for image analysis and classification. The proposed methods in this thesis work on the principles of convolutional networks. The first proposed method consist of three convolutional layers which extract important features from image of signature and pass them to fully connected classifier layer. This determines whether the signature is genuine or forgery. Also for this method there were created two functions which can interpret it's decision-making. The second method, siamese neural network, unlike the first, does not work with signatures independently, but uses a reference signature image to determine authenticity. The basis of this method is to extract features with convolutional analysis from both the reference signature and the signature to be authenticated. These features are then concatenated and passed to the clasificator. A Czech dataset was created to train models that would verify the Czech type of signatures. From the experiments, it was found that the addition of manualy extracted features has the potential to improve the prediction accuracy of methods based on convolutional image analysis. 3 models were trained, which can verify the Czech type of signatures with an accuracy higher than 80 \%, namely: the model of the convolutional neural network method with discrete wavelet transformation feature, which was trained on the Czech dataset, the model of the same method trained on the CEDAR dataset with number of strokes as added feature and a siamese convolutional neural network method model trained on the Czech dataset of signatures with the tri-surface feature.
Signature is one of the most used biometrics in banking and contracting therefore is important to verificate signature authenticity. Verification can be done with the help of a forensic specialist or, thanks to the rise of advanced technology, with the help of a computing technology. The purpose of this thesis is to develop methods for signature verification using neural networks for Czech type of signature and to find out if adding manual extracted features to convolutional analysis could improve these methods. Neural networks seek to replicate the functioning of human brain, consisting of input neurons, several hidden layers and output neurons. Neural networks are one of the most popular artificial intelligence technologies for image analysis and classification. The proposed methods in this thesis work on the principles of convolutional networks. The first proposed method consist of three convolutional layers which extract important features from image of signature and pass them to fully connected classifier layer. This determines whether the signature is genuine or forgery. Also for this method there were created two functions which can interpret it's decision-making. The second method, siamese neural network, unlike the first, does not work with signatures independently, but uses a reference signature image to determine authenticity. The basis of this method is to extract features with convolutional analysis from both the reference signature and the signature to be authenticated. These features are then concatenated and passed to the clasificator. A Czech dataset was created to train models that would verify the Czech type of signatures. From the experiments, it was found that the addition of manualy extracted features has the potential to improve the prediction accuracy of methods based on convolutional image analysis. 3 models were trained, which can verify the Czech type of signatures with an accuracy higher than 80 \%, namely: the model of the convolutional neural network method with discrete wavelet transformation feature, which was trained on the Czech dataset, the model of the same method trained on the CEDAR dataset with number of strokes as added feature and a siamese convolutional neural network method model trained on the Czech dataset of signatures with the tri-surface feature.
Description
Citation
ČÍRTEK, P. Ověření pravosti podpisu s využitím algoritmů založených na neuronových sítích [online]. Brno: Vysoké učení technické v Brně. Fakulta elektrotechniky a komunikačních technologií. 2024.
Document type
Document version
Date of access to the full text
Language of document
cs
Study field
bez specializace
Comittee
doc. Ing. Karel Burda, CSc. (předseda)
Ing. Anna Kubánková, Ph.D. (člen)
Andrej Krištofík (člen)
Ing. Ľuboš Nagy, Ph.D. (člen)
Ing. Ivo Strašil (člen)
doc. Ing. Petr Münster, Ph.D. (místopředseda)
Ing. David Kohout (člen)
Date of acceptance
2024-06-10
Defence
Student prezentoval výsledky své práce a komise byla seznámena s posudky. Student obhájil bakalářskou práci a odpověděl na otázky členů komise a oponenta.
Otázky:
1. V rámci sekcie predspracovania dát uvádzate, že prebieha augmentácia snímkov pripraveného datasetu a to napríklad aplikovaním rotácie obrázkov o +-10 stupňov. Na to vo vašom zdrojovom kóde pravdepodobne používate funkciu def rand_rotate(image). Prosím vysvetlite jej funkčnosť.
2. V práci uvádzate vašu navrhnutú architektúru samotnej neuronovej siete. Aký ste zvolili postup pri samotnom návrhu a testovaní neuronovej siete tohoto typu. Prosím vysvetlite.
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení