Útoky na algoritmy AI a obrany proti nim
Loading...
Date
Authors
Gregorová, Jana
ORCID
Advisor
Referee
Mark
C
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Bezpečnost AI a útoky na umělou inteligenci představují komplexní a dosud nedostatečně prozkoumanou problematiku. Cílem této práce je nabídnout ucelený přehled klíčových metod a možných vysvětlení útoků na AI a obran proti nim, aby se toto téma stalo přístupnějším a srozumitelnějším pro širší publikum, a tím usnadnit hlubší zkoumání a porozumění těmto útokům. Tato práce zahrnuje výběr metod pro vysvětlení jednotlivých klasifikačních rozhodnutí klasifikátorů hlubokého učení (Explainable AI: XAI) a jejich aplikaci při analýze rozhodovacího procesu klasifikátorů během útoků. K usnadnění vytváření dalších experimentů, monitorování útoků na AI a hledání možných vysvětlení byl navíc vyvinut skript, který tento proces zjednodušuje. Tento skript je součástí této práce a je poskytnut na přiloženém médiu.
The trustworthiness of AI, adversarial attacks on AI, and explainability of deep machine learning models represent complex and insufficiently explored topics. This thesis provides a comprehensive overview of state-of-the-art key methods for adversarial attacks on AI in computer vision, their explanation and prevention. By making this topic more accessible and understandable, the work aims to engage a broader audience in research of the security of AI and explainability of AI. Furthermore, this thesis delves into methods for explaining individual classification decisions of deep learning classifiers through Explainable AI (XAI) techniques. It also introduces a tool that integrates different methods for conducting adversarial examples with the application of XAI methods, allowing for monitoring AI attacks and analyzing the decision-making process of deep classifiers during such attacks.
The trustworthiness of AI, adversarial attacks on AI, and explainability of deep machine learning models represent complex and insufficiently explored topics. This thesis provides a comprehensive overview of state-of-the-art key methods for adversarial attacks on AI in computer vision, their explanation and prevention. By making this topic more accessible and understandable, the work aims to engage a broader audience in research of the security of AI and explainability of AI. Furthermore, this thesis delves into methods for explaining individual classification decisions of deep learning classifiers through Explainable AI (XAI) techniques. It also introduces a tool that integrates different methods for conducting adversarial examples with the application of XAI methods, allowing for monitoring AI attacks and analyzing the decision-making process of deep classifiers during such attacks.
Description
Citation
GREGOROVÁ, J. Útoky na algoritmy AI a obrany proti nim [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2024.
Document type
Document version
Date of access to the full text
Language of document
en
Study field
Kybernetická bezpečnost
Comittee
doc. Dr. Ing. Petr Hanáček (předseda)
doc. Ing. Michal Bidlo, Ph.D. (člen)
doc. Mgr. Adam Rogalewicz, Ph.D. (člen)
doc. Ing. Petr Matoušek, Ph.D., M.A. (člen)
Mgr. Kamil Malinka, Ph.D. (člen)
Ing. Vladimír Veselý, Ph.D. (člen)
Date of acceptance
2024-06-17
Defence
Studentka nejprve prezentovala výsledky, kterých dosáhla v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Studentka následně odpověděla na otázky oponenta a na další otázky přítomných, např. ohledně možností přístupu k návrhu ochranných metod, využití dodatečné informace pro klasifikátor či typu použité databanky a případného dodání šumu. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studentky na položené otázky rozhodla práci hodnotit stupněm C - dobře.
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení