Útoky na algoritmy AI a obrany proti nim

Abstract

Bezpečnost AI a útoky na umělou inteligenci představují komplexní a dosud nedostatečně prozkoumanou problematiku. Cílem této práce je nabídnout ucelený přehled klíčových metod a možných vysvětlení útoků na AI a obran proti nim, aby se toto téma stalo přístupnějším a srozumitelnějším pro širší publikum, a tím usnadnit hlubší zkoumání a porozumění těmto útokům. Tato práce zahrnuje výběr metod pro vysvětlení jednotlivých klasifikačních rozhodnutí klasifikátorů hlubokého učení (Explainable AI: XAI) a jejich aplikaci při analýze rozhodovacího procesu klasifikátorů během útoků. K usnadnění vytváření dalších experimentů, monitorování útoků na AI a hledání možných vysvětlení byl navíc vyvinut skript, který tento proces zjednodušuje. Tento skript je součástí této práce a je poskytnut na přiloženém médiu.The trustworthiness of AI, adversarial attacks on AI, and explainability of deep machine learning models represent complex and insufficiently explored topics. This thesis provides a comprehensive overview of state-of-the-art key methods for adversarial attacks on AI in computer vision, their explanation and prevention. By making this topic more accessible and understandable, the work aims to engage a broader audience in research of the security of AI and explainability of AI. Furthermore, this thesis delves into methods for explaining individual classification decisions of deep learning classifiers through Explainable AI (XAI) techniques. It also introduces a tool that integrates different methods for conducting adversarial examples with the application of XAI methods, allowing for monitoring AI attacks and analyzing the decision-making process of deep classifiers during such attacks.