Útoky na AI a modely strojového učení
Loading...
Date
Authors
Kejdová, Klára
ORCID
Advisor
Referee
Mark
C
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Tato práce se zabývá zranitelnostmi a vektory útoků zaměřenými na systémy umělé inteligence (AI) a strojového učení (ML) a poskytuje důkladnou analýzu zranitelností v průběhu jejich životního cyklu. Zabývá se principem a vznikem jednotlivých technik AI jako je hluboké učení, zpracování přirozeného jazyka a počítačové vidění. Na základě těchto vědomostí spolu s analýzou rizik, která detailně popisuje motivy, vědomosti útočníků a analýzu následků útoků provedenou těmito útočníky, jsou vymodelovány tři vektory útoku. Tyto vektory mají za úkol demonstrovat skutečný případ nasazení jazykového modelu v rámci komerčních webů a způsoby, jakými lze takový model napadnout a zneužít ve prospěch útočníka a poukázat tak na potenciální mezery v zabezpečení a jejich následky. V navazující a poslední části budou tyto navržené vektory útoku demonstrovány na lokálně nasazeném modelu Mety, LLaMA 3.2 1B Instruct, jenž představuje zástupce běžně používaných jazykových modelů.
This paper examines vulnerabilities and attack vectors targeting Artificial Intelligence (AI) and Machine Learning (ML) systems and provides a thorough analysis of vulnerabilities throughout their lifecycle. It discusses the principles and emergence of various AI techniques such as deep learning, natural language processing and computer vision. Three attack vectors are modelled based on this knowledge, along with a risk analysis that details the motives, knowledge of the attackers, and analysis of the consequences of attacks carried out. These vectors are intended to demonstrate a real-world case of deploying a language model within a commercial website and how it can be attacked and exploited to the attacker’s advantage, thus highlighting potential security gaps and consequences. In the subsequent and final section, these proposed attack vectors will be demonstrated on a locally deployed Meta’s LLaMA 3.2 1B Instruct model, which is representative of commonly used language models.
This paper examines vulnerabilities and attack vectors targeting Artificial Intelligence (AI) and Machine Learning (ML) systems and provides a thorough analysis of vulnerabilities throughout their lifecycle. It discusses the principles and emergence of various AI techniques such as deep learning, natural language processing and computer vision. Three attack vectors are modelled based on this knowledge, along with a risk analysis that details the motives, knowledge of the attackers, and analysis of the consequences of attacks carried out. These vectors are intended to demonstrate a real-world case of deploying a language model within a commercial website and how it can be attacked and exploited to the attacker’s advantage, thus highlighting potential security gaps and consequences. In the subsequent and final section, these proposed attack vectors will be demonstrated on a locally deployed Meta’s LLaMA 3.2 1B Instruct model, which is representative of commonly used language models.
Description
Keywords
zabezpečení umělé inteligence, zranitelnosti strojového učení, nepřátelské útoky, otrava dat, hrozby životního cyklu AI, rizika zpracování přirozeného jazyka, vektorové modelování útoku, jailbreak útok, obcházení etických filtrů, útoky postranním kanálem, etické nasazení AI, analýza rizik AI, artificial intelligence security, machine learning vulnerabilities, adversarial attacks, data poisoning, AI lifecycle threats, natural language processing risks, attack vector modelling, jailbreak attack, ethical filter evasion, side-channel attacks, ethical AI deployment, AI risk analysis
Citation
KEJDOVÁ, K. Útoky na AI a modely strojového učení [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2025.
Document type
Document version
Date of access to the full text
Language of document
en
Study field
Informační technologie
Comittee
doc. Dr. Ing. Otto Fučík (předseda)
Mgr. Kamil Malinka, Ph.D. (člen)
doc. Ing. Michal Bidlo, Ph.D. (člen)
Ing. Vladimír Veselý, Ph.D. (člen)
Ing. David Bařina, Ph.D. (člen)
Date of acceptance
2025-06-20
Defence
Studentka nejprve prezentovala výsledky, kterých dosáhla v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Studentka následně odpověděla na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studentky na položené otázky rozhodla práci hodnotit stupněm C.
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení