Vliv AI nástrojů na kvalitu a bezpečnost kódu
| but.committee | doc. Dr. Ing. Petr Hanáček (předseda) doc. Ing. Michal Bidlo, Ph.D. (člen) doc. Mgr. Lukáš Holík, Ph.D. (člen) prof. Ing. Tomáš Hruška, CSc. (člen) Mgr. Kamil Malinka, Ph.D. (člen) Ing. Vladimír Veselý, Ph.D. (člen) | cs |
| but.defence | Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A. | cs |
| but.jazyk | angličtina (English) | |
| but.program | Informační technologie a umělá inteligence | cs |
| but.result | práce byla úspěšně obhájena | cs |
| dc.contributor.advisor | Malinka, Kamil | en |
| dc.contributor.author | Vinarčík, Peter | en |
| dc.contributor.referee | Holop, Patrik | en |
| dc.date.created | 2024 | cs |
| dc.description.abstract | Táto práca predstavuje novovytvorenú aplikáciu, ktorá je schopná vykonávať large scale výskum pre hodnotenie bezpečnosti a kvality kódu generovaného AI. Tiež bol predstavený nový spôsob vyhodnocovania bezpečnosti kódu generovaného AI, za využitia MITRE's metodológie v kombinácii so SAST toolmi vykonávajúcimi statickú analýzu nad kódom. Aplikácia je navyše rozšírená o vylepšeného AI chatbota, ktorého výstup je obohatený o výsledky statickej analýzy v čase generovania. Užívateľ vloží dataset promptov do aplikácie, a v prípade, že bol pre určitý prompt vygenerovaný kód so zraniteľnosťou, je táto zraniteľnosť ohodnotená zavedenou metodológiou a užívateľ dostáva informáciu nie len o tom, že kód je zraniteľný, ale ako veľmi. Súčasťou riešenia je aj oproti existujúcim výskumom veľké, pilotné testovanie popularných AI ako ChatGPT-4 či Gemini, nad datasetom promptov s využitím novej aplikácie. Výsledky ukázali dominanciu ChatGPT-4 bežiacom na modeli GPT-4, oproti ostatným testovaným AI. | en |
| dc.description.abstract | This work presents a newly developed application that is able to perform fully automated large-scale research for evaluating the safety and quality of AI-generated code. Also, a new way of evaluating the safety of AI-generated code has been presented, utilizing MITRE's methodology in combination with SAST tools performing static analysis on the code. In addition, the application is enhanced with an improved AI chatbot whose output is enhanced with the results of static analysis at generation time. The user inputs a dataset of prompts into the application, and if code with a vulnerability has been generated for a particular prompt, that vulnerability is scored by the established methodology, and the user is informed not only that the code is vulnerable, but how vulnerable it is. As part of the solution, large-scale, pilot testing of popular AIs, such as ChatGPT-4 or Gemini, is performed over a dataset of prompts using the new application, in contrast to existing studies. The results showed the dominance of ChatGPT-4 running on the GPT-4 model, over the other AIs tested. | cs |
| dc.description.mark | A | cs |
| dc.identifier.citation | VINARČÍK, P. Vliv AI nástrojů na kvalitu a bezpečnost kódu [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2024. | cs |
| dc.identifier.other | 154377 | cs |
| dc.identifier.uri | http://hdl.handle.net/11012/248992 | |
| dc.language.iso | en | cs |
| dc.publisher | Vysoké učení technické v Brně. Fakulta informačních technologií | cs |
| dc.rights | Standardní licenční smlouva - přístup k plnému textu bez omezení | cs |
| dc.subject | generatívna umelá inteligencia | en |
| dc.subject | llm | en |
| dc.subject | bezpečnosť | en |
| dc.subject | kyberbezpečnosť | en |
| dc.subject | statická analýza | en |
| dc.subject | sast | en |
| dc.subject | bandit | en |
| dc.subject | semgrep | en |
| dc.subject | codeql | en |
| dc.subject | chatgpt | en |
| dc.subject | gpt | en |
| dc.subject | gemini | en |
| dc.subject | copilot | en |
| dc.subject | generative AI | cs |
| dc.subject | llm | cs |
| dc.subject | security | cs |
| dc.subject | cybersecurity | cs |
| dc.subject | static analysis | cs |
| dc.subject | sast | cs |
| dc.subject | bandit | cs |
| dc.subject | semgrep | cs |
| dc.subject | codeql | cs |
| dc.subject | chatgpt | cs |
| dc.subject | gpt | cs |
| dc.subject | gemini | cs |
| dc.subject | copilot | cs |
| dc.title | Vliv AI nástrojů na kvalitu a bezpečnost kódu | en |
| dc.title.alternative | Impact of AI Tools on Code Quality and Security | cs |
| dc.type | Text | cs |
| dc.type.driver | masterThesis | en |
| dc.type.evskp | diplomová práce | cs |
| dcterms.dateAccepted | 2024-06-20 | cs |
| dcterms.modified | 2024-06-20-14:39:28 | cs |
| eprints.affiliatedInstitution.faculty | Fakulta informačních technologií | cs |
| sync.item.dbid | 154377 | en |
| sync.item.dbtype | ZP | en |
| sync.item.insts | 2025.03.26 15:38:28 | en |
| sync.item.modts | 2025.01.15 21:43:26 | en |
| thesis.discipline | Kybernetická bezpečnost | cs |
| thesis.grantor | Vysoké učení technické v Brně. Fakulta informačních technologií. Ústav inteligentních systémů | cs |
| thesis.level | Inženýrský | cs |
| thesis.name | Ing. | cs |