Aplikace pro sběr záznamů událostí z počítačové infrastruktury
Loading...
Date
Authors
Žernovič, Michal
ORCID
Advisor
Referee
Mark
A
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta elektrotechniky a komunikačních technologií
Abstract
Počítačová infraštruktúra riadi súčasný svet, preto je potrebné zaistiť jej bezpečnosť, zamedziť kybernetickým útokom alebo ich odhaliť. Jednou z kľúčových bezpečnostných činností je zber a analýza záznamov generovaných naprieč sieťou. Cieľom bakalárskej práce bolo vytvoriť rozhranie, ktoré na seba dokáže pripojiť neurónovú sieť pre aplikovanie techník hlbokého učenia. Vloženie umelej inteligencie do záznamového procesu prináša mnohé výhody, ako napríklad koreláciu logov, anonymizáciu záznamov pre ochranu súkromných údajov alebo ich filtrovanie pre optimalizáciu licencie SIEM riešenia. Hlavným prínosom je vytvorenie platformy, ktorá umožní neurónovej sieti obohatiť logovací proces a tým zvýšiť celkovú bezpečnosť siete. Rozhranie funguje ako medzikrok, ktorý umožní neurónovej sieti prijímať záznamy. V teoretickej časti práca popisuje záznamové súbory, ich najpoužívanejšie formáty, štandardy a protokoly a spracovanie záznamových súborov. Taktiež sa zameriava na princípy fungovania SIEM platforiem a prehľad súčasných riešení. Ďalej popisuje neurónové siete, najmä tie, ktoré sú určené na spracovanie prirodzeného jazyka. V praktickej časti práca skúma možné cesty riešení a popisuje ich výhody a nevýhody. Zároveň analyzuje populárne zberače logov (Fluentd, Logstash, NXLog) z hľadísk ako napr. zaťaženie systému, spôsob konfigurácie, podporované operačné systémy alebo podporované vstupné formáty záznamov. Na základe analýzy riešení a zberačov logov bol zvolený prístup k tvorbe aplikácie. Rozhranie bolo vytvorené na princípe REST API, ktorá funguje vo viacerých módoch. Po prijatí záznamov zo zberača logov aplikácia umožňuje ukladanie a triedenie záznamov podľa pôvodu a ponúka užívateľovi možnosť určiť počet záznamov, ktoré budú do súboru uložené. Zozbierané logy môžu byť použité na trénovanie neurónovej siete. V ďalšom móde rozhranie preposiela záznamy priamo do AI modelu. Prijímanie a predikcia neurónovej siete prebieha s využitím vlákien. Do rozhrania bolo v experimentálnom pracovisku napojených päť zdrojov.
Computer infrastructure runs the world today, so it is necessary to ensure its security, and to prevent or detect cyber attacks. One of the key security activities is the collection and analysis of logs generated across the network. The goal of this bachelor thesis was to create an interface that can connect a neural network to itself to apply deep learning techniques. Embedding artificial intelligence into the logging process brings many benefits, such as log correlation, anonymization of logs to protect sensitive data, or log filtering for optimization a SIEM solution license. The main contribution is the creation of a platform that allows the neural network to enrich the logging process and thus increase the overall security of the network. The interface acts as an intermediary step to allow the neural network to receive logs. In the theoretical part, the thesis describes log files, their most common formats, standards and protocols, and the processing of log files. It also focuses on the working principles of SIEM platforms and an overview of current solutions. It further describes neural networks, especially those designed for natural language processing. In the practical part, the thesis explores possible solution paths and describes their advantages and disadvantages. It also analyzes popular log collectors (Fluentd, Logstash, NXLog) from aspects such as system load, configuration method, supported operating systems, or supported input log formats. Based on the analysis of the solutions and log collectors, an approach to application development was chosen. The interface was created based on the concept of a REST API that works in multiple modes. After receiving the records from the log collector, the application allows saving and sorting the records by origin and offers the user the possibility to specify the number of records that will be saved to the file. The collected logs can be used to train the neural network. In another mode, the interface forwards the logs directly to the AI model. The ingestion and prediction of the neural network are done using threads. The interface has been connected to five sources in an experimental network.
Computer infrastructure runs the world today, so it is necessary to ensure its security, and to prevent or detect cyber attacks. One of the key security activities is the collection and analysis of logs generated across the network. The goal of this bachelor thesis was to create an interface that can connect a neural network to itself to apply deep learning techniques. Embedding artificial intelligence into the logging process brings many benefits, such as log correlation, anonymization of logs to protect sensitive data, or log filtering for optimization a SIEM solution license. The main contribution is the creation of a platform that allows the neural network to enrich the logging process and thus increase the overall security of the network. The interface acts as an intermediary step to allow the neural network to receive logs. In the theoretical part, the thesis describes log files, their most common formats, standards and protocols, and the processing of log files. It also focuses on the working principles of SIEM platforms and an overview of current solutions. It further describes neural networks, especially those designed for natural language processing. In the practical part, the thesis explores possible solution paths and describes their advantages and disadvantages. It also analyzes popular log collectors (Fluentd, Logstash, NXLog) from aspects such as system load, configuration method, supported operating systems, or supported input log formats. Based on the analysis of the solutions and log collectors, an approach to application development was chosen. The interface was created based on the concept of a REST API that works in multiple modes. After receiving the records from the log collector, the application allows saving and sorting the records by origin and offers the user the possibility to specify the number of records that will be saved to the file. The collected logs can be used to train the neural network. In another mode, the interface forwards the logs directly to the AI model. The ingestion and prediction of the neural network are done using threads. The interface has been connected to five sources in an experimental network.
Description
Keywords
API, bezpečnosť, formáty logov, neurónové siete, predtrénované modely, SIEM, spracovanie logov, spracovanie prirodzeného jazyka, štandardy logov, transformers, zberač logov., API, log collector, log formats, log processing, log standards, natural language processing, neural networks, pre-trained models, security, SIEM, transformers.
Citation
ŽERNOVIČ, M. Aplikace pro sběr záznamů událostí z počítačové infrastruktury [online]. Brno: Vysoké učení technické v Brně. Fakulta elektrotechniky a komunikačních technologií. 2023.
Document type
Document version
Date of access to the full text
Language of document
sk
Study field
bez specializace
Comittee
doc. Ing. Petr Mlýnek, Ph.D. (předseda)
doc. Ing. Zdeněk Martinásek, Ph.D. (místopředseda)
Mgr. Ondřej Woznica (člen)
Ing. Pavel Vajsar, Ph.D. (člen)
Bc. Jakub Duchoň, MSc (člen)
Ing. Lukáš Benešl (člen)
Date of acceptance
2023-06-13
Defence
Student prezentoval výsledky své práce a komise byla seznámena s posudky. Student obhájil bakalářskou práci a odpověděl na otázky členů komise a oponenta.
Otázky:
Zkoušel jste i nějaké zátěžové testování? Třeba větší počet připojených Logstash sběračů nebo více souběžných požadavků.
Adaptér s umělou inteligencí jste dostal nebo vytvořil?
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení