Využití reputačního skóre a skóre anomálií pro hodnocení událostí v logovacích souborech

Abstract

Pro administrátory, bezpečnostní inženýry a síťové experty je nemožné sledovat současné množství dat proudící v počítačových sítích. Komplexní systémy jako IDS nebo IPS jsou navrženy tak, aby kromě své primární funkce také ukládaly síťový provoz. Cílem této práce je automaticky redukovat počet záznamů v lozích generovaných těmito systémy tak, aby obsahovaly pouze nejdůležitější informace. Anomální a reputační skóre představují metriky pro rozhodování tohoto problému - zda je záznam v logu důležitý či nikoliv. Cílem práce je prozkoumat současný stav metod běžně používaných pro tyto účely a navrhnout řešení, jak využít data síťových analyzátorů, jako je Suricata, k detekci anomálií v provozu a ohodnocení reputace síťových uzlů. Je vyvinuto kompletní řešení od zpracování dat, výpočtu skóre, redukce velikosti logů výběrem důležitých záznamů, a interpretace výsledků. Řešení je demonstrováno na reálných datech. Jsou diskutovány možnosti využití výsledků a použitých metod, jejich možné vylepšení a možné rozšíření v budoucích pracech.The current amount of data flowing through computer networks cannot be monitored by individuals. This data is also being saved by IDS or IPS systems to logs, which grow ever faster. The goal is thus to automatically reduce the amount of such logs, for them to contain only the most valuable information. Rating scores, such as anomaly score or a reputation scores, are valid metrics for determining whether the information (i.e., log event) is valuable or not. The goal of this thesis is to explore the current state of methods used for anomaly detection and reputation scoring. And to propose a solution on how to use data captured in the logs of network analysers like Suricata to detect anomalies in the traffic and score network nodes. A complete solution from data processing, scoring using methods for computation of reputation score and anomaly detection, and result interpretation, is developed and demonstrated on real-world data. A way of reducing the amount of log events by using the calculated scores is demonstrated. A resulting method of combining both scores to automatically rate the log events is demonstrated and explained on examples of the real scored data. Possible future uses of the results are discussed.