Vyhledávání podobností v síťových datech

Abstract

Tato práce se zabývá analýzou záznamů o IP tocích. Záznam obsahuje metadata o IP toku na dané síti, jako IP adresy, čísla portů, čísla komunikačních protokolů a další. Cílem je návrh a implementace metody pro určování podobností mezi NetFlow záznamy. V první části práce je popis analýzy velkého množství dat. Dále jsou předvedeny techniky monitorování sítě a technologie NetFlow. Další části práce jsou věnovány návrhu a implementaci analýzy dat pomocí DBSCANu a hierarchické aglomerativní analýzy. Součástí práce je implementace aplikace pro analýzu síťových metadat. Výslednou aplikaci je možné použít pro detekci skenování sítě v NetFlow datech, ale výsledky nejsou jednoznačné, zejména obsahují i záznamy, které k útoku nepatří.This bachelor thesis is interested in analyzing IP flow records. IP flow record contains IP flow metadata of specific network communication such as IP addresses, port numbers, network protocol numbers and other. Main goal is to design and implement method for determination of similarity of NetFlow records. At the beginning of this thesis is description of how to analyze great amount of data. Next there are shown network monitoring technicies and NetFlow. Other parts of this thesis are dedicated to design and implementation of data analysis using DBSCAN and agglomerative hierarchical clustering algorithms. Implementation of data analysis application is also part of this thesis. As a result, the application can be used to network scan detection using NetFlow data although the results are not very clear and contain a lot of legitimate communication.