Zpracování síťové komunikace v prostředí Apache Spark
Loading...
Date
Authors
Béder, Michal
Advisor
Referee
Mark
A
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
ORCID
Abstract
Táto práca rieši spôsob návrhu aplikácie na analýzu dát sieťovej komunikácie v prostredí distribuovaného systému Apache Spark. Implementáciu je možné rozdeliť do troch častí. Prvou je načítanie dát z distribuovaného úložiska HDFS, druhou analýza podporovaných sieťových protokolov a treťou distribuované vyhodnotenie výsledkov. Po vyhodnotení sú výstupy zobrazené v prostredí Apache Zeppelin. Výsledná aplikácia je schopná analyzovať jednotlivé pakety ako aj celé sieťové toky. Podporovanými formátmi vstupných dát sú pcap a JSON. Hlavným prínosom aplikácie je možnosť spracovania veľkých objemov dát. Jej výkonnosť je ovplyvnená hlavne formátom vstupných dát a využitím dostupných výpočetných jadier.
The aim of this thesis is to show how to design and implement an application for network traces analysis using Apache Spark distributed system. Implementation can be divided into three parts - loading data from a distributed HDFS storage, supported network protocols analysis and distributed data processing. As a data visualization tool is used web-based notebook Apache Zeppelin. The resulting application is able to analyze individual packets as well as the entire flows. It supports JSON and pcap as input data formats. The goal of the application is to allow Big Data processing. The greatest impact on its performance has the input data format and allocation of the available cores.
The aim of this thesis is to show how to design and implement an application for network traces analysis using Apache Spark distributed system. Implementation can be divided into three parts - loading data from a distributed HDFS storage, supported network protocols analysis and distributed data processing. As a data visualization tool is used web-based notebook Apache Zeppelin. The resulting application is able to analyze individual packets as well as the entire flows. It supports JSON and pcap as input data formats. The goal of the application is to allow Big Data processing. The greatest impact on its performance has the input data format and allocation of the available cores.
Description
Keywords
Apache Spark , distribuovaný , Big Data , HDFS , sieťový tok , pcap , Wireshark , Scala , Apache Zeppelin , Apache Spark , distributed , Big Data , HDFS , flow , pcap , Wireshark , Scala , Apache Zeppelin
Citation
BÉDER, M. Zpracování síťové komunikace v prostředí Apache Spark [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2018.
Document type
Document version
Date of access to the full text
Language of document
cs
Study field
Bezpečnost informačních technologií
Comittee
doc. Dr. Ing. Petr Hanáček (předseda)
prof. Ing. Martin Drahanský, Ph.D. (místopředseda)
doc. Ing. Vladimír Drábek, CSc. (člen)
doc. Mgr. Lukáš Holík, Ph.D. (člen)
Ing. Vladimír Veselý, Ph.D. (člen)
doc. Ing. Václav Zeman, Ph.D. (člen)
Date of acceptance
2018-06-21
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm " A ". Otázky u obhajoby: Diskutujte původ zachycené komunikace použité během testování. Jedná se o PCAPy/JSONy náležející k nějakému ze známých datasetů, nebo Vaše vlastní? Pokud to druhé, tak jakým způsobem jste je pořídil, a jak vypovídající směs provozu obsahují? Osvětlete, jak složité by bylo Váš systém upravit, aby podporoval soubory se zachycenou komunikací i jiných formátů (např. pcapng, MNM).
Result of defence
práce byla úspěšně obhájena