Zpracování síťové komunikace v prostředí Apache Spark
but.committee | doc. Dr. Ing. Petr Hanáček (předseda) prof. Ing. Martin Drahanský, Ph.D. (místopředseda) doc. Ing. Vladimír Drábek, CSc. (člen) doc. Mgr. Lukáš Holík, Ph.D. (člen) Ing. Vladimír Veselý, Ph.D. (člen) doc. Ing. Václav Zeman, Ph.D. (člen) | cs |
but.defence | Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm " A ". Otázky u obhajoby: Diskutujte původ zachycené komunikace použité během testování. Jedná se o PCAPy/JSONy náležející k nějakému ze známých datasetů, nebo Vaše vlastní? Pokud to druhé, tak jakým způsobem jste je pořídil, a jak vypovídající směs provozu obsahují? Osvětlete, jak složité by bylo Váš systém upravit, aby podporoval soubory se zachycenou komunikací i jiných formátů (např. pcapng, MNM). | cs |
but.jazyk | čeština (Czech) | |
but.program | Informační technologie | cs |
but.result | práce byla úspěšně obhájena | cs |
dc.contributor.advisor | Ryšavý, Ondřej | cs |
dc.contributor.author | Béder, Michal | cs |
dc.contributor.referee | Veselý, Vladimír | cs |
dc.date.accessioned | 2019-05-17T07:20:18Z | |
dc.date.available | 2019-05-17T07:20:18Z | |
dc.date.created | 2018 | cs |
dc.description.abstract | Táto práca rieši spôsob návrhu aplikácie na analýzu dát sieťovej komunikácie v prostredí distribuovaného systému Apache Spark. Implementáciu je možné rozdeliť do troch častí. Prvou je načítanie dát z distribuovaného úložiska HDFS, druhou analýza podporovaných sieťových protokolov a treťou distribuované vyhodnotenie výsledkov. Po vyhodnotení sú výstupy zobrazené v prostredí Apache Zeppelin. Výsledná aplikácia je schopná analyzovať jednotlivé pakety ako aj celé sieťové toky. Podporovanými formátmi vstupných dát sú pcap a JSON. Hlavným prínosom aplikácie je možnosť spracovania veľkých objemov dát. Jej výkonnosť je ovplyvnená hlavne formátom vstupných dát a využitím dostupných výpočetných jadier. | cs |
dc.description.abstract | The aim of this thesis is to show how to design and implement an application for network traces analysis using Apache Spark distributed system. Implementation can be divided into three parts - loading data from a distributed HDFS storage, supported network protocols analysis and distributed data processing. As a data visualization tool is used web-based notebook Apache Zeppelin. The resulting application is able to analyze individual packets as well as the entire flows. It supports JSON and pcap as input data formats. The goal of the application is to allow Big Data processing. The greatest impact on its performance has the input data format and allocation of the available cores. | en |
dc.description.mark | A | cs |
dc.identifier.citation | BÉDER, M. Zpracování síťové komunikace v prostředí Apache Spark [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2018. | cs |
dc.identifier.other | 114695 | cs |
dc.identifier.uri | http://hdl.handle.net/11012/84876 | |
dc.language.iso | cs | cs |
dc.publisher | Vysoké učení technické v Brně. Fakulta informačních technologií | cs |
dc.rights | Standardní licenční smlouva - přístup k plnému textu bez omezení | cs |
dc.subject | Apache Spark | cs |
dc.subject | distribuovaný | cs |
dc.subject | Big Data | cs |
dc.subject | HDFS | cs |
dc.subject | sieťový tok | cs |
dc.subject | pcap | cs |
dc.subject | Wireshark | cs |
dc.subject | Scala | cs |
dc.subject | Apache Zeppelin | cs |
dc.subject | Apache Spark | en |
dc.subject | distributed | en |
dc.subject | Big Data | en |
dc.subject | HDFS | en |
dc.subject | flow | en |
dc.subject | pcap | en |
dc.subject | Wireshark | en |
dc.subject | Scala | en |
dc.subject | Apache Zeppelin | en |
dc.title | Zpracování síťové komunikace v prostředí Apache Spark | cs |
dc.title.alternative | Network Traces Analysis Using Apache Spark | en |
dc.type | Text | cs |
dc.type.driver | masterThesis | en |
dc.type.evskp | diplomová práce | cs |
dcterms.dateAccepted | 2018-06-21 | cs |
dcterms.modified | 2020-05-10-16:13:17 | cs |
eprints.affiliatedInstitution.faculty | Fakulta informačních technologií | cs |
sync.item.dbid | 114695 | en |
sync.item.dbtype | ZP | en |
sync.item.insts | 2021.11.22 23:09:39 | en |
sync.item.modts | 2021.11.22 22:26:53 | en |
thesis.discipline | Bezpečnost informačních technologií | cs |
thesis.grantor | Vysoké učení technické v Brně. Fakulta informačních technologií. Ústav informačních systémů | cs |
thesis.level | Inženýrský | cs |
thesis.name | Ing. | cs |
Files
Original bundle
1 - 4 of 4
Loading...
- Name:
- final-thesis.pdf
- Size:
- 5.55 MB
- Format:
- Adobe Portable Document Format
- Description:
- final-thesis.pdf
Loading...
- Name:
- Posudek-Vedouci prace-20651_v.pdf
- Size:
- 86.21 KB
- Format:
- Adobe Portable Document Format
- Description:
- Posudek-Vedouci prace-20651_v.pdf
Loading...
- Name:
- Posudek-Oponent prace-20651_o.pdf
- Size:
- 89.03 KB
- Format:
- Adobe Portable Document Format
- Description:
- Posudek-Oponent prace-20651_o.pdf
Loading...
- Name:
- review_114695.html
- Size:
- 1.46 KB
- Format:
- Hypertext Markup Language
- Description:
- review_114695.html