Výpočetní úlohy pro řešení paralelního zpracování dat
Loading...
Date
Authors
Rexa, Denis
ORCID
Advisor
Referee
Mark
A
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta elektrotechniky a komunikačních technologií
Abstract
Cieľom tejto práce bolo vytvoriť štyri laboratórne úlohy pre predmet „Paralelní zpracování dat“, kde si študenti vyskúšajú prácu a možnosti technológie Apache Spark ako platformy na paralelný výpočet. Práca zahŕňa aj základné nastavenie a používanie technológie Apache Kafka či NoSQL databáze Apache Cassandra. Zvyšné dve laboratórne úlohy sa zameriavajú na prácu s Problémom obchodného cestujúceho. Prvá z nich má demonštrovať náročnosť úlohy, kde sa študent bude potýkať s exponenciálnym nárastom zložitosti. Druhá úloha pozostáva optimalizačného algoritmu na riešenie problému v clustery. Tento algoritmus je podrobený výkonnostným meraniam v clustery. Záver práce obsahuje odporúčania pre optimalizáciu ale aj porovnanie behu pri rôznom počte výpočtových zariadení.
The goal of this diploma thesis was to create four laboratory exercises for the subject "Parallel Data Processing", where students will try on the options and capabilities of Apache Spark as a parallel computing platform. The work also includes basic setup and use of Apache Kafka technology and NoSQL Apache Cassandra database. The other two lab assignments focus on working with a Travelling Salesman Problem. The first lab was designed to demonstrate the difficulty of a task where the student will face an exponential increase in complexity. The second task consists of an optimization algorithm to solve the problem in cluster. This algorithm is subjected to performance measurements in clusters. The conclusion of the thesis contains recommendations for optimization as well as comparison of running with different number of computing devices.
The goal of this diploma thesis was to create four laboratory exercises for the subject "Parallel Data Processing", where students will try on the options and capabilities of Apache Spark as a parallel computing platform. The work also includes basic setup and use of Apache Kafka technology and NoSQL Apache Cassandra database. The other two lab assignments focus on working with a Travelling Salesman Problem. The first lab was designed to demonstrate the difficulty of a task where the student will face an exponential increase in complexity. The second task consists of an optimization algorithm to solve the problem in cluster. This algorithm is subjected to performance measurements in clusters. The conclusion of the thesis contains recommendations for optimization as well as comparison of running with different number of computing devices.
Description
Citation
REXA, D. Výpočetní úlohy pro řešení paralelního zpracování dat [online]. Brno: Vysoké učení technické v Brně. Fakulta elektrotechniky a komunikačních technologií. 2019.
Document type
Document version
Date of access to the full text
Language of document
sk
Study field
Telekomunikační a informační technika
Comittee
prof. Ing. Jiří Mišurec, CSc. (předseda)
prof. Ing. Radek Martinek, Ph.D. (místopředseda)
Ing. Jan Skapa, Ph.D. (člen)
Ing. et Ing. Petr Musil (člen)
Ing. Jan Mašek, Ph.D. (člen)
Ing. Ondřej Sládok (člen)
Date of acceptance
2019-06-05
Defence
Student prezentoval výsledky své práce a komise byla seznámena s posudky.
Student obhájil diplomovou práci a odpověděl na otázky členů komise a oponenta.
1) Bylo by možné použít pro řešení problému obchodního cestujicího pouze platformu Apache Kafka?
2) Uveďte nějaký jiný příklad úlohy, která by byla vhodná pro demonstraci schopností Apache Spark Streaming.
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení