Porovnání paralelních souborových systémů

Abstract

Cílem této práce bylo porovnání několika zástupců paralelních souborových systému. Zaměřuje se na výkonnost operací čtení/zápis v závislosti na různých typech zátěže a spolehlivost systémů, která sleduje odolnost proti výpadkům a ztrátě dat. První část práce je věnována studiu osmi nejrozšířenějších zástupců paralelních souborových systému. Z nich byly vybráni tři konkrétní systémy pro podrobnější zkoumání: Lustre, GlusterFS a CephFS. Za účelem jejich otestování byla navržena a implementována automatizovaná sada testovacích úloh. Vybrané systémy byly postupně nainstalovány na testovací hardware a otestovány pomocí připravené testovací sady. Naměřené výsledky byly popsány a vzájemně porovnány. Závěrečná část práce hodnotí vlastnosti zvolených systémů a jejich vhodnost pro konkrétní typy zátěže.The goal of this thesis was to explore several parallel file systems, and to evaluate their performance under various conditions. The main focus of this assessment were read and write speeds in different workloads, the reliability of each system, and also their ability to protect from data loss. Initially, this thesis introduces eight of the most commonly used parallel file systems. From these, three were selected for further testing: Lustre, GlusterFS, and CephFS. To be able to evaluate their performance accurately, a suite of automated tests was developed. These benchmarks were run for each individual file system in our testing lab. The final part of this work evaluates the results and discusses the features of each of the file systems and their suitability for particular workloads.