Integrace výpočetních zdrojů Amazon Compute Cloud do systému k-Dispatch

Abstract

Cílem této práce je prozkoumat možnosti provozování high-performance computingu v cloudu a integrovat tyto výpočetní zdroje do systému k-Dispatch. Značná část je věnována průzkumu dostupných služeb od společnosti Amazon a detailnímu popisu postupů, které s nasazením těchto technologií souvisejí. Následně je zvolena konkrétní služba, na které je výsledná architektura komunikačního modulu pro systém k-Dispatch navržena a implementována. Funkčnost tohoto řešení je ověřena za pomoci demonstrační aplikace, jež představuje zjednodušenou verzi systému k-Dispatch a umožňuje generování a spouštění grafů úloh různých typů, včetně pokročilých medicínských simulací. Pro účely správy tohoto řešení byla rovněž navržena a implementována aplikace umožňující konfiguraci vzdálených výpočetních a úložných prostředků.

The goal of this thesis is to explore the possibilities of running high-performance computing workloads in the cloud and integrating these resources into the k-Dispatch system. A significant portion is dedicated to the analysis of the currently available services from Amazon, along with a description of the deployment process for such solutions. An optimal service is selected, and a communication module for k-Dispatch, utilizing this service, is designed and implemented. The functionality of this solution is then evaluated using a demonstration application, which represents a simplified version of the k-Dispatch system. It is capable of generating and executing various types of job graphs, including advanced medical simulations. Additionally, a resource provisioning application is developed, allowing straightforward management of remote compute and storage resources.