Efektivní komunikace v multi-GPU systémech
Loading...
Date
Authors
ORCID
Advisor
Referee
Mark
C
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Po predstavení CUDA technológie od Nvidie možu byť na grafických kartách počítané všeobecné výpočty. Grafické karty sú v podstate paralelné procesory s vysokým výpočtovým výkonom. Moderné superpočítače bývajú vybavené grafickými kartami ako akcelerátormi. Pri niektorých aplikáciach však výkon alebo pamäť jednej grafickej karty nestačí. Výpočet musí byť rozdelený medzi niekoľko grafických kariet. Počas výpočtu je potrebné vymieňať medzi grafickými kartami čiastkové výsledky. Táto komunikácia značne brzdí výpočet. Preto je potrebné skúmať metódy efektívnej komunikácie medzi grafickými kartami - metódy ktoré menej zapájajú CPU, znižujú odozvu a zdieľajú systémové zásobníky. V tejto práci je skúmaná komunikácia grafických kariet v rámci jedného uzla aj v rámci celého superpočítača. Hlavný dôraz je na technológie GPUDirect od Nvidie a CUDA-Aware MPI. Následne je predstavený k-Wave toolbox, aplikácia pre simuláciu šírenia akustických vĺn. Táto aplikácia je akcelerovaná pomocou CUDA-Aware MPI.
After the introduction of CUDA by Nvidia, the GPUs became devices capable of accelerating any general purpose computation. GPUs are designed as parallel processors which posses huge computation power. Modern supercomputers are often equipped with GPU accelerators. Sometimes the performance or the memory capacity of a single GPU is not enough for a scientific application. The application needs to be scaled into multiple GPUs. During the computation there is need for the GPUs to exchange partial results. This communication represents computation overhead. For this reason it is important to research the methods of the effective communication between GPUs. This means less CPU involvement, lower latency, shared system buffers. Inter-node and intra-node communication is examined. The main focus is on GPUDirect technologies from Nvidia and CUDA-Aware MPI. Subsequently k-Wave toolbox for simulating the propagation of acoustic waves is introduced. This application is accelerated by using CUDA-Aware MPI.
After the introduction of CUDA by Nvidia, the GPUs became devices capable of accelerating any general purpose computation. GPUs are designed as parallel processors which posses huge computation power. Modern supercomputers are often equipped with GPU accelerators. Sometimes the performance or the memory capacity of a single GPU is not enough for a scientific application. The application needs to be scaled into multiple GPUs. During the computation there is need for the GPUs to exchange partial results. This communication represents computation overhead. For this reason it is important to research the methods of the effective communication between GPUs. This means less CPU involvement, lower latency, shared system buffers. Inter-node and intra-node communication is examined. The main focus is on GPUDirect technologies from Nvidia and CUDA-Aware MPI. Subsequently k-Wave toolbox for simulating the propagation of acoustic waves is introduced. This application is accelerated by using CUDA-Aware MPI.
Description
Citation
ŠPEŤKO, M. Efektivní komunikace v multi-GPU systémech [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2018.
Document type
Document version
Date of access to the full text
Language of document
cs
Study field
Počítačové a vestavěné systémy
Comittee
doc. Dr. Ing. Otto Fučík (předseda)
doc. Ing. Zdeněk Vašíček, Ph.D. (místopředseda)
doc. RNDr. Milan Češka, Ph.D. (člen)
doc. Ing. Jiří Jaroš, Ph.D. (člen)
Doc. Ing. Peter Lacko, Ph.D. (člen)
Ing. Tomáš Martínek, Ph.D. (člen)
Date of acceptance
2018-06-18
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Oponent hodnotil práci stupněm 4F, protože technická zpráva má nedostatečný rozsah a neposkuje dostatek informací k implemenatci zkoumamaných jevů podle bodu 5. Student nedokázal vyvrátit výtky oponenta. Komise shledala nedostatky práce natolik závažné, že se práci rozhodla hodnotit jako nevyhovující. Otázky u obhajoby: Proč nejsou zahrnuty výsledky ze systému s 8 GPU, když vám je vedoucí naměřil? Uvažoval jste i složitější kolektivní komunikace/operace? Existuje možnost adaptace komunikačního rozhraní na daný systém? Tedy pokud vím, že mám možnost peer-to-peer, tak jej provedu. Pokud detekuji CUDA-Aware MPI, tak jej použiji, atd.? Zkoušel jste vestavěné CUDA benchmarky pro ověření validity naměřených dat?
Result of defence
práce nebyla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení