Modelování akcelerátorů neuronových sítí
Loading...
Date
Authors
ORCID
Advisor
Referee
Mark
A
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Cílem této diplomové práce je zaměřit se na modelování akcelerátorů neuronových sítí s HW podporou kvantizace. Práce nejprve přibližuje koncept výpočtu konvolučních neuronových sítí (CNN) a představuje kategorie různých hardwarových architektur, které slouží k jejich zpracování. Následně jsou shrnuty optimalizační techniky modelů CNN, jejichž cílem je dosáhnout efektivního zpracování na specializovaných hardwarových architekturách. Další část práce obsahuje porovnání existujících analytických nástrojů, jež slouží k odhadu výkonnostních parametrů HW při inferenci, a které jsou rozšiřitelné o implementaci podpory kvantizace. Na základě experimentálního porovnání byl pro účely této práce vybrán nástroj Timeloop. Dále je představen popis fungování tohoto nástroje spolu s návrhem a implementací jeho rozšíření o podporu kvantizace. V závěru práce jsou experimentálně otestovány důsledky různých konfigurací kvantizace na vyhodnocené parametry inference u různých hardwarových architektur.
The aim of this master thesis is modeling of neural network accelerators with HW support for quantization. The thesis first focuses on the concept of computation in convolutional neural networks (CNNs) and introduces different categories of hardware architectures that are used for their processing. Following this, optimization techniques for CNN models are summarized, with the goal of achieving efficient processing on specialized hardware architectures. The subsequent part of the thesis involves a comparison of existing analytical tools that are used to estimate hardware performance parameters during inference and which can be expanded to incorporate quantization support. Based on an experimental comparison, the Timeloop tool was selected for the purposes of this thesis. A thorough explanation of this tool's functionality is presented, along with a concept and implementation of its expansion to support quantization. In conclusion, the thesis experimentally tests the impact of various quantization configurations on evaluated inference parameters across different hardware architectures.
The aim of this master thesis is modeling of neural network accelerators with HW support for quantization. The thesis first focuses on the concept of computation in convolutional neural networks (CNNs) and introduces different categories of hardware architectures that are used for their processing. Following this, optimization techniques for CNN models are summarized, with the goal of achieving efficient processing on specialized hardware architectures. The subsequent part of the thesis involves a comparison of existing analytical tools that are used to estimate hardware performance parameters during inference and which can be expanded to incorporate quantization support. Based on an experimental comparison, the Timeloop tool was selected for the purposes of this thesis. A thorough explanation of this tool's functionality is presented, along with a concept and implementation of its expansion to support quantization. In conclusion, the thesis experimentally tests the impact of various quantization configurations on evaluated inference parameters across different hardware architectures.
Description
Keywords
Citation
KLHŮFEK, J. Modelování akcelerátorů neuronových sítí [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2023.
Document type
Document version
Date of access to the full text
Language of document
cs
Study field
Vestavěné systémy
Comittee
prof. Ing. Lukáš Sekanina, Ph.D. (předseda)
doc. Ing. Vladimír Drábek, CSc. (člen)
doc. Ing. Vladimír Janoušek, Ph.D. (člen)
doc. Ing. Jiří Jaroš, Ph.D. (člen)
Ing. Ondřej Kanich, Ph.D. (člen)
Ing. Josef Strnadel, Ph.D. (člen)
Date of acceptance
2023-06-21
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A.
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení