Automatická kvantizace neuronových sítí
| but.committee | doc. Ing. František Zbořil, Ph.D. (předseda) doc. RNDr. Dana Hliněná, Ph.D. (člen) Ing. Michal Hradiš, Ph.D. (člen) doc. Ing. Michal Bidlo, Ph.D. (člen) Ing. Vladimír Veselý, Ph.D. (člen) | cs |
| but.defence | Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A. | cs |
| but.jazyk | čeština (Czech) | |
| but.program | Informační technologie | cs |
| but.result | práce byla úspěšně obhájena | cs |
| dc.contributor.advisor | Mrázek, Vojtěch | cs |
| dc.contributor.author | Šafář, Miroslav | cs |
| dc.contributor.referee | Vašíček, Zdeněk | cs |
| dc.date.accessioned | 2023-06-16T06:57:40Z | |
| dc.date.available | 2023-06-16T06:57:40Z | |
| dc.date.created | 2023 | cs |
| dc.description.abstract | Kvantizace hlubokých neuronových sítí je častou technikou optimalizace jejich paměťové a energetické náročnosti, aby mohly být nasazeny na zařízení s omezenými zdroji. Kvantizace se smíšenou přesností umožňuje ještě lepší paměťové a energetické úspory. Volba kvantizačních úrovní jednotlivých vrstev však vyžaduje odborné znalosti a hlubokou analýzu sítě, což je časově velmi náročná činnost. V této bakalářské práci se věnuji návrhu systému pro automatické určování kvantizační úrovně jednotlivých vrstev vstupní neuronové sítě. Využívám k tomu evoluční algoritmus NSGA-II a quantization-aware učení k doladění parametrů kvantizované sítě. S navrženým systémem jsem provedl experimenty s neuronovou sítí MobileNet a podmnožinou datové sady ImageNet. Navržený systém nalezl řešení, které téměř desetkrát zmenšuje velikost modelu při zachování jeho Top-1 klasifikační přesnosti, což v tomto případě překonalo uniformní kvantizaci téměř o 100 %. Tyto úspory lze využít ke snížení výrobních nákladů pamětí do hardwarových akcelerátorů nebo k nasazení hlubokých neuronových sítí na ještě menší zařízení. | cs |
| dc.description.abstract | Quantization of deep neural networks is a common way to optimize the networks for deployment on energy and memory-constrained devices while maintaining an acceptable accuracy loss. Mixed-precision quantization for weights and activations allows even better memory and energy savings. But selecting the precision for each layer needs expert knowledge and a deep network analysis. In this work, we address this problem and we present a system for automated mixed-precision quantization of neural networks. We utilize the multi-objective evolutionary algorithm NSGA-II and quantization-aware training for fine-tuning the quantization configurations. We conducted experiments with a subset of the ImageNet dataset and MobileNet network. We achieved accuracies comparable to floating-point models while making the memory footprint of the model about ten times smaller. The proposed approach outperforms a widely-used uniform quantization by almost 100 %. These size savings result in the costs of memories in the hardware accelerator savings. Therefore the proposed approach allows deploying deep neural networks to even smaller devices. | en |
| dc.description.mark | A | cs |
| dc.identifier.citation | ŠAFÁŘ, M. Automatická kvantizace neuronových sítí [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2023. | cs |
| dc.identifier.other | 148494 | cs |
| dc.identifier.uri | http://hdl.handle.net/11012/210486 | |
| dc.language.iso | cs | cs |
| dc.publisher | Vysoké učení technické v Brně. Fakulta informačních technologií | cs |
| dc.rights | Standardní licenční smlouva - přístup k plnému textu bez omezení | cs |
| dc.subject | kvantizace | cs |
| dc.subject | neuronové sítě | cs |
| dc.subject | evoluční algoritmy | cs |
| dc.subject | automatický návrh neuronových sítí | cs |
| dc.subject | automatická kvantizace | cs |
| dc.subject | per-channel kvantizace | cs |
| dc.subject | kvantizace se smíšenou přesností | cs |
| dc.subject | kvantizace batch normalizace | cs |
| dc.subject | tensorflow | cs |
| dc.subject | quantization | en |
| dc.subject | neural networks | en |
| dc.subject | evolutionary algorithm | en |
| dc.subject | automated design | en |
| dc.subject | automated quantization | en |
| dc.subject | per-channel quantization | en |
| dc.subject | mixed-precision quantization | en |
| dc.subject | batch normalization quantization | en |
| dc.subject | tensorflow | en |
| dc.title | Automatická kvantizace neuronových sítí | cs |
| dc.title.alternative | Automatic Quantization of Neural Networks | en |
| dc.type | Text | cs |
| dc.type.driver | bachelorThesis | en |
| dc.type.evskp | bakalářská práce | cs |
| dcterms.dateAccepted | 2023-06-15 | cs |
| dcterms.modified | 2023-06-15-16:19:25 | cs |
| eprints.affiliatedInstitution.faculty | Fakulta informačních technologií | cs |
| sync.item.dbid | 148494 | en |
| sync.item.dbtype | ZP | en |
| sync.item.insts | 2023.06.16 08:57:40 | en |
| sync.item.modts | 2023.06.16 08:12:34 | en |
| thesis.discipline | Informační technologie | cs |
| thesis.grantor | Vysoké učení technické v Brně. Fakulta informačních technologií. Ústav počítačových systémů | cs |
| thesis.level | Bakalářský | cs |
| thesis.name | Bc. | cs |