Automatická komprese vah neuronových sítí
| but.committee | doc. Dr. Ing. Petr Hanáček (předseda) doc. Ing. Michal Bidlo, Ph.D. (člen) doc. Mgr. Adam Rogalewicz, Ph.D. (člen) doc. Ing. Petr Matoušek, Ph.D., M.A. (člen) Mgr. Kamil Malinka, Ph.D. (člen) Ing. Vladimír Veselý, Ph.D. (člen) | cs |
| but.defence | Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných, např. ohledně celkové velikosti CGP pole či eventuálního použití aproximativních obvodů. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B - velmi dobře. | cs |
| but.jazyk | angličtina (English) | |
| but.program | Informační technologie a umělá inteligence | cs |
| but.result | práce byla úspěšně obhájena | cs |
| dc.contributor.advisor | Mrázek, Vojtěch | en |
| dc.contributor.author | Lorinc, Marián | en |
| dc.contributor.referee | Sekanina, Lukáš | en |
| dc.date.created | 2024 | cs |
| dc.description.abstract | Konvolučné neurónové siete (CNN) od svojho vynájdenia zrevolucionizovali spôsob, akým sa realizujú úlohy z odvetvia počítačového videnia. Vynález CNN viedol k zníženiu pamäťovej náročnosti, keďže váhy boli nahradené konvolučnými filtrami obsahujúcimi menej trénovateľných váh. Avšak, toto zníženie bolo dosiahnuté na úkor zvýšenia požiadaviek na výpočtový výkon, ktorý je naviazaný na výpočet konvolúcie. Táto práca skúma hypotézu, či je možné sa vyhnúť načítavaniu váh a miesto toho ich vypočítať, čím sa ušetrí energia. Na otestovanie tejto hypotézy bol vyvinutý nový algoritmus kompresie váh využívajúci Kartézske genetické programovanie. Tento algoritmus hľadá najoptimálnejšiu funkciu kompresie váh s cieľom zvýšiť energetickú účinnosť. Experimenty vykonané na architektúrach LeNet-5 a MobileNetV2 ukázali, že algoritmus dokáže efektívne znížiť spotrebu energie pri zachovaní vysokej presnosti modelu. Výsledky ukázali, že určité vrstvy je možné doplniť vypočítanými váhami, čo potvrdzuje potenciál pre energeticky efektívne neurónové siete. | en |
| dc.description.abstract | Convolutional Neural Networks (CNNs) have revolutionised computer vision field since their introduction. By replacing weights with convolution filters containing trainable weights, CNNs significantly reduced memory usage. However, this reduction came at the cost of increased computational resource requirements, as convolution operations are more computation intensive. Despite this, memory usage remains more energy-intensive than computation. This thesis explores whether it is possible to avoid loading weights from memory and instead functionally calculate them, thereby saving energy. To test this hypothesis, a novel weight compression algorithm was developed using Cartesian Genetic Programming. This algorithm searches for the most optimal weight compression function, aiming to enhance energy efficiency without compromising the functionality of the neural network. Experiments conducted on the LeNet-5 and MobileNetV2 architectures demonstrated that the algorithm could effectively reduce energy consumption while maintaining high model accuracy. The results showed that certain layers could benefit from weight computation, validating the potential for energy-efficient neural network implementations. | cs |
| dc.description.mark | B | cs |
| dc.identifier.citation | LORINC, M. Automatická komprese vah neuronových sítí [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2024. | cs |
| dc.identifier.other | 153610 | cs |
| dc.identifier.uri | http://hdl.handle.net/11012/248549 | |
| dc.language.iso | en | cs |
| dc.publisher | Vysoké učení technické v Brně. Fakulta informačních technologií | cs |
| dc.rights | Standardní licenční smlouva - přístup k plnému textu bez omezení | cs |
| dc.subject | Konvolučné neurónové siete | en |
| dc.subject | CNN | en |
| dc.subject | Evolučné algoritmy | en |
| dc.subject | EA | en |
| dc.subject | Genetické algoritmy | en |
| dc.subject | GA | en |
| dc.subject | Kartézske genetické programovanie | en |
| dc.subject | CGP | en |
| dc.subject | Optimalizácia | en |
| dc.subject | Kompresia | en |
| dc.subject | MobileNetV2 | en |
| dc.subject | LeNet-5 | en |
| dc.subject | Energetická účinnosť | en |
| dc.subject | Kompresia váh | en |
| dc.subject | Hlboké učenie | en |
| dc.subject | Convolutional Neural Networks | cs |
| dc.subject | CNN | cs |
| dc.subject | Evolutionary Algorithms | cs |
| dc.subject | EA | cs |
| dc.subject | Genetic Algorithms | cs |
| dc.subject | GA | cs |
| dc.subject | Cartesian Genetic Programming | cs |
| dc.subject | CGP | cs |
| dc.subject | Optimization | cs |
| dc.subject | Compression | cs |
| dc.subject | MobileNetV2 | cs |
| dc.subject | LeNet-5 | cs |
| dc.subject | Energy Efficiency | cs |
| dc.subject | Weight Compression Algorithm | cs |
| dc.subject | Deep Learning | cs |
| dc.title | Automatická komprese vah neuronových sítí | en |
| dc.title.alternative | Automated compression of neural network weights | cs |
| dc.type | Text | cs |
| dc.type.driver | masterThesis | en |
| dc.type.evskp | diplomová práce | cs |
| dcterms.dateAccepted | 2024-06-17 | cs |
| dcterms.modified | 2024-08-27-15:25:56 | cs |
| eprints.affiliatedInstitution.faculty | Fakulta informačních technologií | cs |
| sync.item.dbid | 153610 | en |
| sync.item.dbtype | ZP | en |
| sync.item.insts | 2025.03.26 15:37:58 | en |
| sync.item.modts | 2025.01.15 11:35:48 | en |
| thesis.discipline | Kybernetická bezpečnost | cs |
| thesis.grantor | Vysoké učení technické v Brně. Fakulta informačních technologií. Ústav počítačových systémů | cs |
| thesis.level | Inženýrský | cs |
| thesis.name | Ing. | cs |