Komprese difuzních modelů pro generování obrazu
Loading...
Date
Authors
Dobiš, Lukáš
ORCID
Advisor
Referee
Mark
D
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Táto diplomová práca sa zameriava na optimalizáciu výpočtovej efektívnosti generatívnych difúznych modelov skrz vyhodnotenie konvenčných metód komprimácie neurónovych sieti na architektúre Denoising Diffusion Probabilistic Model (DDPM). Modelová komprimácia bola vykonaná na parametroch predtrénovanéj sieti DDPM niekoľkými kvantizačnými a prerezávacími metódami. Tieto metódy boli vyhodnotené na troch rôznych obrázkových dátových sadách. Výsledky potvrdzujú, že implementované kompresné metódy sú vhodne pre nasadenie difúznych modelov na malých zariadeniach s obmedzenými zdrojmi alebo na zníženie ich výpočetnych prevádzkových nákladov.
This thesis is dedicated to optimizating computation in generative diffusion models by evaluating conventional model compression aproaches on Denoising Diffusion Probabilistic Model (DDPM). Model compression was done on parameters of pretrained baseline DDPM neural network by several quantization and pruning methods. These methods were evaluated on three image dataset benchmarks. Results show that quantization and pruning are viable compression methods for downsizing diffusion networks, because they showed little decrease in quality of generated imagery. These results confirm that implemented compression approaches are vital for deployment of diffusion models on resource constrained Edge devices or to offset their compute costs.
This thesis is dedicated to optimizating computation in generative diffusion models by evaluating conventional model compression aproaches on Denoising Diffusion Probabilistic Model (DDPM). Model compression was done on parameters of pretrained baseline DDPM neural network by several quantization and pruning methods. These methods were evaluated on three image dataset benchmarks. Results show that quantization and pruning are viable compression methods for downsizing diffusion networks, because they showed little decrease in quality of generated imagery. These results confirm that implemented compression approaches are vital for deployment of diffusion models on resource constrained Edge devices or to offset their compute costs.
Description
Citation
DOBIŠ, L. Komprese difuzních modelů pro generování obrazu [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2023.
Document type
Document version
Date of access to the full text
Language of document
en
Study field
Strojové učení
Comittee
prof. Dr. Ing. Jan Černocký (předseda)
doc. Ing. Lukáš Burget, Ph.D. (člen)
doc. RNDr. Milan Češka, Ph.D. (člen)
Ing. Michal Hradiš, Ph.D. (člen)
Ing. Jaroslav Rozman, Ph.D. (člen)
Ing. František Grézl, Ph.D. (člen)
Date of acceptance
2023-06-19
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm D.
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení