Komprese difuzních modelů pro generování obrazu

Abstract

Táto diplomová práca sa zameriava na optimalizáciu výpočtovej efektívnosti generatívnych difúznych modelov skrz vyhodnotenie konvenčných metód komprimácie neurónovych sieti na architektúre Denoising Diffusion Probabilistic Model (DDPM). Modelová komprimácia bola vykonaná na parametroch predtrénovanéj sieti DDPM niekoľkými kvantizačnými a prerezávacími metódami. Tieto metódy boli vyhodnotené na troch rôznych obrázkových dátových sadách. Výsledky potvrdzujú, že implementované kompresné metódy sú vhodne pre nasadenie difúznych modelov na malých zariadeniach s obmedzenými zdrojmi alebo na zníženie ich výpočetnych prevádzkových nákladov.This thesis is dedicated to optimizating computation in generative diffusion models by evaluating conventional model compression aproaches on Denoising Diffusion Probabilistic Model (DDPM). Model compression was done on parameters of pretrained baseline DDPM neural network by several quantization and pruning methods. These methods were evaluated on three image dataset benchmarks. Results show that quantization and pruning are viable compression methods for downsizing diffusion networks, because they showed little decrease in quality of generated imagery. These results confirm that implemented compression approaches are vital for deployment of diffusion models on resource constrained Edge devices or to offset their compute costs.