Framework pro efektivní nasazení modelů hlubokých neuronových sítí na koncových zařízeních

Abstract

PyTorch je aktuálne najpoužívanejši nástroj pre prácu s modelmi hlbokých neurónových sietí. Vývoj ovládačov a SW podpory pre využívanie HW akcelerátorov na koncových zariadeniach pre PyTorch modely nie je dostatočný. Aktuálne najčastejšim riešením je konvezia PyTorch modelov do formátu LiteRT, pre ktorý existuje dostatočná podpora ovládačov. Limitujúcim faktorom tohto prístupu je fakt, že nie všetky modely sú konvertovateľné do LiteRT. Tieto problematické modely nemôžu využívať HW akcelerátory a často mužia bežať iba na CPU. Táto diplomová práca navrhuje riešenie založené na rozdeľovaní PyTorch modelov na časti. Niektoré časti budú konvertované do LiteRT a ostatné časti, ktoré obsahujú nekonvertovateľné operácie, zostanú v PyTorch formáte. Vďaka tomu môžu tieto modely aspoň čiastočne využiť HW akcelerátory. Táto práca taktiež definuje nový formát súboru pre uloženie týchto rozdelených hybridných modelov, a taktiež navrhuje exekučný program, ktorý dokáže spustiť efektívnu inferenciu hybridných modelov na koncových zariadeniach.

PyTorch has become the preferred framework for developing deep neural network (DNN) models. However, the development of drivers and other SW support for utilizing HW accelerators on edge devices for PyTorch models, has not yet caught up. The state of the art solution is to convert PyTorch models to the LiteRT format, for which there is sufficient driver support. The limitation of this approach is that not every model is convertible to LiteRT. These problematic models therefore cannot utilize HW accelerators, and often have to run on the CPU. This thesis proposes a solution based on partitioning of PyTorch models into submodels. Some submodels will be converted into the LiteRT format, and the unconvertible ones will remain in PyTorch. This allows the model to at least partially utilize the HW accelerators. The thesis also defines a new file format for storing the segmented hybrid models in a single file, as well as a runtime engine capable of running efficient inference of hybrid models on edge devices.