Optimalizace neuronové sítě pro detekci objektů s využitím NPU

Abstract

Detekce objektů je v dnešní době jedním z nejaktivnějších odvětví strojového učení. Je kladen stále větší důraz na ochranu dat, soukromí i efektivní využití energie. Tato práce se zabývá optimalizací modelů a s nimi spojených úkonů pro rychlou lokální inferenci na akcelerátorech neuronových sítí, se zaměřením na sítě YOLOv8 a DETR. Tyto sítě bylo možné v lepším případě kvantizovat se ztrátou přesnosti 0,4, 0,3 a 0,6 mAP v případě verzí n, s a m modelu YOLOv8 a 3,5 mAP v případě modelu DETR-ResNet-50. Použitým datasetem byl COCO val2017. Práce zahrnuje také optimalizovanou implementaci algoritmu NMS, který je na procesorech AMD Ryzen 7900X a Rockchip RK3588 o 518 %, respektive o 656 % rychlejší, než konkurence.Object detection has been one of the most active areas of machine learning. An ever-increasing emphasis is being placed on data protection, privacy and the efficient use of energy resources. This thesis focuses on the optimization of models and tasks associated therewith for fast local inference on neural network accelerators, with a focus on YOLOv8 and DETR networks. These networks have been, in the best case, quantized with a 0,4, 0,3 and 0,6mAP loss in precision in the case of the n, s and m variants of the YOLOv8 model. For DETR-ResNet-50, the loss in precision was 3,5mAP. The dataset used for evaluation is COCO val2017. This thesis also includes an optimized implementation of the NMS algorithm, which is 518% and 656% faster than other implementations when run on the AMD Ryzen 7900X and Rockchip RK3588 CPUs, respectively.