Převod modelů mezi nástroji strojového učení pro mobilní platformy

Abstract

Nástroje pre strojové učenie používajú rôzne formáty pre reprezentáciu a uloženie modelov hlbokých neurónových sietí. Jedným z najpoužívanejších je formát Open Neural Network Exchange (ONNX). Vývoj softwarovej podpory pre hardwarové akcelerátory na vstavaných systémoch je drahý, a ONNX je len výnimočne podporovaný. Potrebné ovládače sú typicky implementované iba pre formát TensorFlow Lite (TFLite). Aktuálne možnosti pre konverziu netrénovaných ONNX modelov na TFLite sú nedostatočné, a produkujú neoptimálne modely. Táto práca sa zameriava na návrh a vývoj priameho konvertoru ONNX modelov na TFLite, ktorý produkuje čo najoptimálnejšie modely. Výsledný program bol v spolupráci so spoločnosťou NXP overený na reálnych modeloch. Tie po konverzii produkujú identické výstupy a rýchlosť ich inferencie na cieľových platformách je značne vyššia.Machine learning frameworks use various formats to represent and store models of deep neural networks (DNN). One of the most commonly used ones is Open Neural Network Exchange (ONNX). Developing drivers for hardware accelerators on embedded systems is expensive, and ONNX is rarely supported. The necessary software support is typically only implemented for the TensorFlow Lite (TFLite) DNN model format. Currently, the options for conversion of pre-trained ONNX models to TFLite are inadequate and produce suboptimal models. This work focuses on designing and developing a direct converter of ONNX models to TFLite, which produces as optimal models as possible. The resulting program was verified on real models in collaboration with the NXP company. The models produce identical outputs after conversion and their inference speed on target platforms is significantly higher.