Automatizované testování a vyhodnocování modelů hlubokých neuronových sítí na vestavěných platformách - Kasem, Jakub (Vysoké učení technické v Brně. Fakulta informačních technologií, 2025)
Táto magisterská práca sa zameriava na automatizované testovanie modelov hlbokých neurónových sietí na vstavaných platformách. Teoretická časť práce skúma populárne úložiská modelov umelej inteligencie a nástroje na získavanie modelov z takýchto úložísk. Teoretický základ práce taktiež zahŕňa prehľad metrík používaných na hodnotenie modelov hlbokých neurónových sietí v úlohách klasifikácie, detekcie objektov a segmentácie. Práca ďalej opisuje návrh a implementáciu systému, ktorý automatizuje testovanie a vyhodnocovanie modelov hlbokých neurónových sietí na vstavaných Linux architektúrach. Navrhované riešenie sa zameriava na meranie presnosti a odozvy modelu, s funkcionalitou, ktorá umožňuje detekciu regresie výkonu. Riešenie bolo overené na vstavaných platformách vyrábaných spoločnosťou NXP Semiconductors s použitím modelov hlbokých neurónových sietí v rôznych úlohách počítačového videnia. Práca končí diskusiou o skúsenostiach získaných počas implementácie a načrtáva možnosti ďalšieho vývoja a rozšírenia systému.

This master’s thesis focuses on automated testing of deep neural network models on embedded platforms. The literature review explores popular artificial intelligence model repositories and tools to retrieve models from such repositories. The theoretical foundation of the thesis also includes a review of accuracy metrics used for evaluating deep neural network models in classification, object detection, and segmentation tasks. The thesis further describes the design and the implementation of a framework that automates testing and evaluation of deep neural network models on Linux-based embedded architectures. The proposed solution focuses on measuring model accuracy and latency, with a feature that enables detection of performance regressions over time. The solution was validated on embedded platforms manufactured by NXP Semiconductors using deep neural network models across different computer vision tasks. The thesis concludes with a reflection on lessons learned during implementation and outlines opportunities for further development and expansion of the system.
Automated testing and evaluation of Deep Neural Network models on embedded platforms
Keywords: Automatizované testovanie; hlboké neurónové siete; vstavané systémy; vyhodnotenie neurónovej siete; presnosť neurónovej siete; odozva neurónovej siete; počítačové videnie; klasifikácia; detekcia objektov; sémantická segmentácia; TensorFlow Lite; TFLite; úložisko AI modelov; Kaggle; Hugging Face; FastAPI.; Automated testing; deep neural networks; embedded systems; neural network evaluation; performance regression detection; neural network accuracy; neural network latency; computer vision; classification; object detection; semantic segmentation; TensorFlow Lite; TFLite; model hub; Kaggle; Hugging Face; FastAPI.