Použití self-supervised learning pro rozpoznání pozic rukou v obraze - Makaiová, Lucia (Vysoké učení technické v Brně. Fakulta informačních technologií, 2023)
Práca sa zaoberá self-supervised prístupom k strojovému učeniu pre natrénovanie rozpoznávania pozícií rúk v obraze. Použila som kontrastívnu metódu self-supervised učenia a iteratívne optimalizovala riešenie použitím techník early stopping, triplet mining, optimalizovaním hyperparametrov či experimentovaním s rôznymi modelmi. Metódu som implementovala pomocou frameworku Pytorch a pre spracovanie a vizualizáciu dát som využívala nástroj TensorBoard. Pre referenčné výsledky som natrénovala model pomocou učenia s učiteľom. Podarilo sa mi dosiahnuť úspešnosť 83% na datasete Handz, čím sa metóda vyrovnala referenčným výsledkom. Vytvorené riešenie poskytuje informácie, ktoré je možné aplikovať pri využití self-supervised metódy pre podobné problémy, akými je napríklad rozpoznávanie športových pozícií. Hlavným výsledkom je zistenie, že self-supervised metódy sú obzvlášť vhodné pokiaľ je k dispozícii pre trénovanie len obmedzený počet označených dát, ktoré sú navyše reprezentované veľmi nerovnomerným počtom vzoriek. Na základe zistených údajov je možné vytvoriť metódu pre rozpoznávanie športových pozícii alebo ďalej optimalizovať existujúce riešenie.

This work focuses on using self-supervised learning for the task of hand poses recognition in image. I have used contrastive method of self-supervised learning and optimized the solution iteratively, using techniques such as early stopping, triplet mining, optimization of hyperparameters or experimenting with various model architectures. The method was implemented with Pytorch framework and Tensorboard was used for data processing and visualization. I have trained the first model using a supervised method, to obtain reference values. I have successfully matched this reference result by training a self-supervised model on Handz dataset and achieving 83% accuracy. The created solution provides findings, which can be applied to similar problems, such as recognition of sport poses. The main contribution of this work is the discovery, that self-supervised methods are particularly effective when using a labeled dataset for downstream task with just a small amount of samples, which in addition have uneven distribution of samples for individual classes. Based on these findings, it is possible to create a method for self-supervised learning for recognition of sport poses or further optimize existing solution for hand poses.
Self-Supervised Learning for Recognition of Hand Poses in Image
Keywords: spracovanie obrazu; strojové učenie; neurónové siete; self-supervised učenie; triplet loss; rozpoznávanie pozícií; počítačové videnie; image recognition; machine learning; neural networks; self-supervised learning; triplet loss; recognition of poses; computer vision