Použití self-supervised learning pro rozpoznání pozic rukou v obraze
Loading...
Date
Authors
ORCID
Advisor
Referee
Mark
B
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Práca sa zaoberá self-supervised prístupom k strojovému učeniu pre natrénovanie rozpoznávania pozícií rúk v obraze. Použila som kontrastívnu metódu self-supervised učenia a iteratívne optimalizovala riešenie použitím techník early stopping, triplet mining, optimalizovaním hyperparametrov či experimentovaním s rôznymi modelmi. Metódu som implementovala pomocou frameworku Pytorch a pre spracovanie a vizualizáciu dát som využívala nástroj TensorBoard. Pre referenčné výsledky som natrénovala model pomocou učenia s učiteľom. Podarilo sa mi dosiahnuť úspešnosť 83% na datasete Handz, čím sa metóda vyrovnala referenčným výsledkom. Vytvorené riešenie poskytuje informácie, ktoré je možné aplikovať pri využití self-supervised metódy pre podobné problémy, akými je napríklad rozpoznávanie športových pozícií. Hlavným výsledkom je zistenie, že self-supervised metódy sú obzvlášť vhodné pokiaľ je k dispozícii pre trénovanie len obmedzený počet označených dát, ktoré sú navyše reprezentované veľmi nerovnomerným počtom vzoriek. Na základe zistených údajov je možné vytvoriť metódu pre rozpoznávanie športových pozícii alebo ďalej optimalizovať existujúce riešenie.
This work focuses on using self-supervised learning for the task of hand poses recognition in image. I have used contrastive method of self-supervised learning and optimized the solution iteratively, using techniques such as early stopping, triplet mining, optimization of hyperparameters or experimenting with various model architectures. The method was implemented with Pytorch framework and Tensorboard was used for data processing and visualization. I have trained the first model using a supervised method, to obtain reference values. I have successfully matched this reference result by training a self-supervised model on Handz dataset and achieving 83% accuracy. The created solution provides findings, which can be applied to similar problems, such as recognition of sport poses. The main contribution of this work is the discovery, that self-supervised methods are particularly effective when using a labeled dataset for downstream task with just a small amount of samples, which in addition have uneven distribution of samples for individual classes. Based on these findings, it is possible to create a method for self-supervised learning for recognition of sport poses or further optimize existing solution for hand poses.
This work focuses on using self-supervised learning for the task of hand poses recognition in image. I have used contrastive method of self-supervised learning and optimized the solution iteratively, using techniques such as early stopping, triplet mining, optimization of hyperparameters or experimenting with various model architectures. The method was implemented with Pytorch framework and Tensorboard was used for data processing and visualization. I have trained the first model using a supervised method, to obtain reference values. I have successfully matched this reference result by training a self-supervised model on Handz dataset and achieving 83% accuracy. The created solution provides findings, which can be applied to similar problems, such as recognition of sport poses. The main contribution of this work is the discovery, that self-supervised methods are particularly effective when using a labeled dataset for downstream task with just a small amount of samples, which in addition have uneven distribution of samples for individual classes. Based on these findings, it is possible to create a method for self-supervised learning for recognition of sport poses or further optimize existing solution for hand poses.
Description
Citation
MAKAIOVÁ, L. Použití self-supervised learning pro rozpoznání pozic rukou v obraze [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2023.
Document type
Document version
Date of access to the full text
Language of document
sk
Study field
Informační technologie
Comittee
doc. Ing. Martin Čadík, Ph.D. (předseda)
doc. Ing. Zdeněk Vašíček, Ph.D. (člen)
Ing. Šárka Květoňová, Ph.D. (člen)
Ing. Filip Orság, Ph.D. (člen)
Ing. Michal Španěl, Ph.D. (člen)
Date of acceptance
2023-06-13
Defence
Studentka nejprve prezentovala výsledky, kterých dosáhla v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Studentka následně odpověděla na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studentky na položené otázky rozhodla práci hodnotit stupněm B.
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení