Depth-Based Determination of a 3D Hand Position

Abstract

Cílem této práce je určení kostry ruky z hloubkového obrazu a jeho následné využití k rozpoznání statického gesta. Na vstupu je hloubkový obrázek, ve kterém je nejprve detekována ruka pomocí neuronové sítě Tiny YOLOv3. Následně je obrázek zbaven pozadí a z takto předzpracovaného obrázku je určena kostra ruky v podobě 21 klíčových bodů neuronovou sítí JGR-P2O. K rozpoznání gesta z klíčových bodů ruky byla navržena technika, která porovná kostru na vstupu s uživatelem definovanými gesty. Funkcionalita systému byla otestována na vytvořeném datasetu s více než čtyřmi tisíci obrázky.This work aims to offer a real-time, depth-based gesture recognition system using a hand's skeletal information. The Tiny YOLOv3 neural network detects the hand in the depth image. The detected hand is rid of the background and used by the JGR-P2O neural network, which estimates the hand's skeleton represented by 21 key points. Furthermore, a novel technique for gesture recognition from hand key points that compares the input skeleton with user-defined gestures has been proposed. A dataset consisting of four thousand images was captured to evaluate the system.