Rozpoznání klávesnice a kláves v obraze

Abstract

Cílem práce je vytvoření řešení pro rozpoznání kláves na klávesnici za účelem automatizace robotického psaní na klávesnici. V rámci práce jsou vytvořeny datasety pro detekci klávesnice v obraze, rozpoznání znaků v obraze a dodatečnou korekci detekovaných znaků na základě různých rozložení klávesnic. Práce předkládá různé přístupy k řešení problému rozpoznání znaků na klávesnici a vybírá ten nejvhodnější. Navržený postup je rozdělen do 3 fází, kterým odpovídají připravené datasety. Pomocí neuronových sítí a Cannyho metody detekce hran se nejprve rozpozná klávesnice v obraze a následně se v nalezené klávesnici detekují jednotlivé znaky. V poslední fázi dochází k dodatečnému zpracování výsledků (oprava znaků, doplnění nerozpoznaných znaků, nalezení speciálních kláves apod.). Pro každou část jsou vyhodnoceny výsledky. Přínos práce spočívá ve vytvoření datasetů pro detekci klávesnice a jejích kláves a především modulárního a rozšiřitelného řešení pro detekční proces se slibnými výsledky.The goal of this thesis is to create a solution for keyboard keys recognition to automate robotic writing on keyboards. Datasets for keyboard detection in an image, character detection in an image and post-processing correction of the character detection based on various keyboard layouts were created as prerequisites for this work. This research presents several approaches towards keyboard keys detection problem and selects the most suitable one. The chosen strategy is to split the problem into 3 phases which correspond to the prepared datasets. First of all, a separate keyboard detection is run. After that, characters are recognized in the detected keyboard region. These tasks are accomplished using neural networks and Canny edge detection technique. The last phase is the post-processing of the detection results (character correction, autocompletion of undetected characters, special keys distinction etc.). The results of each phase are evaluated. The contribution of the thesis lies in the creation of the datasets for keyboard and keys detection, and novel modular and extensible solution for the recognition process that yields very promising results.