Vyhledávání tlačítek ve formulářích

Abstract

Diplomová práce popisuje systém pro automatickou detekci tlačítek z fotografie obrazovky.Systém je využit společně s robotickou rukou a kamerou, aby detekoval tlačítka na obrazovce vestavěných zařízení. Po detekci tlačítek na obrazovce algoritmus vydá příkaz robotickému rameni, aby klikl na pozici detekovaného tlačítka. Systematickým proklikáváním všech tlačítek algoritmus vytvoří navigační mapu, ve které jsou vidět všechny obrazovky daného zařízení. U každé obrazovky jsou uloženy pozice detekovaných tlačítek a cíl na jakou obrazovku odkazují.Diploma thesis describes a system for automatic detection of buttons from a screen photo.The system is used together with a robotic arm and a camera to detect buttons on the screens of embedded devices. After detecting buttons on the screen, the algorithm commands the robotic arm to click on the position of the detected button. The algorithm creates a navigation map in which all screens of the device are visible by systematically clicking through all buttons on all screens. For each screen, the positions of the detected buttons and the destination to which the screen points are stored.