but.committee	prof. Dr. Ing. Pavel Zemčík, dr. h. c. (předseda) doc. Ing. Martin Čadík, Ph.D. (místopředseda) doc. Ing. Vítězslav Beran, Ph.D. (člen) Ing. Roman Juránek, Ph.D. (člen) Ing. Zbyněk Křivka, Ph.D. (člen) Ing. Tomáš Milet, Ph.D. (člen)	cs
but.defence	Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm C. Otázky u obhajoby: Opravdu lze tvrdit, že systém, jako je ten váš, není možné vyhodnotit objektivně, není možné získat GT data a hodnocení musí být ruční a subjektivní? Nemohly by současné detektory založené na hlubokých CNN být v detekci a klasifikaci úspěšnější než konvenční nástroje pro vytipování míst v obraze a jejich následná klasifikace? Použitá síť EfficientNetB1 pracuje s obrázky 240x240. Typické výřezy, které má ve vaší práci klasifikovat, jsou zřejmě menší. Jaké je rozložený vašich výřezů? Nemohlo by být efektivnější použít síť, která by byla lépe přizpůsobená vašim datům?	cs
but.jazyk	angličtina (English)
but.program	Informační technologie a umělá inteligence	cs
but.result	práce byla úspěšně obhájena	cs
dc.contributor.advisor	Španěl, Michal	en
dc.contributor.author	Válek, Lukáš	en
dc.contributor.referee	Herout, Adam	en
dc.date.created	2022	cs
dc.description.abstract	Tato práce se zabývá problematikou analýzy obrazovek grafického uživatelského rozhraní (GUI) pomocí konvolučních neuronových sítí (CNN) a metod počítačového vidění. Cílem této práce je vytvořit systém, který automaticky identifikuje GUI elementy na základě piktogramových a textových informací pro detekované prvky ve vstupním obrázku. K~vývoji systému byla použita kombinace EfficientNetB1 CNN, OCR a tradičních metod počítačového vidění. K trénování CNN byla použita vlastní datová sada, která obsahovala 120 tisíc piktogramů. Byl vytvořen sémantický slovník UI prvků, který dále využívá text detekovaný pomocí OCR. Nakonec byl vytvořen podsystém pro analýzu GUI hierarchie, který slouží k detekci a sémantické kategorizaci oblastí GUI. Výsledný systém automaticky klasifikuje detekované piktogramy, navrhuje další třídy na základě textu a rozděluje GUI obrazovku do hierarchických sekcí. Systém dosahuje 81,1% přesnosti identifikace UI prvků a v průměru zanalyzuje jednu obrazovku za 0,6 sekundy. Systém automatizuje identifikaci UI prvků, čímž umožňuje zaměstnancům věnovat se jiným činnostem. V budoucnu lze tento systém dále rozvíjet, aby sloužil jako základ pro automatické exploratorní testování.	en
dc.description.abstract	This thesis explores the issue of graphical user interface (GUI) screen analysis using convolutional neural networks (CNN) and computer vision methods. The thesis aims to create a system which automatically identifies GUI elements based on pictogram and text information for detected components in an input image. A combination of EfficientNetB1 CNN, OCR, and traditional computer vision methods was used to develop the system. A custom dataset which contains 120k pictograms was used to train the CNN. A UI element semantic dictionary was created, which further utilises the text detected by OCR. Finally, a GUI hierarchy analysis subsystem was created to detect and semantically categorise sections in GUI. The resulting system automatically classifies detected pictograms, suggests additional text classes, and separates the GUI screen into hierarchical sections. The system achieves 81.1% UI element identification accuracy and, on average, analyses a single screen in 0.6 seconds. This system automates repetitive processes, thus decreasing needed person-hours. In the future, the system can be further developed to function as a foundation for automated exploratory testing.	cs
dc.description.mark	C	cs
dc.identifier.citation	VÁLEK, L. Identifikace elementů grafického uživatelského rozhraní pro robotický testovací systém [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2022.	cs
dc.identifier.other	145480	cs
dc.identifier.uri	http://hdl.handle.net/11012/207879
dc.language.iso	en	cs
dc.publisher	Vysoké učení technické v Brně. Fakulta informačních technologií	cs
dc.rights	Standardní licenční smlouva - přístup k plnému textu bez omezení	cs
dc.subject	identifikace UI prvků	en
dc.subject	identifikace objektů	en
dc.subject	EfficientNetB1	en
dc.subject	neuronové sítě	en
dc.subject	klasifikace obrázků	en
dc.subject	sémantická analýza grafického uživatelského rozhraní	en
dc.subject	počítačové vidění	en
dc.subject	strojové učení	en
dc.subject	sémantický slovník GUI prvků	en
dc.subject	OCR	en
dc.subject	Python	en
dc.subject	Keras	en
dc.subject	TensorFlow	en
dc.subject	OpenCV	en
dc.subject	UI element identification	cs
dc.subject	object identification	cs
dc.subject	EfficientNetB1	cs
dc.subject	neural networks	cs
dc.subject	image classification	cs
dc.subject	semantic analysis of graphical user interface	cs
dc.subject	computer vision	cs
dc.subject	machine learning	cs
dc.subject	semantic dictionary of UI elements	cs
dc.subject	OCR	cs
dc.subject	Python	cs
dc.subject	Keras	cs
dc.subject	TensorFlow	cs
dc.subject	OpenCV	cs
dc.title	Identifikace elementů grafického uživatelského rozhraní pro robotický testovací systém	en
dc.title.alternative	Automated Identification of Graphical UI Elements for Robotic Quality Assurance	cs
dc.type	Text	cs
dc.type.driver	masterThesis	en
dc.type.evskp	diplomová práce	cs
dcterms.dateAccepted	2022-06-20	cs
dcterms.modified	2022-06-23-09:13:58	cs
eprints.affiliatedInstitution.faculty	Fakulta informačních technologií	cs
sync.item.dbid	145480	en
sync.item.dbtype	ZP	en
sync.item.insts	2025.03.26 15:35:57	en
sync.item.modts	2025.01.15 21:17:40	en
thesis.discipline	Počítačové vidění	cs
thesis.grantor	Vysoké učení technické v Brně. Fakulta informačních technologií. Ústav počítačové grafiky a multimédií	cs
thesis.level	Inženýrský	cs
thesis.name	Ing.	cs

Identifikace elementů grafického uživatelského rozhraní pro robotický testovací systém

Files

Original bundle

Collections