Automatizováné zpracování webových stránek vyžadujících JavaScript
Loading...
Date
Authors
Norek, Karel
ORCID
Advisor
Referee
Mark
D
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Tato práce je zaměřena na automatizované zpracování dynamických webových stránek vyžadujících JavaScript. Pro tento záměr byl vytvořen scraper, který za pomocí konfiguračního souboru, obsahující sekvenci příkazů, ovládá webovou stránku použitím Selenia a extrahuje požadovaná data a ukládá je do databáze. Tento nástroj umožňuje sestavit komplexní sekvenci kroků simulující aktivitu uživatele na webových stránkách, především na stránkách využívajících JavaScript. Pro scraper byla také vytvořena webová aplikace umožňující vytváření konfiguračních souborů, spouštění scraperu a kontrolu dat v databázi. Výsledné řešení poskytuje správné výsledky při zpracování dat z dynamických stránek a jejich zobrazení ve webové aplikaci. Přínosem této práce je možnost zpracovat jakoukoliv webovou stránku a uchovat její data.
This thesis focuses on the automated processing of websites requiring JavaScript. For this purpose, a scraper was created. The Scraper uses a configuration file containing a sequence of commands. These commands control a website using Selenium commands, extract wanted data, and store them in a database. This tool allows for building a complex flow on websites simulating user activity, mainly on websites using JavaScript. A web application for the scraper was also created, allowing configuration files to be created, running the scraper, and viewing data from the database. The solution provides correct results when processing data from dynamic websites and allows them to be shown in the web application. The benefit of this thesis is the option to process any website and store its data.
This thesis focuses on the automated processing of websites requiring JavaScript. For this purpose, a scraper was created. The Scraper uses a configuration file containing a sequence of commands. These commands control a website using Selenium commands, extract wanted data, and store them in a database. This tool allows for building a complex flow on websites simulating user activity, mainly on websites using JavaScript. A web application for the scraper was also created, allowing configuration files to be created, running the scraper, and viewing data from the database. The solution provides correct results when processing data from dynamic websites and allows them to be shown in the web application. The benefit of this thesis is the option to process any website and store its data.
Description
Citation
NOREK, K. Automatizováné zpracování webových stránek vyžadujících JavaScript [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2023.
Document type
Document version
Date of access to the full text
Language of document
en
Study field
Informační technologie
Comittee
doc. Dr. Ing. Dušan Kolář (předseda)
doc. Ing. František Zbořil, Ph.D. (člen)
Ing. Jiří Matoušek, Ph.D. (člen)
Ing. Tomáš Milet, Ph.D. (člen)
Ing. Jiří Hynek, Ph.D. (člen)
Date of acceptance
2023-08-21
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm D.
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení