Detekce tématu webové stránky

Abstract

Na internetu se dnes nachází více než miliarda webových stránek, které se zaměřují na celou řadu různých témat. Hlavním cílem této práce je s pomocí metod strojového učení a analýzy textu vytvořit model, který dokáže predikovat, o jakém tématu z určité zvolené podmnožiny témat web pojednává. Pro trénování byla vytvořena anotovaná datová sada obsahující URL, HTML obsah webu a kategorii, do které se řadí. Na této datové sadě byly natrénovány klasifikátory využívající vektor vlastností složený ze skupin charakteristik TF-IDF, HTML a LDA. Nejlepších výsledků dosáhl klasifikátor s algoritmem LightGBM, který klasifikoval s průměrnou přesností 80% na testovacích datech s 11 různými třídami témat. Nad rámec zadání bylo implementováno prohlížečové rozšíření pro klasifikaci webů v reálném čase.

There are more than a billion websites on the Internet today that focus on a wide variety of topics. The main goal of this work is to use machine learning and text analysis methods to create a model that can predict which topic from a selected subset of topics a website is about. For training, an annotated dataset containing the URL, the HTML content of the site and the category it belongs to was created. Classifiers were trained on this dataset using a feature vector composed of TF-IDF, HTML and LDA feature sets. The classifier with the LightGBM algorithm achieved the best results, classifying with an average accuracy of 80% on test data with 11 different topic classes. Beyond the assignment, a browser extension was implemented for real-time classification of websites.