Sémantická podobnost textů
Loading...
Date
Authors
Bradáč, Václav
Advisor
Referee
Mark
E
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
ORCID
Abstract
Tato práce se zabývá problematikou určování sémantické podobnosti textů se zaměřením na škálovatelnost. Součástí zpracování je teoretický přehled nástrojů pro implementaci systému na testovaných datech. Testovaný korpus obsahuje odborné články v anglickém jazyce. Cílem práce je tyto články analyzovat, modifikovat pro snadnější analýzu jejich sémantické obdoby. Jedním z nejdůležitějších využitých nástrojů je reprezentace dat ve vektorovém prostoru.
This paper deals with the determination of semantic similarity texts, focusing on scalability. Part of treatment is a theoretical overview of the tools to implement the system on test data. Tested corpus contains expert articles in the English language. The aim is to analyze these articles, modified to facilitate the analysis of their semantic analogues. One of the most utilized tools is a representation of data in a vector space model.
This paper deals with the determination of semantic similarity texts, focusing on scalability. Part of treatment is a theoretical overview of the tools to implement the system on test data. Tested corpus contains expert articles in the English language. The aim is to analyze these articles, modified to facilitate the analysis of their semantic analogues. One of the most utilized tools is a representation of data in a vector space model.
Description
Keywords
Sémantická podobnost , TF-IDF , Latentní sémantická analýza , Latentní sémantická indexace , Singulární rozklad , Latentní Direchletova alokace , Python , Gensim , PHP , Elasticsearch , MoreLikeThis , Semantic similarity , TF-IDF , Latent semantic analysis , Latent semantic indexing , Singular value decomposition , Latent Direchletova allocation , Python , Gensim , PHP , Elasticsearch , MoreLikeThis
Citation
BRADÁČ, V. Sémantická podobnost textů [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2015.
Document type
Document version
Date of access to the full text
Language of document
cs
Study field
Informační technologie
Comittee
prof. RNDr. Alexandr Meduna, CSc. (předseda)
doc. Ing. Vladimír Drábek, CSc. (místopředseda)
doc. Ing. Vítězslav Beran, Ph.D. (člen)
Ing. Bohuslav Křena, Ph.D. (člen)
Mgr. Ing. Pavel Očenášek, Ph.D. (člen)
Date of acceptance
2015-06-16
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm E. Otázky u obhajoby: Na straně 13 uvádíte příklad výpočtu podobnosti dvou vektorů pomocí kosinové podobnosti. Na závěr příkladu tvrdíte, že je nutné výslednou hodnotu odečíst od čísla 1, aby byl výsledek v intervalu <0;1>. Tohle tvrzení není pravdivé. Můžete prosím komisi předložit správnou verzi výpočtu? Proč jste zvolil počet dimenzí pro LDA a LSA 18, když se v praxi používají hodnoty v řádu stovek. Jak si vysvětlujete, že Vám stačilo pouhých 18 dimenzí k dosažení nejlepšího výsledku?
Result of defence
práce byla úspěšně obhájena