Extrakce vztahů z textu

Abstract

Táto bakalárska práca sa zameriava na extrakciu sémantických vzťahov medzi pomenovanými entitami v prirodzenom texte pomocou učenia s malým počtom pomocných príkladov. V teoretickej časti práce sú predstavené metódy reprezentácie prirodzeného jazyka pomocou hustých vektorov a rozpoznávanie pomenovaných entít. Ďalej sú opísané prístupy k extrakcii sémantických vzťahov založené na hlbokom učení. Teoretická časť zahŕňa aj popis učenia s malým počtom trénovacích príkladov v kontexte extrakcie sémantických vzťahov. V implementačnej časti bol navrhnutý systém pre extrakciu sémantických vzťahov z textu. Systém ku klasifikácii vzťahov využíva párové klasifikátory založené na predtrénovaných jazykových modeloch typu transformers. Pre potreby práce boli natrénované modely ELECTRA-PAIR, RoBERTa-PAIR a BERT-PAIR. V experimentálnej časti práce sú tieto modely vyhodnotené nad rôznymi dátovými sadami. Experimentálna časť zároveň zahrňuje aj experimenty zamerané na klasifikáciu zložitejších sémantických vzťahov.This bachelor thesis focuses on the extraction of semantic relations between named entities in natural text using learning with a small number of supporting examples. The theoretical part of the thesis introduces methods for natural language representation using dense vectors and named entity recognition. Next, deep learning based approaches for semantic relation extraction are described. The theoretical part also includes a description of learning with a small number of training examples in the context of semantic relation extraction In the implementation part, a system for extracting semantic relations from text has been proposed. The system uses pairwise classifiers based on pre-trained language models like transformers to classify the relations. For the purpose of this work, the ELECTRA-PAIR, RoBERTa-PAIR and BERT-PAIR models were trained. In the experimental part of the thesis, these models are evaluated over different datasets. The experimental part also includes experiments aimed at classifying more complex semantic relations.