Web jako zdroj dat pro automatické vytváření morfologického slovníku

Abstract

Tvorba slov v přirozeném jazyce se zakládá na pravidlech, které jsou komplexní, často je nemožné je jednoznačně formálně definovat. Proto se při zpracování přirozeného jazyka využívají morfologické slovníky. Tato práce se zaobírá vytvářením morfologického slovníku z dat sesbíraných z webových stránek slovenské národní domény. Přičemž se zaměřuje nejen na tvorbu slovníku, ale i na získávání dat, jejich zpracování do použitelné podoby pro účely morfologické analýzy, ale i vhodnými datový­mi strukturami pro jejich uložení. Dále objasňuje základní principy a pojmy morfologické analýzy a tvorby slov při zpracování přirozeného jazyka počítačem. Vytvořený systém, který je popsaný v této práci, produkuje ze vstupních dat morfologický slovník, který může být použitý v různých aplikacích, například korektoru pravopisu, strojového překladu textu a podobně.Creation of natural language words is based on rules, which are generally complex. Often it is very difficult or even impossible to describe them precisely in a formal way. That is why we use a morpho­logical dictionary to process natural language. In this paper we discuss the creation of morphological dictionary from Slovak's top level domain web. We talk about web crawling, data processing for mor­phological analysis and data structures too. This document makes basic principle and conception of morphological analysis clear. Final system, which is described in this thesis, produces morphological dictionary. This dictionary can be use in various application, for example spell checker, machine translation and so on.