Klasifikace typů stran dokumentu

Abstract

Tato diplomová práce se zabývá se zabývá problémem automatické klasifikace stran v dokumentech, což je jeden z klíčových bodů v oblasti analýzy a zpracování dokumentů, jako je extrakce informací nebo digitální archivace. Práce se zaměřuje na metody hlubokého učení a zejména na architektury založené na vizuálních transformerech, jako je Vision Transformer (ViT model). Speciální pozornost je věnována multimodálnímu přístupu, který kombinuje vizuální informace z obrazu a extrahovaná textová data dokumentu a modelu CLIP, který jsem upravil pro klasifikaci a experimentoval s ním.This thesis deals with the problem of automatic classification of pages in documents, which is one of the key issues in document analysis and processing, such as information extraction or digital archiving. The thesis focuses on deep learning methods and in particular on architectures based on visual transformers, such as the Vision Transformer (ViT model). Special attention is paid to a multimodal approach that combines visual information from an image and extracted text data from a document, and to the CLIP model that I have adapted for classification and experimented with.