Automatické rozpoznávání tabulek pomocí neuronových sítí
Loading...
Date
Authors
ORCID
Advisor
Referee
Mark
A
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Tato práce seznamuje čtenáře se současnými technikami rozpoznávání tabulek, které se používají především k získávání informací z ručně psaných nebo tištěných historických tabulek. Představujeme také metodu založenou na grafové neuronové síti, která je inspirována představenými přístupy. Metoda se skládá ze tří fází: fáze inicializace grafu, fáze klasifikace uzlů/hran a fáze transformace grafu na text. Ve fázi inicializace grafu používáme algoritmus viditelnosti uzlů a OCR k vytvoření počáteční grafové reprezentace vstupní tabulky. Ve fázi klasifikace uzlů a hran jsou uzly a hrany klasifikovány a ve fázi transformace grafu na text zarovnáváme uzly grafu do mřížky, která je pak použita k vytvoření konečné textové reprezentace tabulky. Náš implementovaný model byl schopen dosáhnout přesnosti 68 % u detekce horizontálních sousedů, přesnosti 71 % u detekce vertikálních sousedů a přesnosti 83 % u detekce buněk na datové sadě ABP.
This thesis introduces the reader to the current table recognition techniques mainly used to extract information from historical handwritten and printed tables. We also introduce a method based on graph neural network, which is inspired by the presented techniques. The method consists of three phases: graph initialization, node/edge classification and graph to text transformation phase. In the graph initialization phase, we use the node visibility algorithm and OCR to create an initial graph representation of the input table. In the node and edge classification phase, the nodes and edges are classified, and in the graph to text transformation phase, we fit the graph's nodes into a grid which is then used to produce the final text representation of the table. The implemented model achieved horizontal neighbours detection precision of 68 %, vertical neighbours detection precision of 71 % and cell detection precision of 85 % on the ABP dataset.
This thesis introduces the reader to the current table recognition techniques mainly used to extract information from historical handwritten and printed tables. We also introduce a method based on graph neural network, which is inspired by the presented techniques. The method consists of three phases: graph initialization, node/edge classification and graph to text transformation phase. In the graph initialization phase, we use the node visibility algorithm and OCR to create an initial graph representation of the input table. In the node and edge classification phase, the nodes and edges are classified, and in the graph to text transformation phase, we fit the graph's nodes into a grid which is then used to produce the final text representation of the table. The implemented model achieved horizontal neighbours detection precision of 68 %, vertical neighbours detection precision of 71 % and cell detection precision of 85 % on the ABP dataset.
Description
Keywords
rozpoznávání tabulek, grafové neuronové sítě, neuronová síť Transformer, nalezení hran, nalezení uzlů, opticke rozpoznávání znaků, inicializace grafu, hodnocení rozpoznávání tabulek, table recognition, graph neural network, transformer neural network, edge discover, node discovery, optical character recognition, table recognition datasets, graph initialization, table recognition evaluation
Citation
PIWOWARSKI, L. Automatické rozpoznávání tabulek pomocí neuronových sítí [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2022.
Document type
Document version
Date of access to the full text
Language of document
en
Study field
Počítačové vidění
Comittee
prof. Dr. Ing. Pavel Zemčík, dr. h. c. (předseda)
doc. Ing. Martin Čadík, Ph.D. (místopředseda)
Ing. Vítězslav Beran, Ph.D. (člen)
Ing. Roman Juránek, Ph.D. (člen)
Ing. Zbyněk Křivka, Ph.D. (člen)
Ing. Tomáš Milet, Ph.D. (člen)
Date of acceptance
2022-06-20
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A. Otázky u obhajoby: Jak byly trénovány CNN pro extrakci vizuálních příznaků pro buňky a hrany? Využíváte nějak informaci o klasifikaci buněk z trénovacích dat? Výstupy OCR využíváte jako vstup Vaší metody i pro tvorbu ground truth anotací. Jak kvalitní jsou výstupy OCR a jaký mají dopad na přesnost rozpoznání tabulek? Zvládá kupříkladu vertikální text? Jak si poradí s textem přetékajícím do sousedních buněk? Dle tabulky 6.2 se zdá, že detekce strukturovaných záhlaví je problematická a síť buňky záhlaví klasifikuje jako datové. Zvažoval jste řešení pro tento problém? Problematická je i detekce prázdných buňek. Jsou prázdné buňky významné pro další zpracování rozpoznaných tabulek? Jak by vypadaly výsledky Vaší metody, pokud byste prázdné buňky při výpočtu metrik vyloučil?
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení