Inteligentní nástroj pro obsahovou analýzu specifické audiovizuální tvorby

Abstract

Tato disertační práce se zabývá vývojem inteligentního nástroje pro analýzu obsahu specifické audiovizuální tvorby s využitím moderních metod umělé inteligence. Práce reaguje na rostoucí potřebu kvalitní automatizované analýzy uměleckých audiovizuálních děl, jejichž specifické prvky činí běžné analytické postupy nedostatečnými a časově náročnými. Hlavním cílem je návrh robustní klasifikační metodiky pro vizuální a zvukový obsah, a realizace interaktivního webového nástroje pro efektivní analýzu bibliografických a obsahových dat pro uměnovědce. Práce dále zahrnuje vytvoření detailně anotované datové sady se speciálně definovanými kategoriemi pro trénink a validaci pokročilých CNN modelů. Experimentální část práce ověřuje účinnost předtrénovaného modelu CNN a modelů VGG, Inception ResNet, Xception a NASNet trénovaných speciálně na vytvořené datové sadě. Pro audio analýzu byly trénovány modely CNN 14, ResNet a Wavegram-Logmel-CNN. Výsledky ukazují přesnost, jež potvrzuje vhodnost zvolených metod pro daný typ dat. Dalším výsledkem práce je komplexní, uživatelský přívětivý webový nástroj umožňující interaktivní zkoumání audiovizuálních dat, jakož i rozhraní pro detailní tvorbu datové sady.

This doctoral thesis focuses on developing an intelligent tool for analysing the content of specific audiovisual production by means of modern artificial intelligence techniques. It answers the growing demand for high-quality automated analysis of artistic audiovisual pieces whose distinctive features render conventional analytic procedures inadequate and time-consuming. The primary objective is to design a robust classification methodology for both visual and audio content and to implement an interactive web-based application that allows art historians to examine bibliographic and content data efficiently. The study also introduces a thoroughly annotated data set with specially defined categories for training and validating advanced CNN models. The experimental section evaluates the performance of a pre-trained CNN together with VGG, Inception, Xception and NASNet architectures fine-tuned on the curated data set. For audio analysis, CNN 14, ResNet and Wavegram networks are employed. The results verify the suitability of the chosen methods for the data under investigation. Finally, the work delivers a comprehensive, user-friendly tool that supports interactive exploration of audiovisual material and provides a dedicated interface for detailed data set construction.