Kvalita obrazu v multimediálních systémech pro virtuální realitu

Abstract

Nároky na uložiště a přenos všesměrových (360°) snímků jsou výrazně vyšší než v případě běžných 2D obrazů. Proto jsou nezbytné pokročilé algoritmy pro komprimaci obrazu a spolehlivé metody hodnocení kvality obrazu (IQA) pro jejich praktické nasazení. Tato disertační práce se zabývá problematikou hodnocení kvality všesměrových obrazů komprimovaných pomocí nových kodeků, což představuje reálný aplikační scénář, v němž je nutné snížit datový objem při současném zachování vysoké úrovně vnímané vizuální kvality. Nejprve je zkoumána použitelnost kompresních standardů (JPEG XL, HEIC, AVIF) pro 360° obrazy a jejich vyhodnocení s využitím běžných IQA metrik. Následně je představena databáze pro hodnocení kvality všesměrových obrazů (OMNIQAD), unikátní dataset zahrnující zkreslení vyvolané novými kodeky (první dataset obsahující JPEG XL a AVIF) a šumové degradace, která umožňuje reprodukovatelný výzkum. Rozsáhlý subjektivní experiment, doplněný o data z eye-trackingu, tuto databázi dále obohacuje a poskytuje počáteční poznatky o tom, jak uživatelé s různými vlastnosti (např. zkušenosti s VR, vady zraku) vnímají vizuální kvalitu obrazu. Zásadní část práce se zaměřuje na hlubokou analýzu výkonnosti konvenčních objektivních IQA metrik na komprimovaných 360° obrazech ve srovnání se subjektivními výsledky. S přispěním těchto poznatků je navržena nová metoda OIQA založená na fúzi více příznakových metrik, která vykazuje vysokou korelaci s lidským vnímáním. Navržený přístup je validován na databázích OMNIQAD a CVIQ, přičemž je provedeno i prvotní srovnání výkonnosti vůči modelům založeným na hlubokém učení. Celkově tato práce přináší originální poznatky v oblasti hodnocení kvality všesměrových obrazů komprimovaných moderními kodeky, představuje databázi OMNIQAD pro účely výzkumu i dalšího vývoje a navrhuje rozšířenou metodologii hodnocení založenou na fúzi metrik, ověřenou na vícero datasetech.The storage and transmission requirements of omnidirectional (360°) images are significantly higher than those of conventional 2D content. Therefore, effective compression algorithms and reliable image quality assessment (IQA) methods are essential for their practical deployment. This doctoral thesis addresses the challenge of evaluating the visual quality of omnidirectional images compressed by emerging codecs, reflecting a real-world scenario in which file size must be reduced while maintaining a high level of perceived visual quality. First, it examines the applicability of emerging compression standards (JPEG XL, HEIC, AVIF) to 360° images and evaluates their performance using commonly employed IQA metrics. Next, it introduces the Omnidirectional Image Quality Assessment Database (OMNIQAD), a unique dataset that includes distortions caused by recent compression standards (the first public dataset with JPEG XL and AVIF) as well as noise-based distortions, thereby enabling reproducible research. A large-scale subjective experiment, further extended with eye-tracking data, enriches the database and provides valuable insights into how user-related factors (e.g., VR experience, visual impairments) influence perceived quality. The thesis then analyses the performance of conventional objective IQA metrics on compressed 360° images against subjective ratings. Building on these findings, a novel fusion-based omnidirectional IQA (OIQA) method is proposed. This method integrates multiple feature metrics to achieve superior correlation with human perception. Its effectiveness is validated on two datasets (OMNIQAD and CVIQ), with preliminary comparisons against deep learning-based approaches. Overall, the dissertation provides original findings on OIQA of compressed omnidirectional images, introduces OMNIQAD as a benchmarking resource for further research, and proposes an enhanced feature-fusion methodology validated across multiple datasets.