Zvýrazňování oblastí zájmu na základě sledování pohledu

Abstract

Tato práce detailně popisuje vývoj a vyhodnocení systému sledování pohledu v reálném čase založeného na 3D modelu, který umožňuje neomezený pohyb hlavy uživatele. Jádro metodiky spočívá v tvorbě zjednodušených 3D modelů hlavy specifických pro daný subjekt, inicializovaných pomocí klíčových bodů z MediaPipe FaceMesh a optimalizovaných pomocí algoritmu L-BFGS, za využití RGB-D kamery Intel RealSense D435i pro sběr dat a diferenciální evoluce pro kalibraci očních parametrů specifických pro daný subjekt. Významným zjištěním je vyšší výkonnost MediaPipe FaceMesh pro rychlou a přesnou lokalizaci středu duhovky ve srovnání s tradičními analytickými metodami, jako je Daugmanův integro-diferenciální operátor, což přispívá ke schopnosti systému pracovat při více než 60 snímcích za sekundu. Implementované řešení dosahuje průměrné úhlové chyby odhadu pohledu přibližně 7, přičemž uživatelům umožňuje úplnou volnost pohybu hlavou, což demonstruje praktický přístup k robustnímu sledování pohledu v dynamických scénářích.

This thesis details the development and evaluation of a real-time 3D model-based gaze tracking system enabling unconstrained user head movement. The core methodology involves creating subject-specific simplified 3D head models, initialized using MediaPipe FaceMesh landmarks and optimized with the L-BFGS algorithm, alongside an Intel RealSense D435i RGB-D camera for data acquisition and differential evolution for calibrating subject-specific eye parameters. A significant finding is the superior performance of MediaPipe FaceMesh for rapid and accurate iris center localization compared to traditional analytical methods like Daugman’s Integro-Differential operator, contributing to the system’s ability to operate at over 60 FPS. The implemented solution achieves an average angular gaze estimation error of approximately 7 while allowing users complete freedom of head movement, demonstrating a practical approach to robust gaze tracking in dynamic scenarios.