Synchronizace videozáznamu přednášky a příslušných slajdů

Abstract

Tato práce řeší automatickou anotaci snímků pro videopřednášky. Anotace umožňují uživateli přeskočit přednášku podle vzhledu snímku. Přiřazování snímků je založeno na SIFT (Scale Invariant Feature Transform) detekci klíčových bodů s využitím geometrické verifikace a kosinové podobnosti pro přiřazení klíčových bodů, jejich geometrické ověření a výběr nejpodobnějšího snímku. Anotace se ukládají přímo do souborů PDF pomocí vlastního rozšíření PDF, které ukládá anotace přímo do souboru PDF. Zároveň bylo vytvořeno grafické uživatelské rozhraní (GUI), které uživateli umožňuje prohlížet si slajdy ve formátu PDF a přecházet na příslušné části videa. Shoda snímků dosáhla 96% přesnosti na 41 385 anotovaných snímcích z 5 různých přednášek. Kód byl zveřejněn a aplikaci si může stáhnout a používat kdokoli k anotování a sledování videopřednášek.

This work solves automatic slide annotation for video lectures. The annotations enable the user to skip the lecture by slide appearance. The slide-matching is based on Scale Invariant Feature Transform (SIFT) keypoint detection using geometric verification and Cosine Similarity to match keypoints, verify them geometrically, and pick the most similar slide. The annotations are stored directly in PDF files using a custom PDF extension that stores the annotations directly in the PDF file. A graphical user interface (GUI) was made to let the user view the slides in PDF format and skip to the relevant parts of the video. The slide-matching achieved 96% accuracy on 41,385 annotated frames from 5 different lectures. The code was released, and the application can be downloaded and used by anyone to annotate and watch video lectures.