Nástroj pro automatické zarovnání titulků
Loading...
Date
Authors
Chudý, Daniel
ORCID
Advisor
Referee
Mark
B
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Hlavnou motiváciou tejto práce je zjednodušiť prečasovanie titulkov, kde vstupom sú originálny a upravený videosúbor a titulky korešpondujúce s originálnym videom. Príklad – editor videí musí vystrihnúť scénu z videa. Titulky korešpondujúce s vystrihnutou časťou videa musí ručne odstrániť a prečasovať časť titulkov, ktorá nasleduje za vystrihnutou sekciou. Nástroj túto prácu uľahčí práve tým, že ju automatizuje. Z ľubovolne upravenej verzie videosúboru (strihy), originálneho súboru a originálnych titulkov vznikne verzia titulkov, ktorá sedí na upravenú verziu videosúboru. Cieľom je prispôsobiť originálne titulky na upravený videosúbor. Riešením je konverzia videosúborov na audio-súbory (.wav, wavfile), extrahovanie MFCC (Mel-frekvenčné cepstrálne koeficienty) a následne vzájomné porovnanie algoritmom Dynamic Time Warping (DTW). Z cesty zarovnania (výstup DTW) sa zistia rozdiely signálov (strihy vo videu) a na ich základe sa upravia titulky. Na otestovanie aplikácie bol vytvorený dataset public domain filmov a vlastných nahrávok. Vytvorená aplikácia poskytuje 69 – 90 % úspešnosť zarovnania titulkov na datasete s videami o dĺžke 1 – 60 minút.
The main motivation of this work is to simplify the retiming of subtitles, where the inputs are the original and edited video files and subtitles corresponding to the original video. Example – a video editor needs to cut a scene from a video. Subtitles that correspond with the clipped part of the video must be manually removed and the subtitle part that follows the clipped part must be manually re-timed. The tool makes this work easier by automating it. From an arbitrarily edited version of the video file (cuts), the original file and the original subtitles, a version of subtitles will be created that fits the edited version of the video file. Simply put, the goal is to align the original subtitles with the edited video file. The solution is the conversion of video files to audio files (.wav, wavfile), extraction of MFCC (Mel-frequency cepstral coefficients) and subsequent mutual comparison with the Dynamic Time Warping (DTW) algorithm. From the alignment path (DTW output), signal differences (cuts in the video) are detected and subtitles are adjusted based on them. A dataset was created to test the application consisisting of public domain films and own recordings. The created application provides 69 – 90 % subtitle alignment success on a dataset that contains videos of length 1 – 60 minutes.
The main motivation of this work is to simplify the retiming of subtitles, where the inputs are the original and edited video files and subtitles corresponding to the original video. Example – a video editor needs to cut a scene from a video. Subtitles that correspond with the clipped part of the video must be manually removed and the subtitle part that follows the clipped part must be manually re-timed. The tool makes this work easier by automating it. From an arbitrarily edited version of the video file (cuts), the original file and the original subtitles, a version of subtitles will be created that fits the edited version of the video file. Simply put, the goal is to align the original subtitles with the edited video file. The solution is the conversion of video files to audio files (.wav, wavfile), extraction of MFCC (Mel-frequency cepstral coefficients) and subsequent mutual comparison with the Dynamic Time Warping (DTW) algorithm. From the alignment path (DTW output), signal differences (cuts in the video) are detected and subtitles are adjusted based on them. A dataset was created to test the application consisisting of public domain films and own recordings. The created application provides 69 – 90 % subtitle alignment success on a dataset that contains videos of length 1 – 60 minutes.
Description
Keywords
signál, titulky, algoritmus, strih, audio, video, waveform, SRT, DTW, MFCC, FFT, MSA, prevzorkovanie, podvzorkovanie, korelácia, prečasovanie, zarovnanie, synchronizácia, ffmpeg, tkinter, signal, subtitles, algorithm, cut, audio, video, waveform, SRT, DTW, MFCC, FFT, MSA, resampling, downsampling, cross-correlation, retiming, alignment, synchronisation, ffmpeg, tkinter
Citation
CHUDÝ, D. Nástroj pro automatické zarovnání titulků [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2023.
Document type
Document version
Date of access to the full text
Language of document
sk
Study field
Informační technologie
Comittee
prof. Ing. Adam Herout, Ph.D. (předseda)
doc. Dr. Ing. Otto Fučík (člen)
doc. Ing. Vítězslav Beran, Ph.D. (člen)
Ing. Jiří Hynek, Ph.D. (člen)
doc. Mgr. Lukáš Holík, Ph.D. (člen)
Date of acceptance
2023-06-14
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B.
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení