Nástroj pro odhalování deepfakes na základě biologických faktorů

Abstract

Tato bakalářská práce se zabývá detekcí video deepfake pomocí fyziologických vzorců, se zaměřením na dechové signály získané z fotopletysmografických (PPG) dat. Byly navrženy dva hlavní přístupy k detekci: sekvenční přístup, který modeluje dechové signály v čase pomocí rekurentních neuronových sítí typu long short-term memory (LSTM) nebo gated recurrent unit (GRU), a obrazový přístup, který analyzuje konzistenci dechových signálů v různých částech obličeje pomocí PPG map a konvolučních neuronových sít (CNN). Vyhodnocení bylo provedeno na datasetech FaceForensics++ a Celeb-DF. Výsledky ukazují, že metoda založená na dechových vzorcích nedosahuje očekávané přesnosti. Lepších výsledků bylo dosaženo při nepoužití filtrace, což naznačuje možný nedostatek informací ve filtrovaném signálu. I přesto byly v rámci práce získány cenné výsledky v oblasti studia fyziologických signálů a naznačeny možné směry dalšího výzkumu.

This bachelor's thesis focuses on video deepfake detection using physiological patterns, specifically on breathing signals extracted from photoplethysmographic (PPG) data. Two main detection approaches were proposed: a sequence-based approach that models breathing signals over time using recurrent neural networks such as long short-term memory (LSTM) or gated recurrent unit (GRU), and an image-based approach that analyzes the consistency of breathing signals across different facial regions using PPG maps and convolutional neural networks (CNN). The evaluation was provided on the FaceForensics++ and Celeb-DF datasets. The results show that the method based on breathing patterns does not achieve the expected level of accuracy. Better results were achieved when filtering was not applied, which may indicate a lack of information in the filtered signal. Nevertheless, the thesis made a contribution to the study of physiological signals and highlighted potential directions for further research.