Nástroj pro odhalování deepfakes na základě biologických faktorů

Abstract

Tato bakalářská práce se zabývá detekcí video deepfake pomocí fyziologických vzorců, se zaměřením na dechové signály získané z fotopletysmografických (PPG) dat. Byly navrženy dva hlavní přístupy k detekci: sekvenční přístup, který modeluje dechové signály v čase pomocí rekurentních neuronových sítí typu long short-term memory (LSTM) nebo gated recurrent unit (GRU), a obrazový přístup, který analyzuje konzistenci dechových signálů v různých částech obličeje pomocí PPG map a konvolučních neuronových sít (CNN). Vyhodnocení bylo provedeno na datasetech FaceForensics++ a Celeb-DF. Výsledky ukazují, že metoda založená na dechových vzorcích nedosahuje očekávané přesnosti. Lepších výsledků bylo dosaženo při nepoužití filtrace, což naznačuje možný nedostatek informací ve filtrovaném signálu. I přesto byly v rámci práce získány cenné výsledky v oblasti studia fyziologických signálů a naznačeny možné směry dalšího výzkumu.This bachelor's thesis focuses on video deepfake detection using physiological patterns, specifically on breathing signals extracted from photoplethysmographic (PPG) data. Two main detection approaches were proposed: a sequence-based approach that models breathing signals over time using recurrent neural networks such as long short-term memory (LSTM) or gated recurrent unit (GRU), and an image-based approach that analyzes the consistency of breathing signals across different facial regions using PPG maps and convolutional neural networks (CNN). The evaluation was provided on the FaceForensics++ and Celeb-DF datasets. The results show that the method based on breathing patterns does not achieve the expected level of accuracy. Better results were achieved when filtering was not applied, which may indicate a lack of information in the filtered signal. Nevertheless, the thesis made a contribution to the study of physiological signals and highlighted potential directions for further research.