Diferenční detekce deepfake reči

Abstract

Technologie deepfake řeči umožňuje vytvářet velmi realistické sytnetické nahrávky. Tato možnost představuje významné riziko, neboť hrozí její zneužití v mnoha oblastech, od milionových podvodů po rozporování pravosti důkazních materiálů. Tato diplomová práce představuje inovativní metodu pro detekci takových deepfake nahrávek, a to s využitím reálných nahrávek řečníka. Na rozdíl od ostatních přísupů využívá pravé nahrávky k získání důležité dodatečné informace o mluvčím. Porovnáním opravdových nahrávek s potenciálně upravenými nebo vygenerovanými lze efektivně a spolehlivě určit pravost řeči na nahrávce. Dosavadní výsledky ukazují, že tento inovativní přístup může být hodnotným nástrojem v rozpoznávání deepfake řeči, zejména nahrávek vytvořených s využitím technologie konverze hlasu (voice conversion), čímž nabízí zcela nový způsob obrany proti hrozbě deepfake zločinů.Deepfake speech technology, which can create highly realistic fake audio, poses significant challenges, from enabling multi-million dollar scams to complicating legal evidence's reliability. This work introduces a novel method for detecting such deepfakes by leveraging bonafide speech samples. Unlike previous strategies, the approach uses trusted ground truth speech samples to identify spoofs, providing critical information that common methods lack. By comparing the bonafide samples with potentially manipulated ones, the aim is to effectively and reliably determine the authenticity of the speech. Results suggest that this innovative approach could be a valuable tool in identifying deepfake speech, especially recordings created using Voice Conversion techniques, offering a new line of defence against this emerging threat.