Pair dataset for evaluating differential-based deepfake speech detector

Abstract

Tato práce se zabývá rostoucí výzvou v oblasti detekce deepfake řeči prostřednictvím návrhu datové sady přizpůsobené diferenčním detekčním metodám, které porovnávají testovanou nahrávku s důvěryhodnou referenční nahrávkou téhož řečníka. Hlavním cílem je zjistit, zda použití párových nahrávek se shodným mluveným obsahem zlepšuje výkonnost detekce. Za tímto účelem byla vytvořena párová datová sada obsahující více než 100 000 nahrávek ve čtyřech jazycích od téměř 200 řečníků. Každá falešná nahrávka je spárována s reálnou nahrávkou téhož řečníka se stejným mluveným obsahem. Bylo vyhodnoceno několik detekčních systémů, včetně konvenčních modelů s jedním vstupem a diferenčních modelů. Výsledky ukazují, že diferenční detekce obecně překonává jednovstupové přístupy, zatímco shoda obsahu vede pouze k mírnému zlepšení, což naznačuje, že diferenční modely dobře generalizují i na nahrávkách s rozdílným mluveným obsahem stejného řečníka.

This thesis addresses the growing challenge of detecting speech deepfakes by proposing a dataset tailored to differential detection methods, which compare a test utterance with a trusted reference from the same speaker. The main objective is to determine whether using reference–test pairs with identical spoken content improves detection performance. To support this, a pair dataset was created, containing over 100,000 utterances across four languages and nearly 200 speakers. Each fake sample is paired with a real utterance from the same speaker and with identical spoken content. Several detection systems, including both traditional single-input and differential models, were evaluated. Results show that differential detection generally outperforms single-input baselines, while content alignment leads to only a modest improvement, indicating that differential models generalize well across utterances with different spoken content from the same speaker.