but.committee	prof. Ing. Tomáš Vojnar, Ph.D. (předseda) doc. RNDr. Tomáš Brázdil, Ph.D. (člen) prof. Mgr. Pavel Rajmic, Ph.D. (člen) doc. Ing. Václav Šmídl, Ph.D. (člen) Jesus Antonio Villalba Lopez (člen)	cs
but.defence	The student presented the goals and results, which she achieved within the solution of the dissertation. The student has competently answered the questions of the committee members and reviewers. The discussion is recorded on the discussion sheets, which are attached to the protocol. Number of discussion sheets: 2. The committee has agreed unanimously that the student has fulfilled requirements for being awarded the academic title Ph.D. The committee recommends awarding the thesis the deans prize.	cs
but.jazyk	angličtina (English)
but.program	Výpočetní technika a informatika	cs
but.result	práce byla úspěšně obhájena	cs
dc.contributor.advisor	Burget, Lukáš	en
dc.contributor.author	Silnova, Anna	en
dc.contributor.referee	Šmídl, Václav	en
dc.contributor.referee	Villalba Lopez, Jesus Antonio	en
dc.date.accessioned	2023-01-17T07:56:19Z
dc.date.available	2023-01-17T07:56:19Z
dc.date.created	2022	cs
dc.description.abstract	Tato práce se zabývá dvěma modely, které umožňují využít informace o nejistotě v úlohách automatického ověřování mluvčího a diarizace mluvčích. První model, který zvažujeme, je modifikací široce používané gaussovské pravděpodobnostní lineární diskriminační analýzy (G-PLDA), modelující rozložení vektorových reprezentací promluv nazývaných embeddingy. V G-PLDA se předpokládá, že embeddingy jsou generovány přidáním šumového vektoru navzorkovaného z Gaussova rozložení k vektoru reprezentujícímu mluvčího. Ukazujeme, že za předpokladu, že šum byl místo toho vzorkován ze Studentova T-rozdělení, model PLDA (tuto verzi nazýváme PLDA s těžkým chvostem, heavy-tail, HT-PLDA) může při rozhodnutí o ověření mluvčího využít informace o nejistotě. Náš model je koncepčně podobný modelu HT-PLDA definovanému Kennym et al. v roce 2010, ale jak ukazujeme v této práci, umožňuje rychlé skórování, zatímco původní definice HT-PLDA je značně časové a výpočetně náročná. Představujeme algoritmus pro trénování naší verze HT-PLDA jako generativního modelu a zvažujeme rovněž různé strategie diskriminativního trénování parametrů tohoto modelu. Generativně a diskriminativně trénovanou HT-PLDA testujeme na úloze ověřování mluvčího. Výsledky naznačují, že HT-PLDA funguje podobně jako standardní G-PLDA, přičemž má výhodu v odolnosti vůči změnám v předzpracování dat. Experimenty s diarizací mluvčích ukazují, že HT-PLDA poskytuje nejen lepší výsledky než základní G-PLDA, ale skóre logaritmického poměru věrohodností (log-likelihood ratio, LLR) produkovaná tímto modelem jsou lépe kalibrována. Ve druhém modelu nepovažujeme (na rozdíl od HT-PLDA) embeddingy za pozorovaná data. Místo toho jsou v tomto modelu embeddingy normálně rozložené skryté proměnné. Přesnost (precision) embeddingů nese informaci o kvalitě řečového segmentu: u čistých dlouhých segmentů by přesnost měla být vysoká a u krátkých a zašuměných promluv by měla být nízká. Ukazujeme, jak lze takové pravděpodobnostní embeddingy začlenit do skórování založeného na G-PLDA, a jak parametry skrytého embeddingu ovlivňují jeho vliv při výpočtu věrohodností s tímto modelem. V experimentech demonstrujeme, jak lze využít existující extraktor embeddingů založený na neuronové síti (NN) k produkci nikoli embeddingu, ale parametrů pravděpodobnostního rozložení embeddingu. Pravděpodobnostní embeddingy testujeme na úloze diarizace mluvčích. Výsledky ukazují, že tento model poskytuje dobře kalibrovaná skóre LLR umožňující lepší diarizaci, pokud není k dispozici vývojová datová sada pro ladění shlukovacího algoritmu.	en
dc.description.abstract	This thesis considers two models allowing to utilize uncertainty information in the tasks of Automatic Speaker Verification and Speaker Diarization. The first model we consider is a modification of the widely-used Gaussian Probabilistic Linear Discriminant Analysis (G-PLDA) that models the distribution of the vector utterance representations called embeddings. In G-PLDA, the embeddings are assumed to be generated by adding a noise vector sampled from a Gaussian distribution to a speakerdependent vector. We show that when assuming that the noise was instead sampled from a Student's T-distribution, the PLDA model (we call this version heavy-tailed PLDA) can use the uncertainty information when making the verification decisions. Our model is conceptually similar to the HT-PLDA model defined by Kenny et al. in 2010, but, as we show in this thesis, it allows for fast scoring, while the original HT-PLDA definition requires considerable time and computation resources for scoring. We present the algorithm to train our version of HT-PLDA as a generative model. Also, we consider various strategies for discriminatively training the parameters of the model. We test the performance of generatively and discriminatively trained HT-PLDA on the speaker verification task. The results indicate that HT-PLDA performs on par with the standard G-PLDA while having the advantage of being more robust against variations in the data pre-processing. Experiments on the speaker diarization demonstrate that the HT-PLDA model not only provides better performance than the G-PLDA baseline model but also has the advantage of producing better-calibrated Log-Likelihood Ratio (LLR) scores. In the second model, unlike in HT-PLDA, we do not consider the embeddings as the observed data. Instead, in this model, the embeddings are normally distributed hidden variables. The embedding precision carries the information about the quality of the speech segment: for clean long segments, the precision should be high, and for short and noisy utterances, it should be low. We show how such probabilistic embeddings can be incorporated into the G-PLDA framework and how the parameters of the hidden embedding influence its impact when computing the likelihood with this model. In the experiments, we demonstrate how to utilize an existing neural network (NN) embedding extractor to provide not embeddings but parameters of probabilistic embedding distribution. We test the performance of the probabilistic embeddings model on the speaker diarization task. The results demonstrate that this model provides well-calibrated LLR scores allowing for better diarization when no development dataset is available to tune the clustering algorithm.	cs
dc.description.mark	P	cs
dc.identifier.citation	SILNOVA, A. Využití informací o nejistotě v ověřování mluvčího a diarizaci mluvčích [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2022.	cs
dc.identifier.other	150755	cs
dc.identifier.uri	http://hdl.handle.net/11012/208752
dc.language.iso	en	cs
dc.publisher	Vysoké učení technické v Brně. Fakulta informačních technologií	cs
dc.rights	Standardní licenční smlouva - přístup k plnému textu bez omezení	cs
dc.subject	Ověřováníí mluvčího	en
dc.subject	diarizace mluvčích	en
dc.subject	pravděpodobnostní lineární diskriminační analýza	en
dc.subject	šíření nejistoty	en
dc.subject	diskriminativní trénování	en
dc.subject	Speaker Verification	cs
dc.subject	Speaker Diarization	cs
dc.subject	Probabilistic Linear Discriminant Analysis	cs
dc.subject	Uncertainty Propagation	cs
dc.subject	Discriminative Training	cs
dc.title	Využití informací o nejistotě v ověřování mluvčího a diarizaci mluvčích	en
dc.title.alternative	Exploiting Uncertainty Information in Speaker Verification and Diarization	cs
dc.type	Text	cs
dc.type.driver	doctoralThesis	en
dc.type.evskp	dizertační práce	cs
dcterms.dateAccepted	2022-12-20	cs
dcterms.modified	2023-01-04-11:20:03	cs
eprints.affiliatedInstitution.faculty	Fakulta informačních technologií	cs
sync.item.dbid	150755	en
sync.item.dbtype	ZP	en
sync.item.insts	2023.01.17 08:56:19	en
sync.item.modts	2023.01.17 08:12:33	en
thesis.discipline	Výpočetní technika a informatika	cs
thesis.grantor	Vysoké učení technické v Brně. Fakulta informačních technologií. Ústav počítačové grafiky a multimédií	cs
thesis.level	Doktorský	cs
thesis.name	Ph.D.	cs

Využití informací o nejistotě v ověřování mluvčího a diarizaci mluvčích

Files

Original bundle

Collections