Rozpoznávání mluvčího ze vzdáleného zdroje s vícekanálovým zpracováním audia

Abstract

Zpracování řeči ze vzdálených zdrojů upoutává v posledních letech stále větší pozornost díky vzestupu inteligentních reproduktorů, domácích asistentů nebo systémů pro přepisování schůzek. K podpoře těchto aplikací jsou zapotřebí robustní techniky pro zpracování řeči ze vzdálených zdrojů. Klíčem k personalizované interakci je verifikace mluvčího. Ve srovnání se zpracováním signálů získaných mikrofony umístěnými blízko zdrojů čelí systémy zpracovávající nahrávky ze vzdálených senzorů dalším výzvám. Jimi jsou jevy, které zhoršují kvalitu cílové řeči, zejména dozvuk a šum v pozadí. Zařízení pro vzdálené snímání proto často využívají mikrofonní pole, která mohou napomoci zmírnění uvedených jevů díky tomu, že poskytují informaci o prostoru. Nastíněné výzvy a příležitosti motivují tuto práci, jež se zaměřuje na vícekanálovou verifikaci mluvčího. Z důvodu omezených zdrojů dat zůstává vícekanálová verifikace mluvčích nedostatečně prozkoumaná, a to navzdory významnému pokroku v souvisejících oblastech zpracování řeči. Předložená práce se věnuje dvěma fundamentálním aspektům: absenci dat i specializovaným technikám zpracování. V rámci problematiky dat jsme přetvořili existující veřejně dostupné datové sady a vyvinuli novou sadu, MultiSV, která poskytuje simulované vícekanálové směsi signálů s trénovacími referenčními signály řeči/šumu a identitami mluvčích. MultiSV rovněž obsahuje znovu přenesené nahrávky využitelné pro vyhodnocování verifikačních systémů s podporou různých scénářů. Příkladem může být varianta s registrací do systému pomocí jednokanálových čistých nebo vícekanálových poškozených nahrávek. Abychom podpořili trénování modelů s vyššími nároky na data, vytvořili jsme rozšířenou datovou sadu MultiSV2. Na úrovni modelů jsme nejprve přistoupili k extrakci řečových embeddingů z vícekanálového audia pomocí kaskádové strategie, přičemž jsme problém rozložili na vícekanálové předzpracování a jednokanálovou extrakci embeddingů. Motivováni pokroky v oblasti separace řeči jsme navrhli různé techniky od těch založených na zpracování signálů po hybridní, které kombinují neuronové sítě a beamforming. V práci se diskutuje přímá a nepřímá predikce masek pro beamforming na nich založený. Dále je představena metoda RCA (reference channel attention), která zobecňuje jednokanálové separační modely tak, aby mohly využít vícekanálové vstupy. S uvědoměním si omezení kaskádových modelů, jimiž jsou šíření chyb a odlišné objektivní funkce jednotlivých modulů, jsme dále prozkoumali jednotné architektury pro vícekanálovou extrakci embeddingů. S využitím MultiSV2 jsme dokázali ladit parametry spojených komponent kaskádových modelů s využitím cílové objektivní funkce. Následně jsme navrhli techniku METRO (multi-channel extension of pre-trained models), která rozšiřuje původně jednokanálové modely pro reprezentaci řeči trénované pomocí samořídícího učení na vícekanálové. Ačkoli METRO v kombinaci s vhodným extrakčním modelem produkuje řečové embeddingy pro vícekanálové audio, metoda samotná je obecná a potenciálně využitelná v dalších oblastech zpracování řeči.

Far-field speech processing has gained increasing attention in recent years with the advent of smart speakers, home assistants, and meeting transcription systems. To support these applications, robust far-field speech processing techniques are required. A key task enabling personalized interaction is speaker verification. Compared to close-talking conditions, far-field systems face additional challenges such as reverberation and background noise, which degrade the target speech. To mitigate these effects, far-field devices typically employ microphone arrays that provide spatial information. These challenges and opportunities motivate this thesis, focusing on multi-channel speaker verification. Despite significant progress in related fields of speech processing, multi-channel speaker verification remains underexplored, hindered by limited data resources and specialized techniques. This thesis focuses on both aspects. On the data side, we repurposed existing publicly available corpora and created the MultiSV dataset, which provides simulated multi-channel mixtures with speech/noise training targets and speaker labels. MultiSV also defines multiple evaluation protocols based on retransmitted recordings, supporting various scenarios, such as single clean versus multi-channel corrupted enrollment. To support training more data-demanding models, we further introduced an extended dataset, MultiSV2. On the modeling side, we first approached multi-channel speaker embedding extraction using a cascaded strategy, decomposing the problem into multi-channel preprocessing and single-channel embedding extraction. Motivated by advances in speech separation, we designed models ranging from signal-processing-based methods to hybrid neural network and beamforming front-ends. Notably, we proposed direct and indirect mask prediction for mask-based beamforming, and the reference-channel attention (RCA) combiner, which generalizes single-channel separation models to multi-channel inputs. Recognizing the limitations of cascaded models, such as error propagation and different objectives of the modules, we next explored unified architectures for multi-channel embedding extraction. Leveraging MultiSV2, we fine-tuned cascaded components jointly with the end-task loss, and subsequently introduced METRO, a general framework that extends self-supervised speech representation models to multi-channel settings. METRO yields multi-channel speaker embeddings. However, it is general and potentially applicable to other speech processing tasks.