Hledání nových cest v rozpoznávání řečníka založeného na neuronových sítích

Abstract

Keďže zadanie tejto práce je veľmi široké, tak sa bolo treba sústrediť len na určitú sféru. Nakoniec, cieľom tejto práce je aplikovať optimalizačnú metódu Stochastického Spriemerovania Váh do tréningového procesu Hlbokej Neurónovej Siete. Po predstavení potrebných teoretických vedomostí v prvej časti práce, nasleduje druhá časť s priebehmi jednotlivých experimentov. V teoretickej časti je dôraz kladený hlavne na objasnenie celého životného cyklu trénovacieho a vyhodnocovacieho procesu, vrátane popisu jednotlivých komponentov. Praktická časť poskytuje podrobný pohľad na každý experiment, ktorých cieľom je demonštrovať dosiahnuteľnosť zvýšenia výkonnosti systému rozpoznávania rečníka. Celkové zlepšenie výkonu sa podarilo dosiahnuť postupným aplikovaním rôznych tréningových konfigurácií, v ktorých sa zohľadňujú skúsenosti z predchádzajúcich experimentov. Kľúčovou zložkou úspešného Stochastického Spriemerovania Váh v experimentoch bola dostatočne vysoká konštantná hodnota Miery Učenia s aplikovaným postupným prechodom alebo Cyklický priebeh Miery Učenia.Since the assignment of this work is very broad, it was necessary to focus only on a certain area. In the end, this work aims to apply the Stochastic Weight Averaging optimization method to the training process of the Deep Neural Network. After presenting the necessary theoretical knowledge in the first part of the work, the second part with the experiments courses follows. In the theoretical part, the main focus is on presenting the complete lifecycle of the training and evaluation process, including a description of each component. The practical part provides a detailed look at each experiment, intended to demonstrate the effectiveness of the overall speaker recognition system's performance enhancement. The overall performance improvement is achieved by gradually applying various training configurations where the experience from previous experiments is taken into account. The key ingredient to the successful Stochastic Weight Averaging in the experiments was a sufficiently high Learning Rate value with the successive transition applied or Cyclic course of the Learning Rate.