Het verbeteren van de robuustheid van spreker verificatie met synthetische emotionele uitingen.

Improving speaker verification robustness with synthetic emotional utterances

November 30, 2024

Auteurs: Nikhil Kumar Koditala, Chelsea Jui-Ting Ju, Ruirui Li, Minho Jin, Aman Chadha, Andreas Stolcke

cs.AI

Samenvatting

Een spreker verificatie (SV) systeem biedt een authenticatiedienst die is ontworpen om te bevestigen of een gegeven spraakvoorbeeld afkomstig is van een specifieke spreker. Deze technologie heeft de weg vrijgemaakt voor diverse gepersonaliseerde toepassingen die aansluiten bij individuele voorkeuren. Een opmerkelijke uitdaging waarmee SV-systemen worden geconfronteerd, is hun vermogen om consistent te presteren over een scala van emotionele spectra. De meeste bestaande modellen vertonen hoge foutenpercentages bij het omgaan met emotionele uitingen in vergelijking met neutrale. Als gevolg hiervan leidt dit fenomeen vaak tot het missen van spraak van interesse. Dit probleem komt voornamelijk voort uit de beperkte beschikbaarheid van gelabelde emotionele spraakgegevens, wat de ontwikkeling van robuuste sprekerrepresentaties die diverse emotionele toestanden omvatten, belemmert. Om deze zorg aan te pakken, stellen we een nieuw benadering voor waarbij het CycleGAN-framework wordt gebruikt als een methode voor gegevensvermeerdering. Deze techniek synthetiseert emotionele spraaksegmenten voor elke specifieke spreker, terwijl de unieke vocale identiteit behouden blijft. Onze experimentele bevindingen benadrukken de effectiviteit van het opnemen van synthetische emotionele gegevens in het trainingsproces. De modellen die zijn getraind met behulp van deze vermeerderde dataset presteren consequent beter dan de basismodellen bij de taak van het verifiëren van sprekers in emotionele spraaksituaties, waarbij de gelijke foutenmarge met wel 3,64% relatief wordt verlaagd.

English

A speaker verification (SV) system offers an authentication service designed to confirm whether a given speech sample originates from a specific speaker. This technology has paved the way for various personalized applications that cater to individual preferences. A noteworthy challenge faced by SV systems is their ability to perform consistently across a range of emotional spectra. Most existing models exhibit high error rates when dealing with emotional utterances compared to neutral ones. Consequently, this phenomenon often leads to missing out on speech of interest. This issue primarily stems from the limited availability of labeled emotional speech data, impeding the development of robust speaker representations that encompass diverse emotional states. To address this concern, we propose a novel approach employing the CycleGAN framework to serve as a data augmentation method. This technique synthesizes emotional speech segments for each specific speaker while preserving the unique vocal identity. Our experimental findings underscore the effectiveness of incorporating synthetic emotional data into the training process. The models trained using this augmented dataset consistently outperform the baseline models on the task of verifying speakers in emotional speech scenarios, reducing equal error rate by as much as 3.64% relative.