Mejorando la robustez de la verificación de locutor con enunciados emocionales sintéticos

Improving speaker verification robustness with synthetic emotional utterances

November 30, 2024

Autores: Nikhil Kumar Koditala, Chelsea Jui-Ting Ju, Ruirui Li, Minho Jin, Aman Chadha, Andreas Stolcke

cs.AI

Resumen

Un sistema de verificación de locutor (SV) ofrece un servicio de autenticación diseñado para confirmar si una muestra de habla dada proviene de un locutor específico. Esta tecnología ha allanado el camino para diversas aplicaciones personalizadas que se adaptan a las preferencias individuales. Un desafío notable enfrentado por los sistemas SV es su capacidad para desempeñarse de manera consistente en una variedad de espectros emocionales. La mayoría de los modelos existentes muestran altas tasas de error al tratar con enunciados emocionales en comparación con los neutrales. En consecuencia, este fenómeno a menudo conduce a perder el habla de interés. Este problema se origina principalmente en la disponibilidad limitada de datos de habla emocional etiquetados, obstaculizando el desarrollo de representaciones robustas de locutores que abarquen diversos estados emocionales. Para abordar esta preocupación, proponemos un enfoque novedoso que emplea el marco de CycleGAN para servir como un método de aumento de datos. Esta técnica sintetiza segmentos de habla emocional para cada locutor específico mientras preserva la identidad vocal única. Nuestros hallazgos experimentales subrayan la efectividad de incorporar datos emocionales sintéticos en el proceso de entrenamiento. Los modelos entrenados utilizando este conjunto de datos aumentado superan consistentemente a los modelos base en la tarea de verificar locutores en escenarios de habla emocional, reduciendo la tasa de error igual en hasta un 3.64% en comparación.

English

A speaker verification (SV) system offers an authentication service designed to confirm whether a given speech sample originates from a specific speaker. This technology has paved the way for various personalized applications that cater to individual preferences. A noteworthy challenge faced by SV systems is their ability to perform consistently across a range of emotional spectra. Most existing models exhibit high error rates when dealing with emotional utterances compared to neutral ones. Consequently, this phenomenon often leads to missing out on speech of interest. This issue primarily stems from the limited availability of labeled emotional speech data, impeding the development of robust speaker representations that encompass diverse emotional states. To address this concern, we propose a novel approach employing the CycleGAN framework to serve as a data augmentation method. This technique synthesizes emotional speech segments for each specific speaker while preserving the unique vocal identity. Our experimental findings underscore the effectiveness of incorporating synthetic emotional data into the training process. The models trained using this augmented dataset consistently outperform the baseline models on the task of verifying speakers in emotional speech scenarios, reducing equal error rate by as much as 3.64% relative.