Повышение устойчивости верификации диктора с помощью синтетических эмоциональных высказываний

Improving speaker verification robustness with synthetic emotional utterances

November 30, 2024

Авторы: Nikhil Kumar Koditala, Chelsea Jui-Ting Ju, Ruirui Li, Minho Jin, Aman Chadha, Andreas Stolcke

cs.AI

Аннотация

Система верификации диктора (SV) предоставляет сервис аутентификации, разработанный для подтверждения того, что данная речевая выборка происходит от определенного диктора. Эта технология открыла путь для различных персонализированных приложений, учитывающих индивидуальные предпочтения. Заметным вызовом, стоящим перед системами SV, является их способность к последовательной работе в различных эмоциональных спектрах. Большинство существующих моделей показывают высокие показатели ошибок при работе с эмоциональными высказываниями по сравнению с нейтральными. Следовательно, это явление часто приводит к упущению интересной речи. Эта проблема в основном обусловлена ограниченной доступностью размеченных данных эмоциональной речи, затрудняющей разработку надежных представлений диктора, охватывающих разнообразные эмоциональные состояния. Для решения этой проблемы мы предлагаем новый подход, используя фреймворк CycleGAN в качестве метода аугментации данных. Эта техника синтезирует эмоциональные речевые сегменты для каждого конкретного диктора, сохраняя уникальную голосовую идентичность. Наши экспериментальные результаты подчеркивают эффективность включения синтетических эмоциональных данных в процесс обучения. Модели, обученные с использованием этого расширенного набора данных, последовательно превосходят базовые модели в задаче верификации дикторов в сценариях эмоциональной речи, снижая равную ошибку до 3,64% относительно.

English

A speaker verification (SV) system offers an authentication service designed to confirm whether a given speech sample originates from a specific speaker. This technology has paved the way for various personalized applications that cater to individual preferences. A noteworthy challenge faced by SV systems is their ability to perform consistently across a range of emotional spectra. Most existing models exhibit high error rates when dealing with emotional utterances compared to neutral ones. Consequently, this phenomenon often leads to missing out on speech of interest. This issue primarily stems from the limited availability of labeled emotional speech data, impeding the development of robust speaker representations that encompass diverse emotional states. To address this concern, we propose a novel approach employing the CycleGAN framework to serve as a data augmentation method. This technique synthesizes emotional speech segments for each specific speaker while preserving the unique vocal identity. Our experimental findings underscore the effectiveness of incorporating synthetic emotional data into the training process. The models trained using this augmented dataset consistently outperform the baseline models on the task of verifying speakers in emotional speech scenarios, reducing equal error rate by as much as 3.64% relative.