Identidad del hablante en vocalizaciones no verbales: destilación condicional y enfoque de mezcla de expertos

Resumen

A medida que los sistemas expresivos de texto a voz (TTS) y conversión de voz (VC) generan cada vez más vocalizaciones no verbales (NVV) para mejorar la naturalidad, la verificación fiable del hablante (SV) se vuelve esencial para evaluar objetivamente la consistencia de la identidad tanto en segmentos verbales como no verbales. Sin embargo, los sistemas SV actuales generalizan mal ante las NVV, y el ajuste fino con datos de NVV provoca un olvido catastrófico del rendimiento en habla. Presentamos el primer estudio sistemático en 10 tipos de NVV y proponemos un marco que combina características autosupervisadas de Data2Vec congeladas con ECAPA-TDNN, mejorado mediante un módulo de Mezcla de Expertos (MoE) con enrutamiento consciente del dominio aprendido. Una pérdida de destilación condicional sobre entradas de habla a través de un profesor preentrenado preserva la precisión habla-a-habla, mientras que una pérdida contrastiva reduce la brecha entre los dominios de habla y NVV. Nuestro método reduce la EER habla-NVV del 38.93% al 22.66% en comparación con una línea base preentrenada, y mejora la EER del habla del 13.17% al 9.24% mediante destilación.

English

As expressive text-to-speech (TTS) and voice conversion (VC) systems increasingly generate non-verbal vocalizations (NVVs) to enhance naturalness, reliable speaker verification (SV) becomes essential to objectively assess identity consistency across both verbal and non-verbal segments. Yet current SV systems generalize poorly to NVVs, and fine-tuning on NVV data causes catastrophic forgetting of speech performance. We present the first systematic study across 10 NVV types and propose a framework combining frozen Data2Vec self-supervised features with ECAPA-TDNN, enhanced by a Mixture of Experts (MoE) module with learned domain-aware routing. A conditional distillation loss on speech inputs via a pretrained teacher retains speech-to-speech accuracy, while a contrastive loss bridges the speech-NVV domain gap. Our method reduces speech-NVV EER from 38.93% to 22.66% over a pretrained baseline, and improves speech EER from 13.17% to 9.24% via distillation.