Identité du locuteur dans les vocalisations non verbales : distillation conditionnelle et approche par mélange d'experts

Résumé

Alors que les systèmes expressifs de synthèse vocale (TTS) et de conversion vocale (VC) génèrent de plus en plus de vocalisations non verbales (NVVs) pour améliorer le naturel, une vérification fiable du locuteur (SV) devient essentielle pour évaluer objectivement la cohérence de l'identité à travers les segments verbaux et non verbaux. Pourtant, les systèmes SV actuels se généralisent mal aux NVVs, et un ajustement fin sur des données NVV entraîne un oubli catastrophique des performances vocales. Nous présentons la première étude systématique portant sur 10 types de NVVs et proposons un cadre combinant les caractéristiques auto-supervisées figées de Data2Vec avec ECAPA-TDNN, amélioré par un module de Mixture of Experts (MoE) doté d'un routage appris informé par le domaine. Une perte de distillation conditionnelle sur les entrées vocales via un enseignant pré-entraîné préserve la précision parole-parole, tandis qu'une perte contrastive comble l'écart entre les domaines parole et NVV. Notre méthode réduit le taux d'erreur égal (EER) parole-NVV de 38,93 % à 22,66 % par rapport à une référence pré-entraînée, et améliore l'EER parole de 13,17 % à 9,24 % grâce à la distillation.

English

As expressive text-to-speech (TTS) and voice conversion (VC) systems increasingly generate non-verbal vocalizations (NVVs) to enhance naturalness, reliable speaker verification (SV) becomes essential to objectively assess identity consistency across both verbal and non-verbal segments. Yet current SV systems generalize poorly to NVVs, and fine-tuning on NVV data causes catastrophic forgetting of speech performance. We present the first systematic study across 10 NVV types and propose a framework combining frozen Data2Vec self-supervised features with ECAPA-TDNN, enhanced by a Mixture of Experts (MoE) module with learned domain-aware routing. A conditional distillation loss on speech inputs via a pretrained teacher retains speech-to-speech accuracy, while a contrastive loss bridges the speech-NVV domain gap. Our method reduces speech-NVV EER from 38.93% to 22.66% over a pretrained baseline, and improves speech EER from 13.17% to 9.24% via distillation.