Sprecheridentität bei nicht-verbalen Vokalisationen: Bedingte Destillation und Mixture-of-Experts-Ansatz

Zusammenfassung

Da immer mehr expressive Text-to-Speech (TTS)- und Sprachkonvertierungssysteme (VC) nichtverbale Vokalisationen (NVVs) erzeugen, um die Natürlichkeit zu verbessern, wird eine zuverlässige Sprecherverifikation (SV) unerlässlich, um die Identitätskonsistenz sowohl über verbale als auch über nonverbale Segmente hinweg objektiv zu bewerten. Dennoch generalisieren aktuelle SV-Systeme nur unzureichend auf NVVs, und eine Feinabstimmung auf NVV-Daten führt zu katastrophalem Vergessen der Sprachleistung. Wir präsentieren die erste systematische Studie über 10 NVV-Typen und schlagen ein Framework vor, das gefrorene selbstüberwachte Data2Vec-Merkmale mit ECAPA-TDNN kombiniert, ergänzt durch ein Mixture-of-Experts (MoE)-Modul mit erlerntem domänenbewusstem Routing. Ein konditionaler Destillationsverlust bei Spracheingaben über einen vortrainierten Lehrer bewahrt die Sprach-zu-Sprach-Genauigkeit, während ein kontrastiver Verlust die Kluft zwischen Sprach- und NVV-Domäne überbrückt. Unsere Methode reduziert die Sprach-NVV-Gleichfehlerrate (EER) von 38,93 % auf 22,66 % im Vergleich zu einer vortrainierten Baseline und verbessert die Sprach-EER von 13,17 % auf 9,24 % durch Destillation.

English

As expressive text-to-speech (TTS) and voice conversion (VC) systems increasingly generate non-verbal vocalizations (NVVs) to enhance naturalness, reliable speaker verification (SV) becomes essential to objectively assess identity consistency across both verbal and non-verbal segments. Yet current SV systems generalize poorly to NVVs, and fine-tuning on NVV data causes catastrophic forgetting of speech performance. We present the first systematic study across 10 NVV types and propose a framework combining frozen Data2Vec self-supervised features with ECAPA-TDNN, enhanced by a Mixture of Experts (MoE) module with learned domain-aware routing. A conditional distillation loss on speech inputs via a pretrained teacher retains speech-to-speech accuracy, while a contrastive loss bridges the speech-NVV domain gap. Our method reduces speech-NVV EER from 38.93% to 22.66% over a pretrained baseline, and improves speech EER from 13.17% to 9.24% via distillation.