Transfert vocal multilingue sans entraînement pour la synthèse vocale.

Zero-shot Cross-lingual Voice Transfer for TTS

September 20, 2024

Auteurs: Fadi Biadsy, Youzheng Chen, Isaac Elias, Kyle Kastner, Gary Wang, Andrew Rosenberg, Bhuvana Ramabhadran

cs.AI

Résumé

Dans cet article, nous présentons un module de transfert vocal (VT) à zéro-shot qui peut être intégré de manière transparente dans un système de synthèse vocale multilingue pour transférer la voix d'un individu entre différentes langues. Notre module VT proposé comprend un encodeur de locuteur qui traite la parole de référence, une couche de bottleneck et des adaptateurs résiduels, connectés aux couches de synthèse vocale existantes. Nous comparons les performances de diverses configurations de ces composants et rapportons le Score d'Opinion Moyen (MOS) et la Similarité de Locuteur entre les langues. En utilisant une seule parole de référence en anglais par locuteur, nous obtenons un score moyen de similarité de transfert vocal de 73% sur neuf langues cibles. Les caractéristiques vocales contribuent de manière significative à la construction et à la perception de l'identité individuelle. La perte de sa voix, en raison de conditions physiques ou neurologiques, peut entraîner un profond sentiment de perte, impactant l'identité fondamentale d'une personne. À titre d'étude de cas, nous démontrons que notre approche peut non seulement transférer une parole typique, mais également restaurer les voix des individus atteints de dysarthrie, même lorsque seuls des échantillons de parole atypique sont disponibles - une utilité précieuse pour ceux qui n'ont jamais eu de parole typique ou enregistré leur voix. Des échantillons audio typiques cross-lingues, ainsi que des vidéos démontrant la restauration vocale pour les locuteurs dysarthriques, sont disponibles ici (google.github.io/tacotron/publications/zero_shot_voice_transfer).

English

In this paper, we introduce a zero-shot Voice Transfer (VT) module that can be seamlessly integrated into a multi-lingual Text-to-speech (TTS) system to transfer an individual's voice across languages. Our proposed VT module comprises a speaker-encoder that processes reference speech, a bottleneck layer, and residual adapters, connected to preexisting TTS layers. We compare the performance of various configurations of these components and report Mean Opinion Score (MOS) and Speaker Similarity across languages. Using a single English reference speech per speaker, we achieve an average voice transfer similarity score of 73% across nine target languages. Vocal characteristics contribute significantly to the construction and perception of individual identity. The loss of one's voice, due to physical or neurological conditions, can lead to a profound sense of loss, impacting one's core identity. As a case study, we demonstrate that our approach can not only transfer typical speech but also restore the voices of individuals with dysarthria, even when only atypical speech samples are available - a valuable utility for those who have never had typical speech or banked their voice. Cross-lingual typical audio samples, plus videos demonstrating voice restoration for dysarthric speakers are available here (google.github.io/tacotron/publications/zero_shot_voice_transfer).