Nullsprachige, sprachübergreifende Sprachübertragung für Text-zu-Sprache (TTS)

Zero-shot Cross-lingual Voice Transfer for TTS

September 20, 2024

Autoren: Fadi Biadsy, Youzheng Chen, Isaac Elias, Kyle Kastner, Gary Wang, Andrew Rosenberg, Bhuvana Ramabhadran

cs.AI

Zusammenfassung

In diesem Paper stellen wir ein Zero-Shot Voice Transfer (VT) Modul vor, das nahtlos in ein mehrsprachiges Text-in-Sprache (TTS) System integriert werden kann, um die Stimme einer Person zwischen Sprachen zu übertragen. Unser vorgeschlagenes VT-Modul besteht aus einem Sprecher-Encoder, der Referenzsprache verarbeitet, einer Engpassschicht und Restadaptern, die mit vorhandenen TTS-Schichten verbunden sind. Wir vergleichen die Leistung verschiedener Konfigurationen dieser Komponenten und berichten über den Mean Opinion Score (MOS) und die Sprecherähnlichkeit zwischen Sprachen. Unter Verwendung einer einzigen englischen Referenzsprache pro Sprecher erreichen wir einen durchschnittlichen Ähnlichkeitswert für die Stimmenübertragung von 73% in neun Zielsprachen. Stimmliche Merkmale tragen maßgeblich zur Konstruktion und Wahrnehmung individueller Identität bei. Der Verlust der eigenen Stimme aufgrund physischer oder neurologischer Bedingungen kann zu einem tiefgreifenden Identitätsverlust führen, der die Kernidentität einer Person beeinflusst. Als Fallstudie zeigen wir, dass unser Ansatz nicht nur typische Sprache übertragen kann, sondern auch die Stimmen von Personen mit Dysarthrie wiederherstellen kann, selbst wenn nur atypische Sprachproben verfügbar sind - eine wertvolle Funktion für diejenigen, die nie typische Sprache hatten oder ihre Stimme gespeichert haben. Typische Audioaufnahmen in verschiedenen Sprachen sowie Videos, die die Stimmenwiederherstellung für Personen mit Dysarthrie demonstrieren, sind hier verfügbar (google.github.io/tacotron/publications/zero_shot_voice_transfer).

English

In this paper, we introduce a zero-shot Voice Transfer (VT) module that can be seamlessly integrated into a multi-lingual Text-to-speech (TTS) system to transfer an individual's voice across languages. Our proposed VT module comprises a speaker-encoder that processes reference speech, a bottleneck layer, and residual adapters, connected to preexisting TTS layers. We compare the performance of various configurations of these components and report Mean Opinion Score (MOS) and Speaker Similarity across languages. Using a single English reference speech per speaker, we achieve an average voice transfer similarity score of 73% across nine target languages. Vocal characteristics contribute significantly to the construction and perception of individual identity. The loss of one's voice, due to physical or neurological conditions, can lead to a profound sense of loss, impacting one's core identity. As a case study, we demonstrate that our approach can not only transfer typical speech but also restore the voices of individuals with dysarthria, even when only atypical speech samples are available - a valuable utility for those who have never had typical speech or banked their voice. Cross-lingual typical audio samples, plus videos demonstrating voice restoration for dysarthric speakers are available here (google.github.io/tacotron/publications/zero_shot_voice_transfer).