HierSpeech++: Überbrückung der Lücke zwischen semantischer und akustischer Repräsentation von Sprache durch hierarchische variationale Inferenz für Zero-Shot-Sprachsynthese

HierSpeech++: Bridging the Gap between Semantic and Acoustic Representation of Speech by Hierarchical Variational Inference for Zero-shot Speech Synthesis

November 21, 2023

Autoren: Sang-Hoon Lee, Ha-Yeong Choi, Seung-Bin Kim, Seong-Whan Lee

cs.AI

Zusammenfassung

Sprachsynthese auf Basis von Large Language Models (LLM) wird häufig in der Zero-Shot-Sprachsynthese eingesetzt. Allerdings erfordern sie umfangreiche Datenmengen und weisen dieselben Einschränkungen wie frühere autoregressive Sprachmodelle auf, darunter langsame Inferenzgeschwindigkeit und mangelnde Robustheit. Dieses Papier stellt HierSpeech++ vor, einen schnellen und leistungsstarken Zero-Shot-Sprachsynthesizer für Text-to-Speech (TTS) und Voice Conversion (VC). Wir haben bestätigt, dass hierarchische Sprachsynthese-Frameworks die Robustheit und Ausdruckskraft der synthetisierten Sprache erheblich verbessern können. Darüber hinaus verbessern wir die Natürlichkeit und Sprecherähnlichkeit der synthetisierten Sprache selbst in Zero-Shot-Sprachsynthese-Szenarien signifikant. Für Text-to-Speech verwenden wir das Text-to-Vec-Framework, das eine selbstüberwachte Sprachrepräsentation und eine F0-Repräsentation basierend auf Textrepräsentationen und Prosodie-Prompts erzeugt. Anschließend generiert HierSpeech++ Sprache aus dem erzeugten Vektor, F0 und Sprachprompt. Wir führen außerdem ein hocheffizientes Sprach-Super-Resolution-Framework von 16 kHz auf 48 kHz ein. Die experimentellen Ergebnisse zeigten, dass der hierarchische Variational Autoencoder ein leistungsstarker Zero-Shot-Sprachsynthesizer sein kann, da er LLM-basierte und diffusionsbasierte Modelle übertrifft. Darüber hinaus erreichten wir erstmals eine Zero-Shot-Sprachsynthese auf menschlichem Qualitätsniveau. Audiobeispiele und Quellcode sind verfügbar unter https://github.com/sh-lee-prml/HierSpeechpp.

English

Large language models (LLM)-based speech synthesis has been widely adopted in zero-shot speech synthesis. However, they require a large-scale data and possess the same limitations as previous autoregressive speech models, including slow inference speed and lack of robustness. This paper proposes HierSpeech++, a fast and strong zero-shot speech synthesizer for text-to-speech (TTS) and voice conversion (VC). We verified that hierarchical speech synthesis frameworks could significantly improve the robustness and expressiveness of the synthetic speech. Furthermore, we significantly improve the naturalness and speaker similarity of synthetic speech even in zero-shot speech synthesis scenarios. For text-to-speech, we adopt the text-to-vec framework, which generates a self-supervised speech representation and an F0 representation based on text representations and prosody prompts. Then, HierSpeech++ generates speech from the generated vector, F0, and voice prompt. We further introduce a high-efficient speech super-resolution framework from 16 kHz to 48 kHz. The experimental results demonstrated that the hierarchical variational autoencoder could be a strong zero-shot speech synthesizer given that it outperforms LLM-based and diffusion-based models. Moreover, we achieved the first human-level quality zero-shot speech synthesis. Audio samples and source code are available at https://github.com/sh-lee-prml/HierSpeechpp.