HierSpeech++: De kloof overbruggen tussen semantische en akoestische representatie van spraak door hiërarchische variabele inferentie voor zero-shot spraaksynthese

HierSpeech++: Bridging the Gap between Semantic and Acoustic Representation of Speech by Hierarchical Variational Inference for Zero-shot Speech Synthesis

November 21, 2023

Auteurs: Sang-Hoon Lee, Ha-Yeong Choi, Seung-Bin Kim, Seong-Whan Lee

cs.AI

Samenvatting

Grootschalige taalmodel (LLM)-gebaseerde spraaksynthese wordt veel gebruikt in zero-shot spraaksynthese. Ze vereisen echter grootschalige data en hebben dezelfde beperkingen als eerdere autoregressieve spraakmodellen, waaronder trage inferentiesnelheid en gebrek aan robuustheid. Dit artikel stelt HierSpeech++ voor, een snelle en krachtige zero-shot spraaksynthesizer voor tekst-naar-spraak (TTS) en stemconversie (VC). We hebben vastgesteld dat hiërarchische spraaksyntheseframeworks de robuustheid en expressiviteit van de synthetische spraak aanzienlijk kunnen verbeteren. Bovendien verbeteren we de natuurlijkheid en sprekerovereenkomst van synthetische spraak aanzienlijk, zelfs in zero-shot spraaksynthesescenario's. Voor tekst-naar-spraak gebruiken we het tekst-naar-vec-framework, dat een zelfsupervisie spraakrepresentatie en een F0-representatie genereert op basis van tekstrepresentaties en prosodieprompts. Vervolgens genereert HierSpeech++ spraak uit de gegenereerde vector, F0 en stemprompt. We introduceren verder een zeer efficiënt spraak-superresolutieframework van 16 kHz naar 48 kHz. De experimentele resultaten toonden aan dat de hiërarchische variational autoencoder een sterke zero-shot spraaksynthesizer kan zijn, aangezien het beter presteert dan LLM-gebaseerde en diffusie-gebaseerde modellen. Bovendien hebben we de eerste menselijke kwaliteit zero-shot spraaksynthese bereikt. Audiovoorbeelden en broncode zijn beschikbaar op https://github.com/sh-lee-prml/HierSpeechpp.

English

Large language models (LLM)-based speech synthesis has been widely adopted in zero-shot speech synthesis. However, they require a large-scale data and possess the same limitations as previous autoregressive speech models, including slow inference speed and lack of robustness. This paper proposes HierSpeech++, a fast and strong zero-shot speech synthesizer for text-to-speech (TTS) and voice conversion (VC). We verified that hierarchical speech synthesis frameworks could significantly improve the robustness and expressiveness of the synthetic speech. Furthermore, we significantly improve the naturalness and speaker similarity of synthetic speech even in zero-shot speech synthesis scenarios. For text-to-speech, we adopt the text-to-vec framework, which generates a self-supervised speech representation and an F0 representation based on text representations and prosody prompts. Then, HierSpeech++ generates speech from the generated vector, F0, and voice prompt. We further introduce a high-efficient speech super-resolution framework from 16 kHz to 48 kHz. The experimental results demonstrated that the hierarchical variational autoencoder could be a strong zero-shot speech synthesizer given that it outperforms LLM-based and diffusion-based models. Moreover, we achieved the first human-level quality zero-shot speech synthesis. Audio samples and source code are available at https://github.com/sh-lee-prml/HierSpeechpp.