HierSpeech++ : Combler l'écart entre les représentations sémantiques et acoustiques de la parole par inférence variationnelle hiérarchique pour la synthèse vocale zero-shot

HierSpeech++: Bridging the Gap between Semantic and Acoustic Representation of Speech by Hierarchical Variational Inference for Zero-shot Speech Synthesis

November 21, 2023

Auteurs: Sang-Hoon Lee, Ha-Yeong Choi, Seung-Bin Kim, Seong-Whan Lee

cs.AI

Résumé

La synthèse vocale basée sur les grands modèles de langage (LLM) a été largement adoptée dans le cadre de la synthèse vocale zero-shot. Cependant, ces modèles nécessitent des données à grande échelle et présentent les mêmes limitations que les modèles vocaux autorégressifs précédents, notamment une vitesse d'inférence lente et un manque de robustesse. Cet article propose HierSpeech++, un synthétiseur vocal zero-shot rapide et performant pour la synthèse vocale texte-à-parole (TTS) et la conversion de voix (VC). Nous avons vérifié que les frameworks de synthèse vocale hiérarchique pouvaient considérablement améliorer la robustesse et l'expressivité de la parole synthétique. De plus, nous améliorons significativement la naturalité et la similarité du locuteur dans les scénarios de synthèse vocale zero-shot. Pour la synthèse texte-à-parole, nous adoptons le framework texte-à-vec, qui génère une représentation vocale auto-supervisée et une représentation F0 basées sur les représentations textuelles et les indications prosodiques. Ensuite, HierSpeech++ génère la parole à partir du vecteur généré, de F0 et de l'indication vocale. Nous introduisons également un framework efficace de surrésolution vocale de 16 kHz à 48 kHz. Les résultats expérimentaux ont démontré que l'autoencodeur variationnel hiérarchique peut être un synthétiseur vocal zero-shot performant, surpassant les modèles basés sur LLM et sur la diffusion. De plus, nous avons atteint la première qualité de synthèse vocale zero-shot au niveau humain. Des échantillons audio et le code source sont disponibles à l'adresse https://github.com/sh-lee-prml/HierSpeechpp.

English

Large language models (LLM)-based speech synthesis has been widely adopted in zero-shot speech synthesis. However, they require a large-scale data and possess the same limitations as previous autoregressive speech models, including slow inference speed and lack of robustness. This paper proposes HierSpeech++, a fast and strong zero-shot speech synthesizer for text-to-speech (TTS) and voice conversion (VC). We verified that hierarchical speech synthesis frameworks could significantly improve the robustness and expressiveness of the synthetic speech. Furthermore, we significantly improve the naturalness and speaker similarity of synthetic speech even in zero-shot speech synthesis scenarios. For text-to-speech, we adopt the text-to-vec framework, which generates a self-supervised speech representation and an F0 representation based on text representations and prosody prompts. Then, HierSpeech++ generates speech from the generated vector, F0, and voice prompt. We further introduce a high-efficient speech super-resolution framework from 16 kHz to 48 kHz. The experimental results demonstrated that the hierarchical variational autoencoder could be a strong zero-shot speech synthesizer given that it outperforms LLM-based and diffusion-based models. Moreover, we achieved the first human-level quality zero-shot speech synthesis. Audio samples and source code are available at https://github.com/sh-lee-prml/HierSpeechpp.