HierSpeech++: Cerrando la brecha entre la representación semántica y acústica del habla mediante inferencia variacional jerárquica para la síntesis de voz zero-shot

HierSpeech++: Bridging the Gap between Semantic and Acoustic Representation of Speech by Hierarchical Variational Inference for Zero-shot Speech Synthesis

November 21, 2023

Autores: Sang-Hoon Lee, Ha-Yeong Choi, Seung-Bin Kim, Seong-Whan Lee

cs.AI

Resumen

La síntesis de voz basada en modelos de lenguaje de gran escala (LLM) ha sido ampliamente adoptada en la síntesis de voz zero-shot. Sin embargo, estos modelos requieren un gran volumen de datos y presentan las mismas limitaciones que los modelos de voz autorregresivos anteriores, incluyendo una velocidad de inferencia lenta y falta de robustez. Este artículo propone HierSpeech++, un sintetizador de voz zero-shot rápido y potente para la conversión de texto a voz (TTS) y la conversión de voz (VC). Verificamos que los marcos de síntesis de voz jerárquica podrían mejorar significativamente la robustez y expresividad de la voz sintética. Además, mejoramos notablemente la naturalidad y la similitud del hablante en la voz sintética, incluso en escenarios de síntesis de voz zero-shot. Para la conversión de texto a voz, adoptamos el marco text-to-vec, que genera una representación de voz auto-supervisada y una representación de F0 basada en representaciones de texto y señales de prosodia. Luego, HierSpeech++ genera voz a partir del vector generado, F0 y una señal de voz. También introducimos un marco eficiente de super-resolución de voz de 16 kHz a 48 kHz. Los resultados experimentales demostraron que el autoencoder variacional jerárquico puede ser un potente sintetizador de voz zero-shot, ya que supera a los modelos basados en LLM y en difusión. Además, logramos la primera síntesis de voz zero-shot con calidad a nivel humano. Las muestras de audio y el código fuente están disponibles en https://github.com/sh-lee-prml/HierSpeechpp.

English

Large language models (LLM)-based speech synthesis has been widely adopted in zero-shot speech synthesis. However, they require a large-scale data and possess the same limitations as previous autoregressive speech models, including slow inference speed and lack of robustness. This paper proposes HierSpeech++, a fast and strong zero-shot speech synthesizer for text-to-speech (TTS) and voice conversion (VC). We verified that hierarchical speech synthesis frameworks could significantly improve the robustness and expressiveness of the synthetic speech. Furthermore, we significantly improve the naturalness and speaker similarity of synthetic speech even in zero-shot speech synthesis scenarios. For text-to-speech, we adopt the text-to-vec framework, which generates a self-supervised speech representation and an F0 representation based on text representations and prosody prompts. Then, HierSpeech++ generates speech from the generated vector, F0, and voice prompt. We further introduce a high-efficient speech super-resolution framework from 16 kHz to 48 kHz. The experimental results demonstrated that the hierarchical variational autoencoder could be a strong zero-shot speech synthesizer given that it outperforms LLM-based and diffusion-based models. Moreover, we achieved the first human-level quality zero-shot speech synthesis. Audio samples and source code are available at https://github.com/sh-lee-prml/HierSpeechpp.