HierSpeech++: Colmare il Divario tra Rappresentazione Semantica e Acustica del Parlato tramite Inferenza Variazionale Gerarchica per la Sintesi Vocale Zero-shot

HierSpeech++: Bridging the Gap between Semantic and Acoustic Representation of Speech by Hierarchical Variational Inference for Zero-shot Speech Synthesis

November 21, 2023

Autori: Sang-Hoon Lee, Ha-Yeong Choi, Seung-Bin Kim, Seong-Whan Lee

cs.AI

Abstract

I modelli di sintesi vocale basati su Large Language Models (LLM) sono stati ampiamente adottati nella sintesi vocale zero-shot. Tuttavia, richiedono un ampio volume di dati e presentano le stesse limitazioni dei precedenti modelli vocali autoregressivi, tra cui una velocità di inferenza lenta e una mancanza di robustezza. Questo articolo propone HierSpeech++, un sintetizzatore vocale zero-shot veloce e potente per il text-to-speech (TTS) e la conversione vocale (VC). Abbiamo verificato che i framework di sintesi vocale gerarchica possono migliorare significativamente la robustezza e l'espressività del parlato sintetico. Inoltre, abbiamo migliorato notevolmente la naturalezza e la somiglianza del parlato sintetico anche negli scenari di sintesi vocale zero-shot. Per il text-to-speech, adottiamo il framework text-to-vec, che genera una rappresentazione vocale auto-supervisionata e una rappresentazione F0 basata su rappresentazioni testuali e prompt di prosodia. Successivamente, HierSpeech++ genera il parlato a partire dal vettore generato, F0 e prompt vocale. Introduciamo inoltre un framework efficiente di super-risoluzione vocale da 16 kHz a 48 kHz. I risultati sperimentali hanno dimostrato che il variational autoencoder gerarchico può essere un potente sintetizzatore vocale zero-shot, superando i modelli basati su LLM e su diffusione. Inoltre, abbiamo raggiunto la prima sintesi vocale zero-shot di qualità pari a quella umana. Campioni audio e codice sorgente sono disponibili su https://github.com/sh-lee-prml/HierSpeechpp.

English

Large language models (LLM)-based speech synthesis has been widely adopted in zero-shot speech synthesis. However, they require a large-scale data and possess the same limitations as previous autoregressive speech models, including slow inference speed and lack of robustness. This paper proposes HierSpeech++, a fast and strong zero-shot speech synthesizer for text-to-speech (TTS) and voice conversion (VC). We verified that hierarchical speech synthesis frameworks could significantly improve the robustness and expressiveness of the synthetic speech. Furthermore, we significantly improve the naturalness and speaker similarity of synthetic speech even in zero-shot speech synthesis scenarios. For text-to-speech, we adopt the text-to-vec framework, which generates a self-supervised speech representation and an F0 representation based on text representations and prosody prompts. Then, HierSpeech++ generates speech from the generated vector, F0, and voice prompt. We further introduce a high-efficient speech super-resolution framework from 16 kHz to 48 kHz. The experimental results demonstrated that the hierarchical variational autoencoder could be a strong zero-shot speech synthesizer given that it outperforms LLM-based and diffusion-based models. Moreover, we achieved the first human-level quality zero-shot speech synthesis. Audio samples and source code are available at https://github.com/sh-lee-prml/HierSpeechpp.