HierSpeech++: Reduzindo a Lacuna entre Representações Semânticas e Acústicas da Fala por Inferência Variacional Hierárquica para Síntese de Fala Zero-shot

HierSpeech++: Bridging the Gap between Semantic and Acoustic Representation of Speech by Hierarchical Variational Inference for Zero-shot Speech Synthesis

November 21, 2023

Autores: Sang-Hoon Lee, Ha-Yeong Choi, Seung-Bin Kim, Seong-Whan Lee

cs.AI

Resumo

A síntese de fala baseada em modelos de linguagem de grande escala (LLM) tem sido amplamente adotada na síntese de fala zero-shot. No entanto, esses modelos exigem um grande volume de dados e possuem as mesmas limitações dos modelos de fala autoregressivos anteriores, incluindo velocidade de inferência lenta e falta de robustez. Este artigo propõe o HierSpeech++, um sintetizador de fala zero-shot rápido e eficiente para conversão de texto em fala (TTS) e conversão de voz (VC). Verificamos que estruturas hierárquicas de síntese de fala podem melhorar significativamente a robustez e a expressividade da fala sintética. Além disso, melhoramos consideravelmente a naturalidade e a similaridade do falante na fala sintética, mesmo em cenários de síntese de fala zero-shot. Para a conversão de texto em fala, adotamos a estrutura text-to-vec, que gera uma representação de fala auto-supervisionada e uma representação de F0 com base em representações de texto e prompts de prosódia. Em seguida, o HierSpeech++ gera fala a partir do vetor gerado, do F0 e do prompt de voz. Introduzimos ainda uma estrutura eficiente de super-resolução de fala de 16 kHz para 48 kHz. Os resultados experimentais demonstraram que o autoencoder variacional hierárquico pode ser um sintetizador de fala zero-shot robusto, superando modelos baseados em LLM e em difusão. Além disso, alcançamos a primeira síntese de fala zero-shot com qualidade em nível humano. Amostras de áudio e código-fonte estão disponíveis em https://github.com/sh-lee-prml/HierSpeechpp.

English

Large language models (LLM)-based speech synthesis has been widely adopted in zero-shot speech synthesis. However, they require a large-scale data and possess the same limitations as previous autoregressive speech models, including slow inference speed and lack of robustness. This paper proposes HierSpeech++, a fast and strong zero-shot speech synthesizer for text-to-speech (TTS) and voice conversion (VC). We verified that hierarchical speech synthesis frameworks could significantly improve the robustness and expressiveness of the synthetic speech. Furthermore, we significantly improve the naturalness and speaker similarity of synthetic speech even in zero-shot speech synthesis scenarios. For text-to-speech, we adopt the text-to-vec framework, which generates a self-supervised speech representation and an F0 representation based on text representations and prosody prompts. Then, HierSpeech++ generates speech from the generated vector, F0, and voice prompt. We further introduce a high-efficient speech super-resolution framework from 16 kHz to 48 kHz. The experimental results demonstrated that the hierarchical variational autoencoder could be a strong zero-shot speech synthesizer given that it outperforms LLM-based and diffusion-based models. Moreover, we achieved the first human-level quality zero-shot speech synthesis. Audio samples and source code are available at https://github.com/sh-lee-prml/HierSpeechpp.