HierSpeech++: Преодоление разрыва между семантическим и акустическим представлением речи с помощью иерархического вариационного вывода для синтеза речи с нулевым обучением

Аннотация

Синтез речи на основе больших языковых моделей (LLM) широко применяется в задачах синтеза речи с нулевым обучением. Однако такие модели требуют больших объемов данных и обладают теми же ограничениями, что и предыдущие авторегрессивные модели синтеза речи, включая низкую скорость вывода и недостаточную устойчивость. В данной статье предлагается HierSpeech++ — быстрый и мощный синтезатор речи с нулевым обучением для задач преобразования текста в речь (TTS) и преобразования голоса (VC). Мы подтвердили, что иерархические фреймворки синтеза речи могут значительно повысить устойчивость и выразительность синтезированной речи. Кроме того, мы существенно улучшили естественность и сходство с голосом говорящего даже в сценариях синтеза речи с нулевым обучением. Для преобразования текста в речь мы используем фреймворк text-to-vec, который генерирует самоконтролируемое речевое представление и представление F0 на основе текстовых представлений и просодических подсказок. Затем HierSpeech++ генерирует речь из полученного вектора, F0 и голосовой подсказки. Мы также представляем высокоэффективный фреймворк повышения качества речи с 16 кГц до 48 кГц. Экспериментальные результаты показали, что иерархический вариационный автоэнкодер может быть мощным синтезатором речи с нулевым обучением, превосходящим модели на основе LLM и диффузионных моделей. Более того, мы достигли качества синтеза речи, сопоставимого с человеческим, впервые в задачах с нулевым обучением. Аудиообразцы и исходный код доступны по адресу https://github.com/sh-lee-prml/HierSpeechpp.

English

Large language models (LLM)-based speech synthesis has been widely adopted in zero-shot speech synthesis. However, they require a large-scale data and possess the same limitations as previous autoregressive speech models, including slow inference speed and lack of robustness. This paper proposes HierSpeech++, a fast and strong zero-shot speech synthesizer for text-to-speech (TTS) and voice conversion (VC). We verified that hierarchical speech synthesis frameworks could significantly improve the robustness and expressiveness of the synthetic speech. Furthermore, we significantly improve the naturalness and speaker similarity of synthetic speech even in zero-shot speech synthesis scenarios. For text-to-speech, we adopt the text-to-vec framework, which generates a self-supervised speech representation and an F0 representation based on text representations and prosody prompts. Then, HierSpeech++ generates speech from the generated vector, F0, and voice prompt. We further introduce a high-efficient speech super-resolution framework from 16 kHz to 48 kHz. The experimental results demonstrated that the hierarchical variational autoencoder could be a strong zero-shot speech synthesizer given that it outperforms LLM-based and diffusion-based models. Moreover, we achieved the first human-level quality zero-shot speech synthesis. Audio samples and source code are available at https://github.com/sh-lee-prml/HierSpeechpp.

HierSpeech++: Bridging the Gap between Semantic and Acoustic Representation of Speech by Hierarchical Variational Inference for Zero-shot Speech Synthesis

Аннотация

Support