HierSpeech++: ゼロショット音声合成のための階層的変分推論による音声の意味表現と音響表現のギャップを埋める

HierSpeech++: Bridging the Gap between Semantic and Acoustic Representation of Speech by Hierarchical Variational Inference for Zero-shot Speech Synthesis

November 21, 2023

著者: Sang-Hoon Lee, Ha-Yeong Choi, Seung-Bin Kim, Seong-Whan Lee

cs.AI

要旨

大規模言語モデル（LLM）ベースの音声合成は、ゼロショット音声合成において広く採用されています。しかし、これらは大規模なデータを必要とし、推論速度が遅い、ロバスト性に欠けるといった従来の自己回帰型音声モデルと同じ制約を抱えています。本論文では、テキスト読み上げ（TTS）および音声変換（VC）のための高速かつ強力なゼロショット音声合成器であるHierSpeech++を提案します。階層的音声合成フレームワークが合成音声のロバスト性と表現力を大幅に向上させることが確認されました。さらに、ゼロショット音声合成シナリオにおいても、合成音声の自然さと話者類似性を大幅に改善しました。テキスト読み上げでは、テキスト表現とプロンプトに基づいて自己教師あり音声表現とF0表現を生成するテキスト・トゥ・ベクトルフレームワークを採用しています。その後、HierSpeech++は生成されたベクトル、F0、および音声プロンプトから音声を生成します。さらに、16 kHzから48 kHzへの高効率な音声超解像フレームワークを導入しました。実験結果から、階層的変分自己符号化器がLLMベースおよび拡散ベースのモデルを上回る強力なゼロショット音声合成器であることが示されました。さらに、初めて人間レベルの品質を達成したゼロショット音声合成を実現しました。音声サンプルとソースコードはhttps://github.com/sh-lee-prml/HierSpeechppで公開されています。

English

Large language models (LLM)-based speech synthesis has been widely adopted in zero-shot speech synthesis. However, they require a large-scale data and possess the same limitations as previous autoregressive speech models, including slow inference speed and lack of robustness. This paper proposes HierSpeech++, a fast and strong zero-shot speech synthesizer for text-to-speech (TTS) and voice conversion (VC). We verified that hierarchical speech synthesis frameworks could significantly improve the robustness and expressiveness of the synthetic speech. Furthermore, we significantly improve the naturalness and speaker similarity of synthetic speech even in zero-shot speech synthesis scenarios. For text-to-speech, we adopt the text-to-vec framework, which generates a self-supervised speech representation and an F0 representation based on text representations and prosody prompts. Then, HierSpeech++ generates speech from the generated vector, F0, and voice prompt. We further introduce a high-efficient speech super-resolution framework from 16 kHz to 48 kHz. The experimental results demonstrated that the hierarchical variational autoencoder could be a strong zero-shot speech synthesizer given that it outperforms LLM-based and diffusion-based models. Moreover, we achieved the first human-level quality zero-shot speech synthesis. Audio samples and source code are available at https://github.com/sh-lee-prml/HierSpeechpp.