CoMoSpeech: 一貫性モデルによるワンステップ音声・歌声合成

CoMoSpeech: One-Step Speech and Singing Voice Synthesis via Consistency Model

May 11, 2023

著者: Zhen Ye, Wei Xue, Xu Tan, Jie Chen, Qifeng Liu, Yike Guo

cs.AI

要旨

ノイズ除去拡散確率モデル（DDPM）は音声合成において有望な性能を示している。しかし、高品質なサンプルを生成するためには多数の反復ステップが必要であり、これが推論速度を制限している。サンプル品質を維持しながらサンプリング速度を向上させることは困難な課題となっている。本論文では、「Co」nsistency「Mo」delに基づく「Speech」合成手法、CoMoSpeechを提案する。この手法は、単一の拡散サンプリングステップで音声合成を行いながら、高い音質を実現する。一貫性制約を適用することで、設計の優れた拡散ベースの教師モデルから一貫性モデルを蒸留し、最終的にCoMoSpeechにおいて優れた性能を発揮する。実験結果によると、単一のサンプリングステップで音声を生成するCoMoSpeechは、単一のNVIDIA A100 GPU上でリアルタイムの150倍以上の推論速度を達成し、FastSpeech2に匹敵する性能を示し、拡散サンプリングベースの音声合成を真に実用的なものとしている。同時に、テキスト読み上げと歌唱音声合成における客観的および主観的評価では、提案された教師モデルが最高の音質を実現し、1ステップサンプリングベースのCoMoSpeechが他の従来の多ステップ拡散モデルベースラインと同等またはそれ以上の音質で最高の推論速度を達成している。音声サンプルはhttps://comospeech.github.io/で公開されている。

English

Denoising diffusion probabilistic models (DDPMs) have shown promising performance for speech synthesis. However, a large number of iterative steps are required to achieve high sample quality, which restricts the inference speed. Maintaining sample quality while increasing sampling speed has become a challenging task. In this paper, we propose a "Co"nsistency "Mo"del-based "Speech" synthesis method, CoMoSpeech, which achieve speech synthesis through a single diffusion sampling step while achieving high audio quality. The consistency constraint is applied to distill a consistency model from a well-designed diffusion-based teacher model, which ultimately yields superior performances in the distilled CoMoSpeech. Our experiments show that by generating audio recordings by a single sampling step, the CoMoSpeech achieves an inference speed more than 150 times faster than real-time on a single NVIDIA A100 GPU, which is comparable to FastSpeech2, making diffusion-sampling based speech synthesis truly practical. Meanwhile, objective and subjective evaluations on text-to-speech and singing voice synthesis show that the proposed teacher models yield the best audio quality, and the one-step sampling based CoMoSpeech achieves the best inference speed with better or comparable audio quality to other conventional multi-step diffusion model baselines. Audio samples are available at https://comospeech.github.io/.