Мосты Шрёдингера превосходят диффузионные модели в синтезе речи из текста.

Schrodinger Bridges Beat Diffusion Models on Text-to-Speech Synthesis

December 6, 2023

Авторы: Zehua Chen, Guande He, Kaiwen Zheng, Xu Tan, Jun Zhu

cs.AI

Аннотация

В синтезе речи из текста (Text-to-Speech, TTS) диффузионные модели достигли впечатляющего качества генерации. Однако из-за предопределенного процесса диффузии от данных к шуму их априорное распределение ограничено зашумленным представлением, которое предоставляет мало информации о цели генерации. В данной работе мы представляем новую систему TTS, Bridge-TTS, впервые заменяющую зашумленное гауссово априорное распределение в существующих диффузионных методах TTS на чистое и детерминированное, которое предоставляет сильную структурную информацию о цели. В частности, мы используем латентное представление, полученное из текстового ввода, в качестве априорного распределения и строим полностью трактуемый мост Шрёдингера между ним и мель-спектрограммой, что приводит к процессу "данные-данные". Более того, трактуемость и гибкость нашей формулировки позволяют эмпирически исследовать пространства проектирования, такие как графики шума, а также разрабатывать стохастические и детерминированные сэмплеры. Экспериментальные результаты на наборе данных LJ-Speech демонстрируют эффективность нашего метода как с точки зрения качества синтеза, так и эффективности сэмплирования, значительно превосходя наш диффузионный аналог Grad-TTS в синтезе за 50/1000 шагов и сильные модели быстрого TTS в сценариях с малым количеством шагов. Страница проекта: https://bridge-tts.github.io/

English

In text-to-speech (TTS) synthesis, diffusion models have achieved promising generation quality. However, because of the pre-defined data-to-noise diffusion process, their prior distribution is restricted to a noisy representation, which provides little information of the generation target. In this work, we present a novel TTS system, Bridge-TTS, making the first attempt to substitute the noisy Gaussian prior in established diffusion-based TTS methods with a clean and deterministic one, which provides strong structural information of the target. Specifically, we leverage the latent representation obtained from text input as our prior, and build a fully tractable Schrodinger bridge between it and the ground-truth mel-spectrogram, leading to a data-to-data process. Moreover, the tractability and flexibility of our formulation allow us to empirically study the design spaces such as noise schedules, as well as to develop stochastic and deterministic samplers. Experimental results on the LJ-Speech dataset illustrate the effectiveness of our method in terms of both synthesis quality and sampling efficiency, significantly outperforming our diffusion counterpart Grad-TTS in 50-step/1000-step synthesis and strong fast TTS models in few-step scenarios. Project page: https://bridge-tts.github.io/