Los Puentes de Schrödinger superan a los Modelos de Difusión en la Síntesis de Texto a Voz.

Schrodinger Bridges Beat Diffusion Models on Text-to-Speech Synthesis

December 6, 2023

Autores: Zehua Chen, Guande He, Kaiwen Zheng, Xu Tan, Jun Zhu

cs.AI

Resumen

En la síntesis de texto a voz (TTS, por sus siglas en inglés), los modelos de difusión han logrado una calidad de generación prometedora. Sin embargo, debido al proceso predefinido de difusión de datos a ruido, su distribución previa está restringida a una representación ruidosa, la cual proporciona poca información sobre el objetivo de generación. En este trabajo, presentamos un novedoso sistema TTS, Bridge-TTS, que realiza el primer intento de sustituir el previo gaussiano ruidoso en los métodos establecidos de TTS basados en difusión por uno limpio y determinista, el cual ofrece una fuerte información estructural del objetivo. Específicamente, aprovechamos la representación latente obtenida a partir de la entrada de texto como nuestro previo, y construimos un puente de Schrödinger completamente trazable entre esta y el mel-espectrograma de referencia, lo que conduce a un proceso de datos a datos. Además, la trazabilidad y flexibilidad de nuestra formulación nos permiten estudiar empíricamente los espacios de diseño, como los esquemas de ruido, así como desarrollar muestreadores estocásticos y deterministas. Los resultados experimentales en el conjunto de datos LJ-Speech ilustran la efectividad de nuestro método en términos de calidad de síntesis y eficiencia de muestreo, superando significativamente a nuestro homólogo basado en difusión, Grad-TTS, en síntesis de 50 pasos/1000 pasos, y a modelos TTS rápidos y robustos en escenarios de pocos pasos. Página del proyecto: https://bridge-tts.github.io/

English

In text-to-speech (TTS) synthesis, diffusion models have achieved promising generation quality. However, because of the pre-defined data-to-noise diffusion process, their prior distribution is restricted to a noisy representation, which provides little information of the generation target. In this work, we present a novel TTS system, Bridge-TTS, making the first attempt to substitute the noisy Gaussian prior in established diffusion-based TTS methods with a clean and deterministic one, which provides strong structural information of the target. Specifically, we leverage the latent representation obtained from text input as our prior, and build a fully tractable Schrodinger bridge between it and the ground-truth mel-spectrogram, leading to a data-to-data process. Moreover, the tractability and flexibility of our formulation allow us to empirically study the design spaces such as noise schedules, as well as to develop stochastic and deterministic samplers. Experimental results on the LJ-Speech dataset illustrate the effectiveness of our method in terms of both synthesis quality and sampling efficiency, significantly outperforming our diffusion counterpart Grad-TTS in 50-step/1000-step synthesis and strong fast TTS models in few-step scenarios. Project page: https://bridge-tts.github.io/