E3 TTS: Texto a Voz Basado en Difusión de Extremo a Extremo Simplificado

E3 TTS: Easy End-to-End Diffusion-based Text to Speech

November 2, 2023

Autores: Yuan Gao, Nobuyuki Morioka, Yu Zhang, Nanxin Chen

cs.AI

Resumen

Proponemos Easy End-to-End Diffusion-based Text to Speech (E3 TTS), un modelo simple y eficiente de conversión de texto a voz basado en difusión. E3 TTS toma directamente texto plano como entrada y genera una forma de onda de audio a través de un proceso de refinamiento iterativo. A diferencia de muchos trabajos previos, E3 TTS no depende de representaciones intermedias como características de espectrograma o información de alineación. En su lugar, E3 TTS modela la estructura temporal de la forma de onda mediante el proceso de difusión. Sin depender de información de condicionamiento adicional, E3 TTS puede soportar una estructura latente flexible dentro del audio dado. Esto permite que E3 TTS se adapte fácilmente a tareas de zero-shot, como la edición, sin necesidad de entrenamiento adicional. Los experimentos muestran que E3 TTS puede generar audio de alta fidelidad, acercándose al rendimiento de un sistema de conversión de texto a voz neuronal de última generación. Las muestras de audio están disponibles en https://e3tts.github.io.

English

We propose Easy End-to-End Diffusion-based Text to Speech, a simple and efficient end-to-end text-to-speech model based on diffusion. E3 TTS directly takes plain text as input and generates an audio waveform through an iterative refinement process. Unlike many prior work, E3 TTS does not rely on any intermediate representations like spectrogram features or alignment information. Instead, E3 TTS models the temporal structure of the waveform through the diffusion process. Without relying on additional conditioning information, E3 TTS could support flexible latent structure within the given audio. This enables E3 TTS to be easily adapted for zero-shot tasks such as editing without any additional training. Experiments show that E3 TTS can generate high-fidelity audio, approaching the performance of a state-of-the-art neural TTS system. Audio samples are available at https://e3tts.github.io.