E3 TTS: Eenvoudige End-to-End Diffusiegebaseerde Tekst-naar-Spraak

E3 TTS: Easy End-to-End Diffusion-based Text to Speech

November 2, 2023

Auteurs: Yuan Gao, Nobuyuki Morioka, Yu Zhang, Nanxin Chen

cs.AI

Samenvatting

Wij stellen Easy End-to-End Diffusion-based Text to Speech voor, een eenvoudig en efficiënt end-to-end tekst-naar-spraakmodel gebaseerd op diffusie. E3 TTS neemt rechtstreeks platte tekst als invoer en genereert een audiogolfvorm via een iteratief verfijningsproces. In tegenstelling tot veel eerder werk, vertrouwt E3 TTS niet op tussenliggende representaties zoals spectrogramkenmerken of uitlijningsinformatie. In plaats daarvan modelleert E3 TTS de temporele structuur van de golfvorm via het diffusieproces. Zonder afhankelijk te zijn van aanvullende conditioneringsinformatie, kan E3 TTS flexibele latente structuren binnen de gegeven audio ondersteunen. Hierdoor kan E3 TTS eenvoudig worden aangepast voor zero-shot taken, zoals bewerken, zonder aanvullende training. Experimenten tonen aan dat E3 TTS hoogwaardige audio kan genereren, waarbij de prestaties van een state-of-the-art neuraal TTS-systeem worden benaderd. Audiovoorbeelden zijn beschikbaar op https://e3tts.github.io.

English

We propose Easy End-to-End Diffusion-based Text to Speech, a simple and efficient end-to-end text-to-speech model based on diffusion. E3 TTS directly takes plain text as input and generates an audio waveform through an iterative refinement process. Unlike many prior work, E3 TTS does not rely on any intermediate representations like spectrogram features or alignment information. Instead, E3 TTS models the temporal structure of the waveform through the diffusion process. Without relying on additional conditioning information, E3 TTS could support flexible latent structure within the given audio. This enables E3 TTS to be easily adapted for zero-shot tasks such as editing without any additional training. Experiments show that E3 TTS can generate high-fidelity audio, approaching the performance of a state-of-the-art neural TTS system. Audio samples are available at https://e3tts.github.io.