E3 TTS: Semplice Sintesi Vocale End-to-End Basata su Diffusione

E3 TTS: Easy End-to-End Diffusion-based Text to Speech

November 2, 2023

Autori: Yuan Gao, Nobuyuki Morioka, Yu Zhang, Nanxin Chen

cs.AI

Abstract

Proponiamo Easy End-to-End Diffusion-based Text to Speech (E3 TTS), un modello semplice ed efficiente per la sintesi vocale end-to-end basato sulla diffusione. E3 TTS prende direttamente in input testo semplice e genera una forma d'onda audio attraverso un processo di raffinamento iterativo. A differenza di molti lavori precedenti, E3 TTS non si basa su rappresentazioni intermedie come caratteristiche spettrali o informazioni di allineamento. Invece, E3 TTS modella la struttura temporale della forma d'onda attraverso il processo di diffusione. Senza fare affidamento su informazioni di condizionamento aggiuntive, E3 TTS può supportare una struttura latente flessibile all'interno dell'audio dato. Ciò consente a E3 TTS di essere facilmente adattato per task zero-shot, come l'editing, senza alcun addestramento aggiuntivo. Gli esperimenti dimostrano che E3 TTS è in grado di generare audio ad alta fedeltà, avvicinandosi alle prestazioni di un sistema di sintesi vocale neurale all'avanguardia. Campioni audio sono disponibili all'indirizzo https://e3tts.github.io.

English

We propose Easy End-to-End Diffusion-based Text to Speech, a simple and efficient end-to-end text-to-speech model based on diffusion. E3 TTS directly takes plain text as input and generates an audio waveform through an iterative refinement process. Unlike many prior work, E3 TTS does not rely on any intermediate representations like spectrogram features or alignment information. Instead, E3 TTS models the temporal structure of the waveform through the diffusion process. Without relying on additional conditioning information, E3 TTS could support flexible latent structure within the given audio. This enables E3 TTS to be easily adapted for zero-shot tasks such as editing without any additional training. Experiments show that E3 TTS can generate high-fidelity audio, approaching the performance of a state-of-the-art neural TTS system. Audio samples are available at https://e3tts.github.io.