E3 TTS: Простой сквозной диффузионный метод преобразования текста в речь

E3 TTS: Easy End-to-End Diffusion-based Text to Speech

November 2, 2023

Авторы: Yuan Gao, Nobuyuki Morioka, Yu Zhang, Nanxin Chen

cs.AI

Аннотация

Мы представляем Easy End-to-End Diffusion-based Text to Speech (E3 TTS) — простую и эффективную сквозную модель преобразования текста в речь на основе диффузии. E3 TTS напрямую принимает на вход обычный текст и генерирует аудиоволну через итеративный процесс уточнения. В отличие от многих предыдущих работ, E3 TTS не полагается на промежуточные представления, такие как спектрограммы или информация о выравнивании. Вместо этого E3 TTS моделирует временную структуру аудиоволны с помощью процесса диффузии. Без использования дополнительной условной информации E3 TTS поддерживает гибкую латентную структуру внутри заданного аудио. Это позволяет E3 TTS легко адаптироваться к задачам zero-shot, таким как редактирование, без необходимости дополнительного обучения. Эксперименты показывают, что E3 TTS способен генерировать аудио высокой точности, приближаясь к производительности современных нейронных систем преобразования текста в речь. Аудиообразцы доступны по адресу https://e3tts.github.io.

English

We propose Easy End-to-End Diffusion-based Text to Speech, a simple and efficient end-to-end text-to-speech model based on diffusion. E3 TTS directly takes plain text as input and generates an audio waveform through an iterative refinement process. Unlike many prior work, E3 TTS does not rely on any intermediate representations like spectrogram features or alignment information. Instead, E3 TTS models the temporal structure of the waveform through the diffusion process. Without relying on additional conditioning information, E3 TTS could support flexible latent structure within the given audio. This enables E3 TTS to be easily adapted for zero-shot tasks such as editing without any additional training. Experiments show that E3 TTS can generate high-fidelity audio, approaching the performance of a state-of-the-art neural TTS system. Audio samples are available at https://e3tts.github.io.