Matcha-TTS: Una arquitectura rápida de TTS con flujo condicional emparejado
Matcha-TTS: A fast TTS architecture with conditional flow matching
September 6, 2023
Autores: Shivam Mehta, Ruibo Tu, Jonas Beskow, Éva Székely, Gustav Eje Henter
cs.AI
Resumen
Presentamos Matcha-TTS, una nueva arquitectura codificador-decodificador para el modelado acústico rápido de TTS, entrenada utilizando emparejamiento de flujo condicional con transporte óptimo (OT-CFM). Esto resulta en un decodificador basado en EDO capaz de generar una salida de alta calidad en menos pasos de síntesis que los modelos entrenados con emparejamiento de puntuación. Decisiones de diseño cuidadosas aseguran además que cada paso de síntesis sea rápido de ejecutar. El método es probabilístico, no autoregresivo y aprende a hablar desde cero sin alineaciones externas. En comparación con modelos de referencia preentrenados sólidos, el sistema Matcha-TTS tiene la huella de memoria más pequeña, rivaliza con la velocidad de los modelos más rápidos en enunciados largos y alcanza el puntaje de opinión media más alto en una prueba de escucha. Por favor, visite https://shivammehta25.github.io/Matcha-TTS/ para ejemplos de audio, código y modelos preentrenados.
English
We introduce Matcha-TTS, a new encoder-decoder architecture for speedy TTS
acoustic modelling, trained using optimal-transport conditional flow matching
(OT-CFM). This yields an ODE-based decoder capable of high output quality in
fewer synthesis steps than models trained using score matching. Careful design
choices additionally ensure each synthesis step is fast to run. The method is
probabilistic, non-autoregressive, and learns to speak from scratch without
external alignments. Compared to strong pre-trained baseline models, the
Matcha-TTS system has the smallest memory footprint, rivals the speed of the
fastest models on long utterances, and attains the highest mean opinion score
in a listening test. Please see https://shivammehta25.github.io/Matcha-TTS/ for
audio examples, code, and pre-trained models.