Matcha-TTS : Une architecture de synthèse vocale rapide avec appariement de flux conditionnel

Matcha-TTS: A fast TTS architecture with conditional flow matching

September 6, 2023

Auteurs: Shivam Mehta, Ruibo Tu, Jonas Beskow, Éva Székely, Gustav Eje Henter

cs.AI

Résumé

Nous présentons Matcha-TTS, une nouvelle architecture encodeur-décodeur pour la modélisation acoustique rapide en synthèse vocale, entraînée à l'aide de l'appariement de flux conditionnel par transport optimal (OT-CFM). Cela aboutit à un décodeur basé sur des équations différentielles ordinaires (ODE) capable de produire une qualité de sortie élevée en moins d'étapes de synthèse que les modèles entraînés par appariement de score. Des choix de conception minutieux garantissent également que chaque étape de synthèse s'exécute rapidement. La méthode est probabiliste, non autorégressive et apprend à parler de manière autonome sans alignements externes. Comparé à des modèles de référence pré-entraînés performants, le système Matcha-TTS présente l'empreinte mémoire la plus faible, rivalise avec la vitesse des modèles les plus rapides sur des énoncés longs et obtient le score d'opinion moyen le plus élevé dans un test d'écoute. Veuillez consulter https://shivammehta25.github.io/Matcha-TTS/ pour des exemples audio, le code et les modèles pré-entraînés.

English

We introduce Matcha-TTS, a new encoder-decoder architecture for speedy TTS acoustic modelling, trained using optimal-transport conditional flow matching (OT-CFM). This yields an ODE-based decoder capable of high output quality in fewer synthesis steps than models trained using score matching. Careful design choices additionally ensure each synthesis step is fast to run. The method is probabilistic, non-autoregressive, and learns to speak from scratch without external alignments. Compared to strong pre-trained baseline models, the Matcha-TTS system has the smallest memory footprint, rivals the speed of the fastest models on long utterances, and attains the highest mean opinion score in a listening test. Please see https://shivammehta25.github.io/Matcha-TTS/ for audio examples, code, and pre-trained models.