Matcha-TTS: Een snelle TTS-architectuur met conditionele flow matching

Matcha-TTS: A fast TTS architecture with conditional flow matching

September 6, 2023

Auteurs: Shivam Mehta, Ruibo Tu, Jonas Beskow, Éva Székely, Gustav Eje Henter

cs.AI

Samenvatting

We introduceren Matcha-TTS, een nieuwe encoder-decoder architectuur voor snelle TTS akoestische modellering, getraind met optimal-transport conditional flow matching (OT-CFM). Dit resulteert in een ODE-gebaseerde decoder die in staat is tot hoge uitvoerkwaliteit in minder synthesestappen dan modellen getraind met score matching. Zorgvuldige ontwerpkeuzes zorgen er bovendien voor dat elke synthesestap snel uit te voeren is. De methode is probabilistisch, niet-autoregressief, en leert vanaf nul te spreken zonder externe aligneringen. Vergeleken met sterke vooraf getrainde baseline-modellen heeft het Matcha-TTS-systeem de kleinste geheugenvoetafdruk, evenaart het de snelheid van de snelste modellen bij lange uitingen, en behaalt het de hoogste gemiddelde beoordeling in een luistertest. Zie https://shivammehta25.github.io/Matcha-TTS/ voor audiovoorbeelden, code en vooraf getrainde modellen.

English

We introduce Matcha-TTS, a new encoder-decoder architecture for speedy TTS acoustic modelling, trained using optimal-transport conditional flow matching (OT-CFM). This yields an ODE-based decoder capable of high output quality in fewer synthesis steps than models trained using score matching. Careful design choices additionally ensure each synthesis step is fast to run. The method is probabilistic, non-autoregressive, and learns to speak from scratch without external alignments. Compared to strong pre-trained baseline models, the Matcha-TTS system has the smallest memory footprint, rivals the speed of the fastest models on long utterances, and attains the highest mean opinion score in a listening test. Please see https://shivammehta25.github.io/Matcha-TTS/ for audio examples, code, and pre-trained models.