Matcha-TTS: Eine schnelle TTS-Architektur mit bedingtem Flow Matching

Matcha-TTS: A fast TTS architecture with conditional flow matching

September 6, 2023

Autoren: Shivam Mehta, Ruibo Tu, Jonas Beskow, Éva Székely, Gustav Eje Henter

cs.AI

Zusammenfassung

Wir stellen Matcha-TTS vor, eine neue Encoder-Decoder-Architektur für schnelle akustische Modellierung in der Text-zu-Sprache-Synthese (TTS), die mit optimalem Transport und bedingtem Fluss-Matching (OT-CFM) trainiert wird. Dies führt zu einem ODE-basierten Decoder, der in weniger Syntheseschritten eine hohe Ausgabequalität erreicht, verglichen mit Modellen, die mit Score-Matching trainiert wurden. Durch sorgfältige Designentscheidungen wird zusätzlich sichergestellt, dass jeder Syntheseschritt schnell ausgeführt wird. Die Methode ist probabilistisch, nicht-autoregressiv und lernt das Sprechen von Grund auf ohne externe Ausrichtungen. Im Vergleich zu starken vortrainierten Baseline-Modellen weist das Matcha-TTS-System den geringsten Speicherbedarf auf, erreicht die Geschwindigkeit der schnellsten Modelle bei langen Äußerungen und erzielt die höchste durchschnittliche Meinungspunktzahl in einem Hörtest. Weitere Audio-Beispiele, Code und vortrainierte Modelle finden Sie unter https://shivammehta25.github.io/Matcha-TTS/.

English

We introduce Matcha-TTS, a new encoder-decoder architecture for speedy TTS acoustic modelling, trained using optimal-transport conditional flow matching (OT-CFM). This yields an ODE-based decoder capable of high output quality in fewer synthesis steps than models trained using score matching. Careful design choices additionally ensure each synthesis step is fast to run. The method is probabilistic, non-autoregressive, and learns to speak from scratch without external alignments. Compared to strong pre-trained baseline models, the Matcha-TTS system has the smallest memory footprint, rivals the speed of the fastest models on long utterances, and attains the highest mean opinion score in a listening test. Please see https://shivammehta25.github.io/Matcha-TTS/ for audio examples, code, and pre-trained models.