Matcha-TTS: Un'architettura TTS veloce con flusso condizionale di corrispondenza
Matcha-TTS: A fast TTS architecture with conditional flow matching
September 6, 2023
Autori: Shivam Mehta, Ruibo Tu, Jonas Beskow, Éva Székely, Gustav Eje Henter
cs.AI
Abstract
Presentiamo Matcha-TTS, una nuova architettura encoder-decoder per la modellazione acustica TTS veloce, addestrata utilizzando il conditional flow matching con trasporto ottimale (OT-CFM). Ciò produce un decoder basato su ODE in grado di generare un'output di alta qualità con un numero inferiore di passi di sintesi rispetto ai modelli addestrati con il metodo del score matching. Scelte progettuali attente garantiscono inoltre che ogni passo di sintesi sia veloce da eseguire. Il metodo è probabilistico, non autoregressivo e impara a parlare da zero senza allineamenti esterni. Rispetto a modelli baseline pre-addestrati di alta qualità, il sistema Matcha-TTS ha l'impronta di memoria più piccola, rivaleggia in velocità con i modelli più veloci su enunciati lunghi e ottiene il punteggio medio di opinione più alto in un test di ascolto. Si prega di visitare https://shivammehta25.github.io/Matcha-TTS/ per esempi audio, codice e modelli pre-addestrati.
English
We introduce Matcha-TTS, a new encoder-decoder architecture for speedy TTS
acoustic modelling, trained using optimal-transport conditional flow matching
(OT-CFM). This yields an ODE-based decoder capable of high output quality in
fewer synthesis steps than models trained using score matching. Careful design
choices additionally ensure each synthesis step is fast to run. The method is
probabilistic, non-autoregressive, and learns to speak from scratch without
external alignments. Compared to strong pre-trained baseline models, the
Matcha-TTS system has the smallest memory footprint, rivals the speed of the
fastest models on long utterances, and attains the highest mean opinion score
in a listening test. Please see https://shivammehta25.github.io/Matcha-TTS/ for
audio examples, code, and pre-trained models.