Matcha-TTS: 条件付きフローマッチングを備えた高速TTSアーキテクチャ

Matcha-TTS: A fast TTS architecture with conditional flow matching

September 6, 2023

著者: Shivam Mehta, Ruibo Tu, Jonas Beskow, Éva Székely, Gustav Eje Henter

cs.AI

要旨

私たちは、高速なTTS音響モデリングのための新しいエンコーダ-デコーダアーキテクチャであるMatcha-TTSを紹介します。これは、最適輸送条件付きフローマッチング（OT-CFM）を用いて訓練されています。これにより、スコアマッチングを用いて訓練されたモデルよりも少ない合成ステップで高品質な出力が可能なODEベースのデコーダが実現されます。慎重に設計された選択肢により、各合成ステップの実行速度も高速化されています。この手法は確率的で非自己回帰的であり、外部のアライメントなしでゼロから話すことを学習します。強力な事前訓練済みベースラインモデルと比較して、Matcha-TTSシステムは最小のメモリフットプリントを持ち、長い発話において最速のモデルと同等の速度を達成し、リスニングテストで最高の平均オピニオンスコアを獲得しました。音声サンプル、コード、事前訓練済みモデルについては、https://shivammehta25.github.io/Matcha-TTS/をご覧ください。

English

We introduce Matcha-TTS, a new encoder-decoder architecture for speedy TTS acoustic modelling, trained using optimal-transport conditional flow matching (OT-CFM). This yields an ODE-based decoder capable of high output quality in fewer synthesis steps than models trained using score matching. Careful design choices additionally ensure each synthesis step is fast to run. The method is probabilistic, non-autoregressive, and learns to speak from scratch without external alignments. Compared to strong pre-trained baseline models, the Matcha-TTS system has the smallest memory footprint, rivals the speed of the fastest models on long utterances, and attains the highest mean opinion score in a listening test. Please see https://shivammehta25.github.io/Matcha-TTS/ for audio examples, code, and pre-trained models.