Synthèse de parole autorégressive sans quantification vectorielle

Autoregressive Speech Synthesis without Vector Quantization

July 11, 2024

Auteurs: Lingwei Meng, Long Zhou, Shujie Liu, Sanyuan Chen, Bing Han, Shujie Hu, Yanqing Liu, Jinyu Li, Sheng Zhao, Xixin Wu, Helen Meng, Furu Wei

cs.AI

Résumé

Nous présentons MELLE, une nouvelle approche de modélisation du langage basée sur des tokens à valeurs continues pour la synthèse vocale (TTS). MELLE génère de manière autoregressive des trames de mel-spectrogrammes continues directement à partir d'une condition textuelle, évitant ainsi le besoin de quantification vectorielle, initialement conçue pour la compression audio et qui sacrifie la fidélité par rapport aux mel-spectrogrammes. Plus précisément, (i) au lieu d'une perte d'entropie croisée, nous appliquons une perte de régression avec une fonction de perte de flux de spectrogramme proposée pour modéliser la distribution de probabilité des tokens à valeurs continues. (ii) nous avons intégré l'inférence variationnelle dans MELLE pour faciliter les mécanismes d'échantillonnage, améliorant ainsi la diversité des sorties et la robustesse du modèle. Les expériences démontrent que, comparé aux modèles de langage en deux étapes VALL-E et ses variantes, MELLE en une seule étape atténue les problèmes de robustesse en évitant les défauts inhérents à l'échantillonnage de codes discrets, obtient des performances supérieures sur plusieurs métriques et, surtout, offre un paradigme plus rationalisé. Consultez https://aka.ms/melle pour des démonstrations de notre travail.

English

We present MELLE, a novel continuous-valued tokens based language modeling approach for text to speech synthesis (TTS). MELLE autoregressively generates continuous mel-spectrogram frames directly from text condition, bypassing the need for vector quantization, which are originally designed for audio compression and sacrifice fidelity compared to mel-spectrograms. Specifically, (i) instead of cross-entropy loss, we apply regression loss with a proposed spectrogram flux loss function to model the probability distribution of the continuous-valued tokens. (ii) we have incorporated variational inference into MELLE to facilitate sampling mechanisms, thereby enhancing the output diversity and model robustness. Experiments demonstrate that, compared to the two-stage codec language models VALL-E and its variants, the single-stage MELLE mitigates robustness issues by avoiding the inherent flaws of sampling discrete codes, achieves superior performance across multiple metrics, and, most importantly, offers a more streamlined paradigm. See https://aka.ms/melle for demos of our work.