Sintesi Vocale Autoregressiva senza Quantizzazione Vettoriale

Autoregressive Speech Synthesis without Vector Quantization

July 11, 2024

Autori: Lingwei Meng, Long Zhou, Shujie Liu, Sanyuan Chen, Bing Han, Shujie Hu, Yanqing Liu, Jinyu Li, Sheng Zhao, Xixin Wu, Helen Meng, Furu Wei

cs.AI

Abstract

Presentiamo MELLE, un nuovo approccio di modellazione del linguaggio basato su token a valori continui per la sintesi vocale da testo (TTS). MELLE genera in modo autoregressivo frame di mel-spettrogrammi continui direttamente dalla condizione testuale, bypassando la necessità di quantizzazione vettoriale, originariamente progettata per la compressione audio e che sacrifica la fedeltà rispetto ai mel-spettrogrammi. Nello specifico, (i) invece della perdita di entropia incrociata, applichiamo una perdita di regressione con una funzione di perdita del flusso dello spettrogramma proposta per modellare la distribuzione di probabilità dei token a valori continui. (ii) abbiamo incorporato l'inferenza variazionale in MELLE per facilitare i meccanismi di campionamento, migliorando così la diversità dell'output e la robustezza del modello. Gli esperimenti dimostrano che, rispetto ai modelli di linguaggio codec a due stadi VALL-E e le sue varianti, il modello a stadio singolo MELLE mitiga i problemi di robustezza evitando le imperfezioni intrinseche del campionamento di codici discreti, raggiunge prestazioni superiori su più metriche e, soprattutto, offre un paradigma più snello. Visita https://aka.ms/melle per le demo del nostro lavoro.

English

We present MELLE, a novel continuous-valued tokens based language modeling approach for text to speech synthesis (TTS). MELLE autoregressively generates continuous mel-spectrogram frames directly from text condition, bypassing the need for vector quantization, which are originally designed for audio compression and sacrifice fidelity compared to mel-spectrograms. Specifically, (i) instead of cross-entropy loss, we apply regression loss with a proposed spectrogram flux loss function to model the probability distribution of the continuous-valued tokens. (ii) we have incorporated variational inference into MELLE to facilitate sampling mechanisms, thereby enhancing the output diversity and model robustness. Experiments demonstrate that, compared to the two-stage codec language models VALL-E and its variants, the single-stage MELLE mitigates robustness issues by avoiding the inherent flaws of sampling discrete codes, achieves superior performance across multiple metrics, and, most importantly, offers a more streamlined paradigm. See https://aka.ms/melle for demos of our work.