Síntesis de voz autoregresiva sin cuantización de vectores.

Autoregressive Speech Synthesis without Vector Quantization

July 11, 2024

Autores: Lingwei Meng, Long Zhou, Shujie Liu, Sanyuan Chen, Bing Han, Shujie Hu, Yanqing Liu, Jinyu Li, Sheng Zhao, Xixin Wu, Helen Meng, Furu Wei

cs.AI

Resumen

Presentamos MELLE, un enfoque novedoso de modelado de lenguaje basado en tokens de valores continuos para la síntesis de texto a voz (TTS). MELLE genera de forma autorregresiva tramas continuas de espectrogramas mel directamente a partir de la condición de texto, evitando la necesidad de cuantificación vectorial, originalmente diseñada para compresión de audio y que sacrifica fidelidad en comparación con los espectrogramas mel. Específicamente, (i) en lugar de la pérdida de entropía cruzada, aplicamos pérdida por regresión con una función de pérdida de flujo de espectrograma propuesta para modelar la distribución de probabilidad de los tokens de valores continuos. (ii) hemos incorporado inferencia variacional en MELLE para facilitar mecanismos de muestreo, mejorando así la diversidad de salidas y la robustez del modelo. Los experimentos demuestran que, en comparación con los modelos de lenguaje de códec de dos etapas VALL-E y sus variantes, el MELLE de una sola etapa mitiga problemas de robustez al evitar las deficiencias inherentes de muestrear códigos discretos, logra un rendimiento superior en múltiples métricas y, lo más importante, ofrece un paradigma más simplificado. Consulte https://aka.ms/melle para demostraciones de nuestro trabajo.

English

We present MELLE, a novel continuous-valued tokens based language modeling approach for text to speech synthesis (TTS). MELLE autoregressively generates continuous mel-spectrogram frames directly from text condition, bypassing the need for vector quantization, which are originally designed for audio compression and sacrifice fidelity compared to mel-spectrograms. Specifically, (i) instead of cross-entropy loss, we apply regression loss with a proposed spectrogram flux loss function to model the probability distribution of the continuous-valued tokens. (ii) we have incorporated variational inference into MELLE to facilitate sampling mechanisms, thereby enhancing the output diversity and model robustness. Experiments demonstrate that, compared to the two-stage codec language models VALL-E and its variants, the single-stage MELLE mitigates robustness issues by avoiding the inherent flaws of sampling discrete codes, achieves superior performance across multiple metrics, and, most importantly, offers a more streamlined paradigm. See https://aka.ms/melle for demos of our work.