Modelagem Eficiente de Linguagem de Fala via Distância de Energia em Espaço Latente Contínuo

Efficient Speech Language Modeling via Energy Distance in Continuous Latent Space

May 19, 2025

Autores: Zhengrui Ma, Yang Feng, Chenze Shao, Fandong Meng, Jie Zhou, Min Zhang

cs.AI

Resumo

Apresentamos o SLED, uma abordagem alternativa para modelagem de linguagem de fala, que codifica formas de onda de fala em sequências de representações latentes contínuas e as modela de forma autoregressiva usando um objetivo de distância de energia. A distância de energia oferece uma medida analítica da diferença distribucional ao contrastar amostras simuladas e alvo, permitindo um treinamento eficiente para capturar a distribuição autoregressiva contínua subjacente. Ao evitar a dependência da quantização vetorial residual, o SLED contorna erros de discretização e elimina a necessidade das arquiteturas hierárquicas complexas comuns nos modelos de linguagem de fala existentes. Ele simplifica o pipeline geral de modelagem, preservando a riqueza das informações de fala e mantendo a eficiência de inferência. Resultados empíricos demonstram que o SLED alcança um desempenho robusto tanto na síntese de fala zero-shot quanto na streaming, mostrando seu potencial para aplicações mais amplas em modelos de linguagem de fia de propósito geral.

English

We introduce SLED, an alternative approach to speech language modeling by encoding speech waveforms into sequences of continuous latent representations and modeling them autoregressively using an energy distance objective. The energy distance offers an analytical measure of the distributional gap by contrasting simulated and target samples, enabling efficient training to capture the underlying continuous autoregressive distribution. By bypassing reliance on residual vector quantization, SLED avoids discretization errors and eliminates the need for the complicated hierarchical architectures common in existing speech language models. It simplifies the overall modeling pipeline while preserving the richness of speech information and maintaining inference efficiency. Empirical results demonstrate that SLED achieves strong performance in both zero-shot and streaming speech synthesis, showing its potential for broader applications in general-purpose speech language models.