Modellamento Efficiente del Linguaggio Parlato tramite Distanza Energetica nello Spazio Latente Continuo

Efficient Speech Language Modeling via Energy Distance in Continuous Latent Space

May 19, 2025

Autori: Zhengrui Ma, Yang Feng, Chenze Shao, Fandong Meng, Jie Zhou, Min Zhang

cs.AI

Abstract

Presentiamo SLED, un approccio alternativo alla modellazione del linguaggio vocale che codifica le forme d'onda del parlato in sequenze di rappresentazioni latenti continue e le modella in modo autoregressivo utilizzando una funzione obiettivo basata sulla distanza energetica. La distanza energetica fornisce una misura analitica del divario distributivo confrontando campioni simulati e target, consentendo un addestramento efficiente per catturare la distribuzione autoregressiva continua sottostante. Evitando la dipendenza dalla quantizzazione vettoriale residua, SLED elimina gli errori di discretizzazione e la necessità delle complesse architetture gerarchiche comuni nei modelli di linguaggio vocale esistenti. Semplifica l'intera pipeline di modellazione preservando la ricchezza delle informazioni vocali e mantenendo l'efficienza nell'inferenza. I risultati empirici dimostrano che SLED raggiunge prestazioni solide sia nella sintesi vocale zero-shot che in streaming, mostrando il suo potenziale per applicazioni più ampie nei modelli di linguaggio vocale generici.

English

We introduce SLED, an alternative approach to speech language modeling by encoding speech waveforms into sequences of continuous latent representations and modeling them autoregressively using an energy distance objective. The energy distance offers an analytical measure of the distributional gap by contrasting simulated and target samples, enabling efficient training to capture the underlying continuous autoregressive distribution. By bypassing reliance on residual vector quantization, SLED avoids discretization errors and eliminates the need for the complicated hierarchical architectures common in existing speech language models. It simplifies the overall modeling pipeline while preserving the richness of speech information and maintaining inference efficiency. Empirical results demonstrate that SLED achieves strong performance in both zero-shot and streaming speech synthesis, showing its potential for broader applications in general-purpose speech language models.