Modélisation efficace du langage parlé via la distance énergétique dans un espace latent continu

Efficient Speech Language Modeling via Energy Distance in Continuous Latent Space

May 19, 2025

Auteurs: Zhengrui Ma, Yang Feng, Chenze Shao, Fandong Meng, Jie Zhou, Min Zhang

cs.AI

Résumé

Nous présentons SLED, une approche alternative pour la modélisation du langage parlé en encodant les formes d'onde vocales en séquences de représentations latentes continues et en les modélisant de manière autorégressive à l'aide d'un objectif de distance énergétique. La distance énergétique offre une mesure analytique de l'écart distributionnel en comparant des échantillons simulés et cibles, permettant un entraînement efficace pour capturer la distribution autorégressive continue sous-jacente. En évitant la dépendance à la quantification vectorielle résiduelle, SLED contourne les erreurs de discrétisation et élimine le besoin d'architectures hiérarchiques complexes couramment utilisées dans les modèles de langage parlé existants. Il simplifie le pipeline de modélisation tout en préservant la richesse des informations vocales et en maintenant l'efficacité de l'inférence. Les résultats empiriques démontrent que SLED obtient des performances solides à la fois en synthèse vocale zero-shot et en streaming, montrant son potentiel pour des applications plus larges dans les modèles de langage parlé à usage général.

English

We introduce SLED, an alternative approach to speech language modeling by encoding speech waveforms into sequences of continuous latent representations and modeling them autoregressively using an energy distance objective. The energy distance offers an analytical measure of the distributional gap by contrasting simulated and target samples, enabling efficient training to capture the underlying continuous autoregressive distribution. By bypassing reliance on residual vector quantization, SLED avoids discretization errors and eliminates the need for the complicated hierarchical architectures common in existing speech language models. It simplifies the overall modeling pipeline while preserving the richness of speech information and maintaining inference efficiency. Empirical results demonstrate that SLED achieves strong performance in both zero-shot and streaming speech synthesis, showing its potential for broader applications in general-purpose speech language models.