連続潜在空間におけるエネルギー距離を用いた効率的な音声言語モデリング

Efficient Speech Language Modeling via Energy Distance in Continuous Latent Space

May 19, 2025

著者: Zhengrui Ma, Yang Feng, Chenze Shao, Fandong Meng, Jie Zhou, Min Zhang

cs.AI

要旨

我々はSLEDを提案する。これは、音声波形を連続的な潜在表現の系列に符号化し、エネルギー距離を目的関数として自己回帰的にモデル化する、新たな音声言語モデリング手法である。エネルギー距離は、シミュレーションサンプルと目標サンプルを対比することで分布間のギャップを解析的に測定し、基盤となる連続自己回帰分布を効率的に学習することを可能にする。SLEDは残差ベクトル量子化への依存を回避することで、離散化誤差を除去し、既存の音声言語モデルで一般的な複雑な階層的アーキテクチャの必要性を解消する。これにより、音声情報の豊かさを保ちつつ推論効率を維持しつつ、全体のモデリングパイプラインを簡素化する。実験結果は、SLEDがゼロショット音声合成とストリーミング音声合成の両方で優れた性能を発揮し、汎用音声言語モデルとしての幅広い応用可能性を示している。

English

We introduce SLED, an alternative approach to speech language modeling by encoding speech waveforms into sequences of continuous latent representations and modeling them autoregressively using an energy distance objective. The energy distance offers an analytical measure of the distributional gap by contrasting simulated and target samples, enabling efficient training to capture the underlying continuous autoregressive distribution. By bypassing reliance on residual vector quantization, SLED avoids discretization errors and eliminates the need for the complicated hierarchical architectures common in existing speech language models. It simplifies the overall modeling pipeline while preserving the richness of speech information and maintaining inference efficiency. Empirical results demonstrate that SLED achieves strong performance in both zero-shot and streaming speech synthesis, showing its potential for broader applications in general-purpose speech language models.