TaDiCodec: Текст-ориентированный диффузионный токенизатор речи для моделирования речевого языка

TaDiCodec: Text-aware Diffusion Speech Tokenizer for Speech Language Modeling

August 22, 2025

Авторы: Yuancheng Wang, Dekun Chen, Xueyao Zhang, Junan Zhang, Jiaqi Li, Zhizheng Wu

cs.AI

Аннотация

Токенизаторы речи служат фундаментальными компонентами для моделей обработки речи, однако текущие конструкции имеют ряд ограничений, включая: 1) зависимость от многослойных структур остаточной векторной квантизации или высоких частот кадров, 2) необходимость использования вспомогательных предобученных моделей для семантической дистилляции и 3) требования к сложным двухэтапным процессам обучения. В данной работе мы представляем Text-aware Diffusion Transformer Speech Codec (TaDiCodec), новый подход, разработанный для преодоления этих ограничений. TaDiCodec использует сквозную оптимизацию для квантизации и реконструкции через диффузионный автоэнкодер, одновременно интегрируя текстовое руководство в диффузионный декодер для улучшения качества реконструкции и достижения оптимального сжатия. TaDiCodec достигает крайне низкой частоты кадров 6,25 Гц и соответствующей битрейта 0,0875 кбит/с с однослойным кодбуком для речи с частотой 24 кГц, сохраняя при этом превосходные результаты по ключевым метрикам оценки генерации речи, таким как Word Error Rate (WER), сходство говорящего (SIM) и качество речи (UTMOS). Важно отметить, что TaDiCodec использует одноэтапный, сквозной процесс обучения и устраняет необходимость во вспомогательных предобученных моделях. Мы также подтверждаем совместимость TaDiCodec в задачах zero-shot text-to-speech на основе языковых моделей как с авторегрессивным, так и с маскированным генеративным моделированием, демонстрируя его эффективность и производительность для моделирования речи, а также значительно меньший разрыв между реконструкцией и генерацией. Мы опубликуем наш код и контрольные точки модели. Аудиообразцы доступны по адресу https://tadicodec.github.io/. Код и контрольные точки модели доступны по адресу https://github.com/HeCheng0625/Diffusion-Speech-Tokenizer.

English

Speech tokenizers serve as foundational components for speech language models, yet current designs exhibit several limitations, including: 1) dependence on multi-layer residual vector quantization structures or high frame rates, 2) reliance on auxiliary pre-trained models for semantic distillation, and 3) requirements for complex two-stage training processes. In this work, we introduce the Text-aware Diffusion Transformer Speech Codec (TaDiCodec), a novel approach designed to overcome these challenges. TaDiCodec employs end-to-end optimization for quantization and reconstruction through a diffusion autoencoder, while integrating text guidance into the diffusion decoder to enhance reconstruction quality and achieve optimal compression. TaDiCodec achieves an extremely low frame rate of 6.25 Hz and a corresponding bitrate of 0.0875 kbps with a single-layer codebook for 24 kHz speech, while maintaining superior performance on critical speech generation evaluation metrics such as Word Error Rate (WER), speaker similarity (SIM), and speech quality (UTMOS). Notably, TaDiCodec employs a single-stage, end-to-end training paradigm, and obviating the need for auxiliary pre-trained models. We also validate the compatibility of TaDiCodec in language model based zero-shot text-to-speech with both autoregressive modeling and masked generative modeling, demonstrating its effectiveness and efficiency for speech language modeling, as well as a significantly small reconstruction-generation gap. We will open source our code and model checkpoints. Audio samples are are available at https:/tadicodec.github.io/. We release code and model checkpoints at https:/github.com/HeCheng0625/Diffusion-Speech-Tokenizer.