TaDiCodec: Tokenizador de Voz con Difusión Consciente del Texto para el Modelado del Lenguaje en el Habla

TaDiCodec: Text-aware Diffusion Speech Tokenizer for Speech Language Modeling

August 22, 2025

Autores: Yuancheng Wang, Dekun Chen, Xueyao Zhang, Junan Zhang, Jiaqi Li, Zhizheng Wu

cs.AI

Resumen

Los tokenizadores de voz sirven como componentes fundamentales para los modelos de lenguaje de voz, sin embargo, los diseños actuales presentan varias limitaciones, incluyendo: 1) dependencia de estructuras de cuantización vectorial residual multicapa o altas tasas de fotogramas, 2) dependencia de modelos preentrenados auxiliares para la destilación semántica, y 3) requisitos de procesos de entrenamiento complejos en dos etapas. En este trabajo, presentamos el Codec de Voz con Transformador de Difusión Consciente del Texto (TaDiCodec), un enfoque novedoso diseñado para superar estos desafíos. TaDiCodec emplea optimización de extremo a extremo para la cuantización y reconstrucción a través de un autoencoder de difusión, mientras integra guía textual en el decodificador de difusión para mejorar la calidad de la reconstrucción y lograr una compresión óptima. TaDiCodec alcanza una tasa de fotogramas extremadamente baja de 6.25 Hz y una tasa de bits correspondiente de 0.0875 kbps con un libro de códigos de una sola capa para voz de 24 kHz, manteniendo un rendimiento superior en métricas críticas de evaluación de generación de voz como la Tasa de Error de Palabras (WER), la similitud del hablante (SIM) y la calidad del habla (UTMOS). Notablemente, TaDiCodec emplea un paradigma de entrenamiento de una sola etapa y de extremo a extremo, eliminando la necesidad de modelos preentrenados auxiliares. También validamos la compatibilidad de TaDiCodec en la síntesis de voz de texto a voz basada en modelos de lenguaje con cero ejemplos, tanto con modelado autoregresivo como con modelado generativo enmascarado, demostrando su eficacia y eficiencia para el modelado de lenguaje de voz, así como una brecha de reconstrucción-generación significativamente pequeña. Publicaremos nuestro código y puntos de control del modelo. Las muestras de audio están disponibles en https://tadicodec.github.io/. Publicamos el código y los puntos de control del modelo en https://github.com/HeCheng0625/Diffusion-Speech-Tokenizer.

English

Speech tokenizers serve as foundational components for speech language models, yet current designs exhibit several limitations, including: 1) dependence on multi-layer residual vector quantization structures or high frame rates, 2) reliance on auxiliary pre-trained models for semantic distillation, and 3) requirements for complex two-stage training processes. In this work, we introduce the Text-aware Diffusion Transformer Speech Codec (TaDiCodec), a novel approach designed to overcome these challenges. TaDiCodec employs end-to-end optimization for quantization and reconstruction through a diffusion autoencoder, while integrating text guidance into the diffusion decoder to enhance reconstruction quality and achieve optimal compression. TaDiCodec achieves an extremely low frame rate of 6.25 Hz and a corresponding bitrate of 0.0875 kbps with a single-layer codebook for 24 kHz speech, while maintaining superior performance on critical speech generation evaluation metrics such as Word Error Rate (WER), speaker similarity (SIM), and speech quality (UTMOS). Notably, TaDiCodec employs a single-stage, end-to-end training paradigm, and obviating the need for auxiliary pre-trained models. We also validate the compatibility of TaDiCodec in language model based zero-shot text-to-speech with both autoregressive modeling and masked generative modeling, demonstrating its effectiveness and efficiency for speech language modeling, as well as a significantly small reconstruction-generation gap. We will open source our code and model checkpoints. Audio samples are are available at https:/tadicodec.github.io/. We release code and model checkpoints at https:/github.com/HeCheng0625/Diffusion-Speech-Tokenizer.