TaDiCodec: Tokenizador de Fala com Difusão Consciente de Texto para Modelagem de Linguagem de Fala

TaDiCodec: Text-aware Diffusion Speech Tokenizer for Speech Language Modeling

August 22, 2025

Autores: Yuancheng Wang, Dekun Chen, Xueyao Zhang, Junan Zhang, Jiaqi Li, Zhizheng Wu

cs.AI

Resumo

Os tokenizadores de fala servem como componentes fundamentais para modelos de linguagem de fala, porém os designs atuais apresentam várias limitações, incluindo: 1) dependência de estruturas de quantização vetorial residual multicamadas ou altas taxas de quadros, 2) dependência de modelos pré-treinados auxiliares para destilação semântica, e 3) necessidade de processos de treinamento complexos em duas etapas. Neste trabalho, apresentamos o Text-aware Diffusion Transformer Speech Codec (TaDiCodec), uma nova abordagem projetada para superar esses desafios. O TaDiCodec emprega otimização de ponta a ponta para quantização e reconstrução por meio de um autoencoder de difusão, enquanto integra orientação textual no decodificador de difusão para melhorar a qualidade da reconstrução e alcançar compressão ideal. O TaDiCodec atinge uma taxa de quadros extremamente baixa de 6,25 Hz e uma taxa de bits correspondente de 0,0875 kbps com um codebook de camada única para fala de 24 kHz, mantendo desempenho superior em métricas críticas de avaliação de geração de fala, como Taxa de Erro de Palavras (WER), similaridade de falante (SIM) e qualidade de fala (UTMOS). Notavelmente, o TaDiCodec emprega um paradigma de treinamento de estágio único e ponta a ponta, eliminando a necessidade de modelos pré-treinados auxiliares. Também validamos a compatibilidade do TaDiCodec em síntese de fala zero-shot baseada em modelos de linguagem, tanto com modelagem autorregressiva quanto com modelagem generativa mascarada, demonstrando sua eficácia e eficiência para modelagem de linguagem de fala, bem como uma lacuna de reconstrução-geração significativamente pequena. Disponibilizaremos nosso código e checkpoints de modelo como código aberto. Amostras de áudio estão disponíveis em https://tadicodec.github.io/. Liberamos o código e os checkpoints de modelo em https://github.com/HeCheng0625/Diffusion-Speech-Tokenizer.

English

Speech tokenizers serve as foundational components for speech language models, yet current designs exhibit several limitations, including: 1) dependence on multi-layer residual vector quantization structures or high frame rates, 2) reliance on auxiliary pre-trained models for semantic distillation, and 3) requirements for complex two-stage training processes. In this work, we introduce the Text-aware Diffusion Transformer Speech Codec (TaDiCodec), a novel approach designed to overcome these challenges. TaDiCodec employs end-to-end optimization for quantization and reconstruction through a diffusion autoencoder, while integrating text guidance into the diffusion decoder to enhance reconstruction quality and achieve optimal compression. TaDiCodec achieves an extremely low frame rate of 6.25 Hz and a corresponding bitrate of 0.0875 kbps with a single-layer codebook for 24 kHz speech, while maintaining superior performance on critical speech generation evaluation metrics such as Word Error Rate (WER), speaker similarity (SIM), and speech quality (UTMOS). Notably, TaDiCodec employs a single-stage, end-to-end training paradigm, and obviating the need for auxiliary pre-trained models. We also validate the compatibility of TaDiCodec in language model based zero-shot text-to-speech with both autoregressive modeling and masked generative modeling, demonstrating its effectiveness and efficiency for speech language modeling, as well as a significantly small reconstruction-generation gap. We will open source our code and model checkpoints. Audio samples are are available at https:/tadicodec.github.io/. We release code and model checkpoints at https:/github.com/HeCheng0625/Diffusion-Speech-Tokenizer.