TaDiCodec : Tokeniseur de parole par diffusion conscient du texte pour la modélisation du langage parlé

TaDiCodec: Text-aware Diffusion Speech Tokenizer for Speech Language Modeling

August 22, 2025

papers.authors: Yuancheng Wang, Dekun Chen, Xueyao Zhang, Junan Zhang, Jiaqi Li, Zhizheng Wu

cs.AI

papers.abstract

Les tokenizers de parole constituent des composants fondamentaux pour les modèles de langage vocal, mais les conceptions actuelles présentent plusieurs limitations, notamment : 1) une dépendance à des structures de quantification vectorielle résiduelle multicouches ou à des taux de trames élevés, 2) un recours à des modèles pré-entraînés auxiliaires pour la distillation sémantique, et 3) la nécessité de processus d'entraînement complexes en deux étapes. Dans ce travail, nous présentons le Text-aware Diffusion Transformer Speech Codec (TaDiCodec), une approche novatrice conçue pour surmonter ces défis. TaDiCodec utilise une optimisation de bout en bout pour la quantification et la reconstruction via un autoencodeur de diffusion, tout en intégrant un guidage textuel dans le décodeur de diffusion pour améliorer la qualité de reconstruction et atteindre une compression optimale. TaDiCodec atteint un taux de trames extrêmement bas de 6,25 Hz et un débit binaire correspondant de 0,0875 kbps avec un codebook monocouche pour une parole à 24 kHz, tout en maintenant des performances supérieures sur des métriques d'évaluation critiques de la génération de parole telles que le taux d'erreur de mots (WER), la similarité du locuteur (SIM) et la qualité de la parole (UTMOS). Notamment, TaDiCodec utilise un paradigme d'entraînement en une seule étape, de bout en bout, et élimine le besoin de modèles pré-entraînés auxiliaires. Nous validons également la compatibilité de TaDiCodec dans la synthèse vocale zero-shot basée sur des modèles de langage, avec à la fois une modélisation autorégressive et une modélisation générative masquée, démontrant son efficacité et son efficience pour la modélisation du langage vocal, ainsi qu'un écart reconstruction-génération significativement réduit. Nous rendrons notre code et nos points de contrôle de modèle open source. Des échantillons audio sont disponibles à l'adresse https://tadicodec.github.io/. Nous publions le code et les points de contrôle de modèle à l'adresse https://github.com/HeCheng0625/Diffusion-Speech-Tokenizer.

English

Speech tokenizers serve as foundational components for speech language models, yet current designs exhibit several limitations, including: 1) dependence on multi-layer residual vector quantization structures or high frame rates, 2) reliance on auxiliary pre-trained models for semantic distillation, and 3) requirements for complex two-stage training processes. In this work, we introduce the Text-aware Diffusion Transformer Speech Codec (TaDiCodec), a novel approach designed to overcome these challenges. TaDiCodec employs end-to-end optimization for quantization and reconstruction through a diffusion autoencoder, while integrating text guidance into the diffusion decoder to enhance reconstruction quality and achieve optimal compression. TaDiCodec achieves an extremely low frame rate of 6.25 Hz and a corresponding bitrate of 0.0875 kbps with a single-layer codebook for 24 kHz speech, while maintaining superior performance on critical speech generation evaluation metrics such as Word Error Rate (WER), speaker similarity (SIM), and speech quality (UTMOS). Notably, TaDiCodec employs a single-stage, end-to-end training paradigm, and obviating the need for auxiliary pre-trained models. We also validate the compatibility of TaDiCodec in language model based zero-shot text-to-speech with both autoregressive modeling and masked generative modeling, demonstrating its effectiveness and efficiency for speech language modeling, as well as a significantly small reconstruction-generation gap. We will open source our code and model checkpoints. Audio samples are are available at https:/tadicodec.github.io/. We release code and model checkpoints at https:/github.com/HeCheng0625/Diffusion-Speech-Tokenizer.