TaDiCodec: Tekstbewuste diffusie spraaktokenizer voor spraaktaalmodellering

TaDiCodec: Text-aware Diffusion Speech Tokenizer for Speech Language Modeling

August 22, 2025

Auteurs: Yuancheng Wang, Dekun Chen, Xueyao Zhang, Junan Zhang, Jiaqi Li, Zhizheng Wu

cs.AI

Samenvatting

Spraaktokenizers vormen de fundamentele bouwstenen voor spraaktaalmodellen, maar huidige ontwerpen vertonen verschillende beperkingen, waaronder: 1) afhankelijkheid van meerlaagse restvectorkwantiseringsstructuren of hoge framesnelheden, 2) afhankelijkheid van hulpmodellen die vooraf zijn getraind voor semantische distillatie, en 3) vereisten voor complexe tweefasige trainingsprocessen. In dit werk introduceren we de Text-aware Diffusion Transformer Speech Codec (TaDiCodec), een nieuwe aanpak die ontworpen is om deze uitdagingen te overwinnen. TaDiCodec maakt gebruik van end-to-end optimalisatie voor kwantisering en reconstructie via een diffusie-autoencoder, terwijl tekstbegeleiding wordt geïntegreerd in de diffusiedecoder om de reconstructiekwaliteit te verbeteren en optimale compressie te bereiken. TaDiCodec bereikt een extreem lage framesnelheid van 6,25 Hz en een bijbehorende bitrate van 0,0875 kbps met een enkelelaagscodeboek voor 24 kHz spraak, terwijl het superieure prestaties behoudt op kritieke evaluatiemetrics voor spraakgeneratie, zoals Word Error Rate (WER), sprekersgelijkenis (SIM) en spraakkwaliteit (UTMOS). Opmerkelijk is dat TaDiCodec een eenfasig, end-to-end trainingsparadigma gebruikt en de noodzaak voor hulpmodellen die vooraf zijn getraind overbodig maakt. We valideren ook de compatibiliteit van TaDiCodec in taalmodelgebaseerde zero-shot tekst-naar-spraak met zowel autoregressieve modellering als gemaskeerde generatieve modellering, wat de effectiviteit en efficiëntie ervan voor spraaktaalmodellering aantoont, evenals een aanzienlijk kleine reconstructie-generatiekloof. We zullen onze code en modelcheckpoints opensourcen. Audiovoorbeelden zijn beschikbaar op https:/tadicodec.github.io/. We geven code en modelcheckpoints vrij op https:/github.com/HeCheng0625/Diffusion-Speech-Tokenizer.

English

Speech tokenizers serve as foundational components for speech language models, yet current designs exhibit several limitations, including: 1) dependence on multi-layer residual vector quantization structures or high frame rates, 2) reliance on auxiliary pre-trained models for semantic distillation, and 3) requirements for complex two-stage training processes. In this work, we introduce the Text-aware Diffusion Transformer Speech Codec (TaDiCodec), a novel approach designed to overcome these challenges. TaDiCodec employs end-to-end optimization for quantization and reconstruction through a diffusion autoencoder, while integrating text guidance into the diffusion decoder to enhance reconstruction quality and achieve optimal compression. TaDiCodec achieves an extremely low frame rate of 6.25 Hz and a corresponding bitrate of 0.0875 kbps with a single-layer codebook for 24 kHz speech, while maintaining superior performance on critical speech generation evaluation metrics such as Word Error Rate (WER), speaker similarity (SIM), and speech quality (UTMOS). Notably, TaDiCodec employs a single-stage, end-to-end training paradigm, and obviating the need for auxiliary pre-trained models. We also validate the compatibility of TaDiCodec in language model based zero-shot text-to-speech with both autoregressive modeling and masked generative modeling, demonstrating its effectiveness and efficiency for speech language modeling, as well as a significantly small reconstruction-generation gap. We will open source our code and model checkpoints. Audio samples are are available at https:/tadicodec.github.io/. We release code and model checkpoints at https:/github.com/HeCheng0625/Diffusion-Speech-Tokenizer.