TaDiCodec: Text-bewusster Diffusions-Sprach-Tokenizer für die Modellierung von Sprachsprache

TaDiCodec: Text-aware Diffusion Speech Tokenizer for Speech Language Modeling

August 22, 2025

papers.authors: Yuancheng Wang, Dekun Chen, Xueyao Zhang, Junan Zhang, Jiaqi Li, Zhizheng Wu

cs.AI

papers.abstract

Sprachtokenizer dienen als grundlegende Komponenten für Sprachmodelle, doch aktuelle Designs weisen mehrere Einschränkungen auf, darunter: 1) Abhängigkeit von mehrschichtigen residualen Vektorquantisierungsstrukturen oder hohen Bildraten, 2) Abhängigkeit von zusätzlichen vortrainierten Modellen zur semantischen Destillation und 3) Anforderungen an komplexe zweistufige Trainingsprozesse. In dieser Arbeit stellen wir den Text-aware Diffusion Transformer Speech Codec (TaDiCodec) vor, einen neuartigen Ansatz, der entwickelt wurde, um diese Herausforderungen zu bewältigen. TaDiCodec verwendet eine End-to-End-Optimierung für Quantisierung und Rekonstruktion durch einen Diffusions-Autoencoder, während Textführung in den Diffusions-Decoder integriert wird, um die Rekonstruktionsqualität zu verbessern und eine optimale Kompression zu erreichen. TaDiCodec erreicht eine extrem niedrige Bildrate von 6,25 Hz und eine entsprechende Bitrate von 0,0875 kbps mit einem einlagigen Codebuch für 24 kHz Sprache, während gleichzeitig eine überlegene Leistung bei wichtigen Sprachgenerationsbewertungsmetriken wie der Wortfehlerrate (WER), der Sprecherähnlichkeit (SIM) und der Sprachqualität (UTMOS) aufrechterhalten wird. Bemerkenswert ist, dass TaDiCodec ein einstufiges, End-to-End-Trainingsparadigma verwendet und den Bedarf an zusätzlichen vortrainierten Modellen überflüssig macht. Wir validieren auch die Kompatibilität von TaDiCodec in sprachmodellbasiertem Zero-Shot-Text-to-Speech sowohl mit autoregressiver Modellierung als auch mit maskierter generativer Modellierung, was seine Effektivität und Effizienz für die Sprachmodellierung sowie eine signifikant kleine Rekonstruktions-Generationslücke demonstriert. Wir werden unseren Code und unsere Modellcheckpoints open source zur Verfügung stellen. Audiobeispiele sind unter https://tadicodec.github.io/ verfügbar. Wir veröffentlichen den Code und die Modellcheckpoints unter https://github.com/HeCheng0625/Diffusion-Speech-Tokenizer.

English

Speech tokenizers serve as foundational components for speech language models, yet current designs exhibit several limitations, including: 1) dependence on multi-layer residual vector quantization structures or high frame rates, 2) reliance on auxiliary pre-trained models for semantic distillation, and 3) requirements for complex two-stage training processes. In this work, we introduce the Text-aware Diffusion Transformer Speech Codec (TaDiCodec), a novel approach designed to overcome these challenges. TaDiCodec employs end-to-end optimization for quantization and reconstruction through a diffusion autoencoder, while integrating text guidance into the diffusion decoder to enhance reconstruction quality and achieve optimal compression. TaDiCodec achieves an extremely low frame rate of 6.25 Hz and a corresponding bitrate of 0.0875 kbps with a single-layer codebook for 24 kHz speech, while maintaining superior performance on critical speech generation evaluation metrics such as Word Error Rate (WER), speaker similarity (SIM), and speech quality (UTMOS). Notably, TaDiCodec employs a single-stage, end-to-end training paradigm, and obviating the need for auxiliary pre-trained models. We also validate the compatibility of TaDiCodec in language model based zero-shot text-to-speech with both autoregressive modeling and masked generative modeling, demonstrating its effectiveness and efficiency for speech language modeling, as well as a significantly small reconstruction-generation gap. We will open source our code and model checkpoints. Audio samples are are available at https:/tadicodec.github.io/. We release code and model checkpoints at https:/github.com/HeCheng0625/Diffusion-Speech-Tokenizer.