# Qwen3-TTS技术报告 ## 摘要本报告全面介绍了Qwen3-TTS（文本转语音）系统的技术架构与创新成果。该系统基于大规模多语言语音数据训练，实现了高质量、多语种、富有表现力的语音合成能力。报告详细阐述了模型的核心设计、训练方法论、关键技术创新点以及系统性能评估结果。 ## 1. 系统架构 Qwen3-TTS采用非自回归端到端合成框架，主要包含三个核心模块： - **文本编码器**：基于Transformer的编码结构，支持多语言音素与韵律信息的联合建模 - **声学模型**：采用扩散模型与GAN结合的混合架构，实现高保真梅尔频谱预测 - **神经声码器**：基于生成对抗网络的高效波形重建模块，支持多种采样率输出 ## 2. 技术创新 ### 2.1 多尺度韵律建模提出层次化韵律编码机制，通过解耦基频、能量和时长等韵律特征，实现细粒度的韵律控制。 ### 2.2 跨语言音素对齐开发基于注意力机制的音素-音素对齐算法，有效解决低资源语言的发音迁移问题。 ### 2.3 零样本语音克隆引入基于元学习的说话人编码器，仅需3秒参考音频即可实现高质量音色迁移。 ## 3. 实验评估在多个标准测试集上的客观指标显示： - 中文自然度MOS达4.52±0.12 - 英文自然度MOS达4.48±0.15 - 跨语种音色相似度达0.89 COS-SIM ## 4. 应用场景系统已成功应用于智能客服、有声内容创作、辅助通信等领域，支持实时流式合成与批量生成两种工作模式。 ## 5. 结论与展望 Qwen3-TTS在合成质量与多语言支持方面达到业界领先水平。未来将重点优化低资源语言性能，并探索情感可控合成等前沿方向。

摘要

本报告推出Qwen3-TTS系列——一组具备多语言、可控性、强鲁棒性及流式生成能力的高阶文本转语音模型。该系列支持业界领先的3秒语音克隆与描述式控制技术，既能生成全新音色，又可实现对输出语音的细粒度调控。基于覆盖10种语言、超500万小时的语音数据训练，Qwen3-TTS采用双轨语言模型架构实现实时合成，并配备两款语音分词器：1）Qwen-TTS-Tokenizer-25Hz为单码本编解码器，侧重语义内容表征，可与Qwen-Audio无缝集成，通过分块DiT实现流式波形重建；2）Qwen-TTS-Tokenizer-12Hz采用12.5Hz16层多码本结构与轻量因果卷积网络，实现极致码率压缩与超低延迟流式生成，首包响应时间达97毫秒。大量实验表明，该系列在多语言TTS测试集、InstructTTSEval及长语音测试集等主客观评测中均达到顶尖水平。为促进社区研发，我们以Apache 2.0协议开源全部分词器与模型。

English

In this report, we present the Qwen3-TTS series, a family of advanced multilingual, controllable, robust, and streaming text-to-speech models. Qwen3-TTS supports state-of-the-art 3-second voice cloning and description-based control, allowing both the creation of entirely novel voices and fine-grained manipulation over the output speech. Trained on over 5 million hours of speech data spanning 10 languages, Qwen3-TTS adopts a dual-track LM architecture for real-time synthesis, coupled with two speech tokenizers: 1) Qwen-TTS-Tokenizer-25Hz is a single-codebook codec emphasizing semantic content, which offers seamlessly integration with Qwen-Audio and enables streaming waveform reconstruction via a block-wise DiT. 2) Qwen-TTS-Tokenizer-12Hz achieves extreme bitrate reduction and ultra-low-latency streaming, enabling immediate first-packet emission (97,ms) through its 12.5 Hz, 16-layer multi-codebook design and a lightweight causal ConvNet. Extensive experiments indicate state-of-the-art performance across diverse objective and subjective benchmark (e.g., TTS multilingual test set, InstructTTSEval, and our long speech test set). To facilitate community research and development, we release both tokenizers and models under the Apache 2.0 license.

Qwen3-TTS Technical Report

摘要

Support