MiniMax-Speech: 学習可能な話者エンコーダを備えた本質的ゼロショットテキスト読み上げ

MiniMax-Speech: Intrinsic Zero-Shot Text-to-Speech with a Learnable Speaker Encoder

May 12, 2025

著者: Bowen Zhang, Congchao Guo, Geng Yang, Hang Yu, Haozhe Zhang, Heidi Lei, Jialong Mai, Junjie Yan, Kaiyue Yang, Mingqi Yang, Peikai Huang, Ruiyang Jin, Sitan Jiang, Weihua Cheng, Yawei Li, Yichen Xiao, Yiying Zhou, Yongmao Zhang, Yuan Lu, Yucen He

cs.AI

要旨

MiniMax-Speechを紹介します。これは、高品質な音声を生成する自己回帰型Transformerベースのテキスト読み上げ（TTS）モデルです。主な革新点は、学習可能な話者エンコーダであり、参照音声から文字起こしを必要とせずに音色特徴を抽出します。これにより、MiniMax-Speechはゼロショットで参照音声と一貫した音色を持つ高度に表現力豊かな音声を生成できるだけでなく、ワンショット音声クローンにおいても参照音声に非常に高い類似性を実現します。さらに、提案されたFlow-VAEにより、合成音声の全体的な品質が向上しています。本モデルは32言語をサポートし、複数の客観的および主観的評価指標において優れた性能を示しています。特に、客観的音声クローンメトリクス（単語誤り率と話者類似性）において最先端（SOTA）の結果を達成し、公開TTS Arenaリーダーボードで首位を獲得しています。MiniMax-Speechのもう一つの重要な強みは、話者エンコーダから得られる堅牢で分離された表現により、ベースモデルを変更することなく拡張性が高いことです。これにより、LoRAを介した任意の音声感情制御、テキスト記述から直接音色特徴を合成するテキストから音声（T2V）、追加データを用いて音色特徴を微調整するプロフェッショナル音声クローン（PVC）など、様々な応用が可能です。より多くの例については、https://minimax-ai.github.io/tts_tech_report をご覧ください。

English

We introduce MiniMax-Speech, an autoregressive Transformer-based Text-to-Speech (TTS) model that generates high-quality speech. A key innovation is our learnable speaker encoder, which extracts timbre features from a reference audio without requiring its transcription. This enables MiniMax-Speech to produce highly expressive speech with timbre consistent with the reference in a zero-shot manner, while also supporting one-shot voice cloning with exceptionally high similarity to the reference voice. In addition, the overall quality of the synthesized audio is enhanced through the proposed Flow-VAE. Our model supports 32 languages and demonstrates excellent performance across multiple objective and subjective evaluations metrics. Notably, it achieves state-of-the-art (SOTA) results on objective voice cloning metrics (Word Error Rate and Speaker Similarity) and has secured the top position on the public TTS Arena leaderboard. Another key strength of MiniMax-Speech, granted by the robust and disentangled representations from the speaker encoder, is its extensibility without modifying the base model, enabling various applications such as: arbitrary voice emotion control via LoRA; text to voice (T2V) by synthesizing timbre features directly from text description; and professional voice cloning (PVC) by fine-tuning timbre features with additional data. We encourage readers to visit https://minimax-ai.github.io/tts_tech_report for more examples.