MiniMax-Speech: Intrinsisches Zero-Shot Text-to-Speech mit einem lernfähigen Sprecher-Encoder

MiniMax-Speech: Intrinsic Zero-Shot Text-to-Speech with a Learnable Speaker Encoder

May 12, 2025

Autoren: Bowen Zhang, Congchao Guo, Geng Yang, Hang Yu, Haozhe Zhang, Heidi Lei, Jialong Mai, Junjie Yan, Kaiyue Yang, Mingqi Yang, Peikai Huang, Ruiyang Jin, Sitan Jiang, Weihua Cheng, Yawei Li, Yichen Xiao, Yiying Zhou, Yongmao Zhang, Yuan Lu, Yucen He

cs.AI

Zusammenfassung

Wir stellen MiniMax-Speech vor, ein autoregressives, Transformer-basiertes Text-to-Speech (TTS)-Modell, das hochwertige Sprache erzeugt. Eine zentrale Innovation ist unser lernbarer Sprecher-Encoder, der Timbre-Merkmale aus einem Referenzaudio extrahiert, ohne dessen Transkription zu benötigen. Dies ermöglicht es MiniMax-Speech, ausdrucksstarke Sprache mit einem dem Referenzaudio konsistenten Timbre in einem Zero-Shot-Verfahren zu erzeugen, während es gleichzeitig One-Shot-Stimmenklonung mit außergewöhnlich hoher Ähnlichkeit zur Referenzstimme unterstützt. Darüber hinaus wird die Gesamtqualität des synthetisierten Audios durch den vorgeschlagenen Flow-VAE verbessert. Unser Modell unterstützt 32 Sprachen und zeigt hervorragende Leistungen in mehreren objektiven und subjektiven Bewertungsmetriken. Insbesondere erzielt es state-of-the-art (SOTA)-Ergebnisse bei objektiven Metriken zur Stimmenklonung (Wortfehlerrate und Sprecherähnlichkeit) und hat die Spitzenposition auf der öffentlichen TTS Arena-Rangliste erreicht. Eine weitere Stärke von MiniMax-Speech, die durch die robusten und entflochtenen Repräsentationen des Sprecher-Encors ermöglicht wird, ist seine Erweiterbarkeit ohne Änderungen am Basismodell, was verschiedene Anwendungen ermöglicht, wie z.B.: beliebige Stimmungssteuerung via LoRA; Text-zu-Stimme (T2V) durch die Synthese von Timbre-Merkmalen direkt aus einer Textbeschreibung; und professionelle Stimmenklonung (PVC) durch Feinabstimmung der Timbre-Merkmale mit zusätzlichen Daten. Wir ermutigen die Leser, https://minimax-ai.github.io/tts_tech_report für weitere Beispiele zu besuchen.

English

We introduce MiniMax-Speech, an autoregressive Transformer-based Text-to-Speech (TTS) model that generates high-quality speech. A key innovation is our learnable speaker encoder, which extracts timbre features from a reference audio without requiring its transcription. This enables MiniMax-Speech to produce highly expressive speech with timbre consistent with the reference in a zero-shot manner, while also supporting one-shot voice cloning with exceptionally high similarity to the reference voice. In addition, the overall quality of the synthesized audio is enhanced through the proposed Flow-VAE. Our model supports 32 languages and demonstrates excellent performance across multiple objective and subjective evaluations metrics. Notably, it achieves state-of-the-art (SOTA) results on objective voice cloning metrics (Word Error Rate and Speaker Similarity) and has secured the top position on the public TTS Arena leaderboard. Another key strength of MiniMax-Speech, granted by the robust and disentangled representations from the speaker encoder, is its extensibility without modifying the base model, enabling various applications such as: arbitrary voice emotion control via LoRA; text to voice (T2V) by synthesizing timbre features directly from text description; and professional voice cloning (PVC) by fine-tuning timbre features with additional data. We encourage readers to visit https://minimax-ai.github.io/tts_tech_report for more examples.