MiniMax-Speech: Intrinsieke Zero-Shot Text-naar-Spraak met een Leerbare Spreker Encoder

MiniMax-Speech: Intrinsic Zero-Shot Text-to-Speech with a Learnable Speaker Encoder

May 12, 2025

Auteurs: Bowen Zhang, Congchao Guo, Geng Yang, Hang Yu, Haozhe Zhang, Heidi Lei, Jialong Mai, Junjie Yan, Kaiyue Yang, Mingqi Yang, Peikai Huang, Ruiyang Jin, Sitan Jiang, Weihua Cheng, Yawei Li, Yichen Xiao, Yiying Zhou, Yongmao Zhang, Yuan Lu, Yucen He

cs.AI

Samenvatting

We introduceren MiniMax-Speech, een autoregressief Transformer-gebaseerd Text-to-Speech (TTS) model dat hoogwaardige spraak genereert. Een belangrijke innovatie is onze leerbare spreker-encoder, die timbrekenmerken uit een referentie-audio extraheert zonder de transcriptie ervan nodig te hebben. Hierdoor kan MiniMax-Speech zeer expressieve spraak produceren met een timbre dat consistent is met de referentie op een zero-shot manier, terwijl het ook one-shot voice cloning ondersteunt met een uitzonderlijk hoge gelijkenis aan de referentiestem. Daarnaast wordt de algehele kwaliteit van de gesynthetiseerde audio verbeterd door de voorgestelde Flow-VAE. Ons model ondersteunt 32 talen en toont uitstekende prestaties op meerdere objectieve en subjectieve evaluatiemetrics. Het behaalt met name state-of-the-art (SOTA) resultaten op objectieve voice cloning metrics (Word Error Rate en Speaker Similarity) en heeft de top positie veroverd op het publieke TTS Arena leaderboard. Een andere belangrijke sterkte van MiniMax-Speech, mogelijk gemaakt door de robuuste en ontvlochten representaties van de spreker-encoder, is de uitbreidbaarheid zonder het basismodel aan te passen, wat verschillende toepassingen mogelijk maakt, zoals: willekeurige stememotiecontrole via LoRA; tekst naar stem (T2V) door timbrekenmerken direct uit een tekstbeschrijving te synthetiseren; en professionele voice cloning (PVC) door timbrekenmerken te finetunen met aanvullende data. We moedigen lezers aan om https://minimax-ai.github.io/tts_tech_report te bezoeken voor meer voorbeelden.

English

We introduce MiniMax-Speech, an autoregressive Transformer-based Text-to-Speech (TTS) model that generates high-quality speech. A key innovation is our learnable speaker encoder, which extracts timbre features from a reference audio without requiring its transcription. This enables MiniMax-Speech to produce highly expressive speech with timbre consistent with the reference in a zero-shot manner, while also supporting one-shot voice cloning with exceptionally high similarity to the reference voice. In addition, the overall quality of the synthesized audio is enhanced through the proposed Flow-VAE. Our model supports 32 languages and demonstrates excellent performance across multiple objective and subjective evaluations metrics. Notably, it achieves state-of-the-art (SOTA) results on objective voice cloning metrics (Word Error Rate and Speaker Similarity) and has secured the top position on the public TTS Arena leaderboard. Another key strength of MiniMax-Speech, granted by the robust and disentangled representations from the speaker encoder, is its extensibility without modifying the base model, enabling various applications such as: arbitrary voice emotion control via LoRA; text to voice (T2V) by synthesizing timbre features directly from text description; and professional voice cloning (PVC) by fine-tuning timbre features with additional data. We encourage readers to visit https://minimax-ai.github.io/tts_tech_report for more examples.