MiniMax-Speech: Síntese de Fala Texto-a-Voz Intrinsecamente Zero-Shot com um Codificador de Locutor Aprendizável

MiniMax-Speech: Intrinsic Zero-Shot Text-to-Speech with a Learnable Speaker Encoder

May 12, 2025

Autores: Bowen Zhang, Congchao Guo, Geng Yang, Hang Yu, Haozhe Zhang, Heidi Lei, Jialong Mai, Junjie Yan, Kaiyue Yang, Mingqi Yang, Peikai Huang, Ruiyang Jin, Sitan Jiang, Weihua Cheng, Yawei Li, Yichen Xiao, Yiying Zhou, Yongmao Zhang, Yuan Lu, Yucen He

cs.AI

Resumo

Apresentamos o MiniMax-Speech, um modelo de Texto para Fala (TTS) baseado em Transformers autoregressivos que gera fala de alta qualidade. Uma inovação fundamental é o nosso codificador de falante aprendível, que extrai características de timbre de um áudio de referência sem exigir sua transcrição. Isso permite que o MiniMax-Speech produza fala altamente expressiva com timbre consistente com a referência de maneira zero-shot, além de suportar clonagem de voz one-shot com similaridade excepcionalmente alta à voz de referência. Além disso, a qualidade geral do áudio sintetizado é aprimorada por meio do Flow-VAE proposto. Nosso modelo suporta 32 idiomas e demonstra excelente desempenho em múltiplas métricas de avaliação objetivas e subjetivas. Notavelmente, ele alcança resultados state-of-the-art (SOTA) em métricas objetivas de clonagem de voz (Taxa de Erro de Palavras e Similaridade de Falante) e garantiu a primeira posição no ranking público do TTS Arena. Outra vantagem chave do MiniMax-Speech, concedida pelas representações robustas e desacopladas do codificador de falante, é sua extensibilidade sem a necessidade de modificar o modelo base, permitindo diversas aplicações, como: controle arbitrário de emoção vocal via LoRA; texto para voz (T2V) por meio da síntese de características de timbre diretamente da descrição textual; e clonagem de voz profissional (PVC) por meio do ajuste fino das características de timbre com dados adicionais. Incentivamos os leitores a visitar https://minimax-ai.github.io/tts_tech_report para mais exemplos.

English

We introduce MiniMax-Speech, an autoregressive Transformer-based Text-to-Speech (TTS) model that generates high-quality speech. A key innovation is our learnable speaker encoder, which extracts timbre features from a reference audio without requiring its transcription. This enables MiniMax-Speech to produce highly expressive speech with timbre consistent with the reference in a zero-shot manner, while also supporting one-shot voice cloning with exceptionally high similarity to the reference voice. In addition, the overall quality of the synthesized audio is enhanced through the proposed Flow-VAE. Our model supports 32 languages and demonstrates excellent performance across multiple objective and subjective evaluations metrics. Notably, it achieves state-of-the-art (SOTA) results on objective voice cloning metrics (Word Error Rate and Speaker Similarity) and has secured the top position on the public TTS Arena leaderboard. Another key strength of MiniMax-Speech, granted by the robust and disentangled representations from the speaker encoder, is its extensibility without modifying the base model, enabling various applications such as: arbitrary voice emotion control via LoRA; text to voice (T2V) by synthesizing timbre features directly from text description; and professional voice cloning (PVC) by fine-tuning timbre features with additional data. We encourage readers to visit https://minimax-ai.github.io/tts_tech_report for more examples.