MiniMax-Speech: Síntesis de Voz de Texto a Voz Cero-Shot Intrínseca con un Codificador de Hablante Aprendible

MiniMax-Speech: Intrinsic Zero-Shot Text-to-Speech with a Learnable Speaker Encoder

May 12, 2025

Autores: Bowen Zhang, Congchao Guo, Geng Yang, Hang Yu, Haozhe Zhang, Heidi Lei, Jialong Mai, Junjie Yan, Kaiyue Yang, Mingqi Yang, Peikai Huang, Ruiyang Jin, Sitan Jiang, Weihua Cheng, Yawei Li, Yichen Xiao, Yiying Zhou, Yongmao Zhang, Yuan Lu, Yucen He

cs.AI

Resumen

Presentamos MiniMax-Speech, un modelo de Texto a Voz (TTS) basado en Transformers autoregresivos que genera voz de alta calidad. Una innovación clave es nuestro codificador de hablante entrenable, que extrae características de timbre de un audio de referencia sin requerir su transcripción. Esto permite que MiniMax-Speech produzca voz altamente expresiva con un timbre consistente con la referencia de manera zero-shot, además de soportar clonación de voz one-shot con una similitud excepcionalmente alta con la voz de referencia. Además, la calidad general del audio sintetizado se mejora mediante el Flow-VAE propuesto. Nuestro modelo soporta 32 idiomas y demuestra un excelente rendimiento en múltiples métricas de evaluación objetivas y subjetivas. En particular, logra resultados state-of-the-art (SOTA) en métricas objetivas de clonación de voz (Tasa de Error de Palabras y Similitud de Hablante) y ha obtenido el primer puesto en el ranking público de TTS Arena. Otra fortaleza clave de MiniMax-Speech, otorgada por las representaciones robustas y desenredadas del codificador de hablante, es su extensibilidad sin modificar el modelo base, permitiendo diversas aplicaciones como: control arbitrario de emociones vocales mediante LoRA; texto a voz (T2V) sintetizando características de timbre directamente a partir de descripciones textuales; y clonación de voz profesional (PVC) ajustando finamente las características de timbre con datos adicionales. Invitamos a los lectores a visitar https://minimax-ai.github.io/tts_tech_report para más ejemplos.

English

We introduce MiniMax-Speech, an autoregressive Transformer-based Text-to-Speech (TTS) model that generates high-quality speech. A key innovation is our learnable speaker encoder, which extracts timbre features from a reference audio without requiring its transcription. This enables MiniMax-Speech to produce highly expressive speech with timbre consistent with the reference in a zero-shot manner, while also supporting one-shot voice cloning with exceptionally high similarity to the reference voice. In addition, the overall quality of the synthesized audio is enhanced through the proposed Flow-VAE. Our model supports 32 languages and demonstrates excellent performance across multiple objective and subjective evaluations metrics. Notably, it achieves state-of-the-art (SOTA) results on objective voice cloning metrics (Word Error Rate and Speaker Similarity) and has secured the top position on the public TTS Arena leaderboard. Another key strength of MiniMax-Speech, granted by the robust and disentangled representations from the speaker encoder, is its extensibility without modifying the base model, enabling various applications such as: arbitrary voice emotion control via LoRA; text to voice (T2V) by synthesizing timbre features directly from text description; and professional voice cloning (PVC) by fine-tuning timbre features with additional data. We encourage readers to visit https://minimax-ai.github.io/tts_tech_report for more examples.