MiniMax-Speech: Внутренний Zero-Shot Синтез Речи с Обучаемым Кодировщиком Диктора

MiniMax-Speech: Intrinsic Zero-Shot Text-to-Speech with a Learnable Speaker Encoder

May 12, 2025

Авторы: Bowen Zhang, Congchao Guo, Geng Yang, Hang Yu, Haozhe Zhang, Heidi Lei, Jialong Mai, Junjie Yan, Kaiyue Yang, Mingqi Yang, Peikai Huang, Ruiyang Jin, Sitan Jiang, Weihua Cheng, Yawei Li, Yichen Xiao, Yiying Zhou, Yongmao Zhang, Yuan Lu, Yucen He

cs.AI

Аннотация

Представляем MiniMax-Speech — авторегрессивную модель преобразования текста в речь (Text-to-Speech, TTS) на основе архитектуры Transformer, которая генерирует высококачественную речь. Ключевым нововведением является наш обучаемый кодировщик говорящего, который извлекает тембральные характеристики из эталонного аудио без необходимости его транскрипции. Это позволяет MiniMax-Speech создавать выразительную речь с тембром, согласованным с эталоном, в режиме zero-shot, а также поддерживает клонирование голоса в режиме one-shot с исключительно высокой степенью сходства с эталонным голосом. Кроме того, общее качество синтезированного аудио улучшено благодаря предложенному Flow-VAE. Наша модель поддерживает 32 языка и демонстрирует превосходные результаты по множеству объективных и субъективных метрик оценки. В частности, она достигает наилучших результатов (state-of-the-art, SOTA) по объективным метрикам клонирования голоса (Word Error Rate и Speaker Similarity) и занимает лидирующую позицию в публичном рейтинге TTS Arena. Еще одним ключевым преимуществом MiniMax-Speech, обеспечиваемым устойчивыми и разделяемыми представлениями из кодировщика говорящего, является её расширяемость без изменения базовой модели, что позволяет реализовать различные приложения, такие как: произвольное управление эмоциями голоса через LoRA; преобразование текста в голос (Text to Voice, T2V) путем синтеза тембральных характеристик непосредственно из текстового описания; и профессиональное клонирование голоса (Professional Voice Cloning, PVC) путем тонкой настройки тембральных характеристик с использованием дополнительных данных. Мы рекомендуем читателям посетить https://minimax-ai.github.io/tts_tech_report для ознакомления с дополнительными примерами.

English

We introduce MiniMax-Speech, an autoregressive Transformer-based Text-to-Speech (TTS) model that generates high-quality speech. A key innovation is our learnable speaker encoder, which extracts timbre features from a reference audio without requiring its transcription. This enables MiniMax-Speech to produce highly expressive speech with timbre consistent with the reference in a zero-shot manner, while also supporting one-shot voice cloning with exceptionally high similarity to the reference voice. In addition, the overall quality of the synthesized audio is enhanced through the proposed Flow-VAE. Our model supports 32 languages and demonstrates excellent performance across multiple objective and subjective evaluations metrics. Notably, it achieves state-of-the-art (SOTA) results on objective voice cloning metrics (Word Error Rate and Speaker Similarity) and has secured the top position on the public TTS Arena leaderboard. Another key strength of MiniMax-Speech, granted by the robust and disentangled representations from the speaker encoder, is its extensibility without modifying the base model, enabling various applications such as: arbitrary voice emotion control via LoRA; text to voice (T2V) by synthesizing timbre features directly from text description; and professional voice cloning (PVC) by fine-tuning timbre features with additional data. We encourage readers to visit https://minimax-ai.github.io/tts_tech_report for more examples.