Takin: Когорта моделей генерации речи нулевого шота высокого качества

Takin: A Cohort of Superior Quality Zero-shot Speech Generation Models

September 18, 2024

Авторы: EverestAI, Sijin Chen, Yuan Feng, Laipeng He, Tianwei He, Wendi He, Yanni Hu, Bin Lin, Yiting Lin, Pengfei Tan, Chengwei Tian, Chen Wang, Zhicheng Wang, Ruoye Xie, Jingjing Yin, Jianhao Ye, Jixun Yao, Quanlei Yan, Yuguang Yang

cs.AI

Аннотация

С появлением эры больших данных и больших языковых моделей, персонализированная мгновенная настройка "нулевого шота" стала значительным трендом. В данном отчете мы представляем Takin AudioLLM, серию техник и моделей, включающую в себя Takin TTS, Takin VC и Takin Morphing, специально разработанных для производства аудиокниг. Эти модели способны к производству речи "нулевого шота", генерируя высококачественную речь, практически неотличимую от реальной человеческой речи, и облегчая возможность настраивать содержание речи в соответствии с собственными потребностями. В частности, мы сначала представляем Takin TTS, нейронную модель языкового кодека, основанную на улучшенном нейронном речевом кодеке и многофункциональной обучающей структуре, способную генерировать высококачественную естественную речь способом "нулевого шота". Для Takin VC мы выступаем за эффективный подход совместного моделирования контента и тембра для улучшения сходства диктора, а также за использование декодера на основе сопоставления условного потока для дальнейшего улучшения естественности и выразительности. Наконец, мы предлагаем систему Takin Morphing с высоко разделенными и продвинутыми подходами к моделированию тембра и просодии, что позволяет индивидам настраивать производство речи с предпочитаемым тембром и просодией точным и управляемым способом. Обширные эксперименты подтверждают эффективность и надежность наших моделей серии Takin AudioLLM. Для подробных демонстраций обращайтесь по ссылке https://takinaudiollm.github.io.

English

With the advent of the big data and large language model era, zero-shot personalized rapid customization has emerged as a significant trend. In this report, we introduce Takin AudioLLM, a series of techniques and models, mainly including Takin TTS, Takin VC, and Takin Morphing, specifically designed for audiobook production. These models are capable of zero-shot speech production, generating high-quality speech that is nearly indistinguishable from real human speech and facilitating individuals to customize the speech content according to their own needs. Specifically, we first introduce Takin TTS, a neural codec language model that builds upon an enhanced neural speech codec and a multi-task training framework, capable of generating high-fidelity natural speech in a zero-shot way. For Takin VC, we advocate an effective content and timbre joint modeling approach to improve the speaker similarity, while advocating for a conditional flow matching based decoder to further enhance its naturalness and expressiveness. Last, we propose the Takin Morphing system with highly decoupled and advanced timbre and prosody modeling approaches, which enables individuals to customize speech production with their preferred timbre and prosody in a precise and controllable manner. Extensive experiments validate the effectiveness and robustness of our Takin AudioLLM series models. For detailed demos, please refer to https://takinaudiollm.github.io.