Takin : Une cohorte de modèles de génération de discours de qualité supérieure sans entraînement.

Takin: A Cohort of Superior Quality Zero-shot Speech Generation Models

September 18, 2024

Auteurs: EverestAI, Sijin Chen, Yuan Feng, Laipeng He, Tianwei He, Wendi He, Yanni Hu, Bin Lin, Yiting Lin, Pengfei Tan, Chengwei Tian, Chen Wang, Zhicheng Wang, Ruoye Xie, Jingjing Yin, Jianhao Ye, Jixun Yao, Quanlei Yan, Yuguang Yang

cs.AI

Résumé

Avec l'avènement de l'ère du big data et des grands modèles de langage, la personnalisation rapide et personnalisée sans entraînement préalable est devenue une tendance significative. Dans ce rapport, nous présentons Takin AudioLLM, une série de techniques et de modèles, comprenant principalement Takin TTS, Takin VC et Takin Morphing, spécifiquement conçus pour la production de livres audio. Ces modèles sont capables de produire de la parole sans entraînement préalable, générant une parole de haute qualité presque indiscernable de la parole humaine réelle et facilitant la personnalisation du contenu de la parole selon les besoins individuels. Plus précisément, nous introduisons d'abord Takin TTS, un modèle de langage de codec neuronal qui s'appuie sur un codec vocal neuronal amélioré et un cadre d'entraînement multi-tâches, capable de générer une parole naturelle de haute fidélité de manière sans entraînement préalable. Pour Takin VC, nous préconisons une approche efficace de modélisation conjointe du contenu et du timbre pour améliorer la similarité des locuteurs, tout en préconisant un décodeur basé sur l'appariement de flux conditionnel pour renforcer davantage sa naturalité et son expressivité. Enfin, nous proposons le système Takin Morphing avec des approches de modélisation avancées et hautement découplées du timbre et de la prosodie, qui permettent aux individus de personnaliser la production de parole avec leur timbre et leur prosodie préférés de manière précise et contrôlable. Des expériences approfondies valident l'efficacité et la robustesse de nos modèles de la série Takin AudioLLM. Pour des démonstrations détaillées, veuillez consulter https://takinaudiollm.github.io.

English

With the advent of the big data and large language model era, zero-shot personalized rapid customization has emerged as a significant trend. In this report, we introduce Takin AudioLLM, a series of techniques and models, mainly including Takin TTS, Takin VC, and Takin Morphing, specifically designed for audiobook production. These models are capable of zero-shot speech production, generating high-quality speech that is nearly indistinguishable from real human speech and facilitating individuals to customize the speech content according to their own needs. Specifically, we first introduce Takin TTS, a neural codec language model that builds upon an enhanced neural speech codec and a multi-task training framework, capable of generating high-fidelity natural speech in a zero-shot way. For Takin VC, we advocate an effective content and timbre joint modeling approach to improve the speaker similarity, while advocating for a conditional flow matching based decoder to further enhance its naturalness and expressiveness. Last, we propose the Takin Morphing system with highly decoupled and advanced timbre and prosody modeling approaches, which enables individuals to customize speech production with their preferred timbre and prosody in a precise and controllable manner. Extensive experiments validate the effectiveness and robustness of our Takin AudioLLM series models. For detailed demos, please refer to https://takinaudiollm.github.io.