Takin: Una coorte di modelli di generazione del discorso di alta qualità zero-shot

Takin: A Cohort of Superior Quality Zero-shot Speech Generation Models

September 18, 2024

Autori: EverestAI, Sijin Chen, Yuan Feng, Laipeng He, Tianwei He, Wendi He, Yanni Hu, Bin Lin, Yiting Lin, Pengfei Tan, Chengwei Tian, Chen Wang, Zhicheng Wang, Ruoye Xie, Jingjing Yin, Jianhao Ye, Jixun Yao, Quanlei Yan, Yuguang Yang

cs.AI

Abstract

Con l'avvento dell'era dei big data e dei grandi modelli linguistici, la personalizzazione rapida personalizzata zero-shot è emersa come una tendenza significativa. In questo rapporto, presentiamo Takin AudioLLM, una serie di tecniche e modelli, che includono principalmente Takin TTS, Takin VC e Takin Morphing, progettati specificamente per la produzione di audiolibri. Questi modelli sono capaci di produrre discorsi zero-shot, generando discorsi di alta qualità che sono quasi indistinguibili dal parlato umano reale e facilitando gli individui a personalizzare il contenuto del discorso secondo le proprie esigenze. In particolare, introduciamo prima Takin TTS, un modello linguistico di codifica neurale che si basa su un codificatore vocale neurale potenziato e su un framework di addestramento multi-task, capace di generare un parlato naturale ad alta fedeltà in modo zero-shot. Per Takin VC, sosteniamo un approccio efficace di modellizzazione congiunta di contenuto e timbro per migliorare la similarità dello speaker, mentre sosteniamo un decoder basato su corrispondenza di flusso condizionale per migliorarne ulteriormente la naturalezza e l'espressività. Infine, proponiamo il sistema Takin Morphing con approcci altamente disaccoppiati e avanzati di modellizzazione di timbro e prosodia, che consente agli individui di personalizzare la produzione del discorso con il timbro e la prosodia preferiti in modo preciso e controllabile. Esperimenti estesi convalidano l'efficacia e la robustezza dei nostri modelli della serie Takin AudioLLM. Per dimostrazioni dettagliate, si prega di fare riferimento a https://takinaudiollm.github.io.

English

With the advent of the big data and large language model era, zero-shot personalized rapid customization has emerged as a significant trend. In this report, we introduce Takin AudioLLM, a series of techniques and models, mainly including Takin TTS, Takin VC, and Takin Morphing, specifically designed for audiobook production. These models are capable of zero-shot speech production, generating high-quality speech that is nearly indistinguishable from real human speech and facilitating individuals to customize the speech content according to their own needs. Specifically, we first introduce Takin TTS, a neural codec language model that builds upon an enhanced neural speech codec and a multi-task training framework, capable of generating high-fidelity natural speech in a zero-shot way. For Takin VC, we advocate an effective content and timbre joint modeling approach to improve the speaker similarity, while advocating for a conditional flow matching based decoder to further enhance its naturalness and expressiveness. Last, we propose the Takin Morphing system with highly decoupled and advanced timbre and prosody modeling approaches, which enables individuals to customize speech production with their preferred timbre and prosody in a precise and controllable manner. Extensive experiments validate the effectiveness and robustness of our Takin AudioLLM series models. For detailed demos, please refer to https://takinaudiollm.github.io.