Takin: Una Cohorte de Modelos de Generación de Habla de Calidad Superior sin Necesidad de Entrenamiento

Takin: A Cohort of Superior Quality Zero-shot Speech Generation Models

September 18, 2024

Autores: EverestAI, Sijin Chen, Yuan Feng, Laipeng He, Tianwei He, Wendi He, Yanni Hu, Bin Lin, Yiting Lin, Pengfei Tan, Chengwei Tian, Chen Wang, Zhicheng Wang, Ruoye Xie, Jingjing Yin, Jianhao Ye, Jixun Yao, Quanlei Yan, Yuguang Yang

cs.AI

Resumen

Con la llegada de la era del big data y los grandes modelos de lenguaje, la personalización rápida y personalizada sin necesidad de entrenamiento ha surgido como una tendencia significativa. En este informe, presentamos Takin AudioLLM, una serie de técnicas y modelos, que incluyen principalmente Takin TTS, Takin VC y Takin Morphing, diseñados específicamente para la producción de audiolibros. Estos modelos son capaces de producir habla sin necesidad de entrenamiento, generando habla de alta calidad que es casi indistinguible del habla humana real y facilitando a las personas personalizar el contenido del habla según sus propias necesidades. Específicamente, primero presentamos Takin TTS, un modelo de lenguaje de códec neuronal que se basa en un códec de habla neuronal mejorado y un marco de entrenamiento multi-tarea, capaz de generar habla natural de alta fidelidad de manera sin necesidad de entrenamiento. Para Takin VC, abogamos por un enfoque efectivo de modelado conjunto de contenido y timbre para mejorar la similitud del hablante, mientras abogamos por un decodificador basado en emparejamiento de flujo condicional para mejorar aún más su naturalidad y expresividad. Por último, proponemos el sistema Takin Morphing con enfoques de modelado de timbre y prosodia altamente desacoplados y avanzados, que permiten a las personas personalizar la producción de habla con su timbre y prosodia preferidos de manera precisa y controlable. Experimentos extensos validan la efectividad y robustez de nuestros modelos de la serie Takin AudioLLM. Para demostraciones detalladas, consulte https://takinaudiollm.github.io.

English

With the advent of the big data and large language model era, zero-shot personalized rapid customization has emerged as a significant trend. In this report, we introduce Takin AudioLLM, a series of techniques and models, mainly including Takin TTS, Takin VC, and Takin Morphing, specifically designed for audiobook production. These models are capable of zero-shot speech production, generating high-quality speech that is nearly indistinguishable from real human speech and facilitating individuals to customize the speech content according to their own needs. Specifically, we first introduce Takin TTS, a neural codec language model that builds upon an enhanced neural speech codec and a multi-task training framework, capable of generating high-fidelity natural speech in a zero-shot way. For Takin VC, we advocate an effective content and timbre joint modeling approach to improve the speaker similarity, while advocating for a conditional flow matching based decoder to further enhance its naturalness and expressiveness. Last, we propose the Takin Morphing system with highly decoupled and advanced timbre and prosody modeling approaches, which enables individuals to customize speech production with their preferred timbre and prosody in a precise and controllable manner. Extensive experiments validate the effectiveness and robustness of our Takin AudioLLM series models. For detailed demos, please refer to https://takinaudiollm.github.io.