Takin: Eine Kohorte von qualitativ hochwertigen Zero-Shot-Spracherzeugungsmodellen

Takin: A Cohort of Superior Quality Zero-shot Speech Generation Models

September 18, 2024

Autoren: EverestAI, Sijin Chen, Yuan Feng, Laipeng He, Tianwei He, Wendi He, Yanni Hu, Bin Lin, Yiting Lin, Pengfei Tan, Chengwei Tian, Chen Wang, Zhicheng Wang, Ruoye Xie, Jingjing Yin, Jianhao Ye, Jixun Yao, Quanlei Yan, Yuguang Yang

cs.AI

Zusammenfassung

Mit dem Aufkommen der Ära von Big Data und großen Sprachmodellen hat sich die personalisierte schnelle Anpassung ohne vorheriges Training als bedeutender Trend herauskristallisiert. In diesem Bericht stellen wir Takin AudioLLM vor, eine Reihe von Techniken und Modellen, die hauptsächlich Takin TTS, Takin VC und Takin Morphing umfassen und speziell für die Hörbuchproduktion entwickelt wurden. Diese Modelle sind in der Lage, sprachbasierte Inhalte ohne vorheriges Training zu generieren, hochwertige Sprache zu erzeugen, die kaum von echter menschlicher Sprache zu unterscheiden ist, und Einzelpersonen zu ermöglichen, den Sprachinhalt entsprechend ihren eigenen Bedürfnissen anzupassen. Zunächst stellen wir Takin TTS vor, ein neuronales Codec-Sprachmodell, das auf einem verbesserten neuronalen Sprachcodec und einem Multi-Task-Trainingsrahmen aufbaut und in der Lage ist, hochwertige natürliche Sprache auf nullschrittige Weise zu generieren. Bei Takin VC befürworten wir einen effektiven Ansatz zur gemeinsamen Modellierung von Inhalt und Klangfarbe, um die Ähnlichkeit der Sprecher zu verbessern, und befürworten einen auf einem bedingten Flussabgleich basierenden Decoder, um seine Natürlichkeit und Ausdruckskraft weiter zu verbessern. Schließlich schlagen wir das Takin Morphing-System vor, das hochgradig entkoppelte und fortschrittliche Ansätze zur Modellierung von Klangfarbe und Prosodie verwendet, um Einzelpersonen zu ermöglichen, die Sprachproduktion mit ihrer bevorzugten Klangfarbe und Prosodie auf präzise und kontrollierbare Weise anzupassen. Umfangreiche Experimente bestätigen die Wirksamkeit und Robustheit unserer Takin AudioLLM-Modellreihe. Für detaillierte Demonstrationen besuchen Sie bitte https://takinaudiollm.github.io.

English

With the advent of the big data and large language model era, zero-shot personalized rapid customization has emerged as a significant trend. In this report, we introduce Takin AudioLLM, a series of techniques and models, mainly including Takin TTS, Takin VC, and Takin Morphing, specifically designed for audiobook production. These models are capable of zero-shot speech production, generating high-quality speech that is nearly indistinguishable from real human speech and facilitating individuals to customize the speech content according to their own needs. Specifically, we first introduce Takin TTS, a neural codec language model that builds upon an enhanced neural speech codec and a multi-task training framework, capable of generating high-fidelity natural speech in a zero-shot way. For Takin VC, we advocate an effective content and timbre joint modeling approach to improve the speaker similarity, while advocating for a conditional flow matching based decoder to further enhance its naturalness and expressiveness. Last, we propose the Takin Morphing system with highly decoupled and advanced timbre and prosody modeling approaches, which enables individuals to customize speech production with their preferred timbre and prosody in a precise and controllable manner. Extensive experiments validate the effectiveness and robustness of our Takin AudioLLM series models. For detailed demos, please refer to https://takinaudiollm.github.io.