Takin: Een Cohort van Zero-shot Spraakgeneratiemodellen van Superieure Kwaliteit

Takin: A Cohort of Superior Quality Zero-shot Speech Generation Models

September 18, 2024

Auteurs: EverestAI, Sijin Chen, Yuan Feng, Laipeng He, Tianwei He, Wendi He, Yanni Hu, Bin Lin, Yiting Lin, Pengfei Tan, Chengwei Tian, Chen Wang, Zhicheng Wang, Ruoye Xie, Jingjing Yin, Jianhao Ye, Jixun Yao, Quanlei Yan, Yuguang Yang

cs.AI

Samenvatting

Met de opkomst van het tijdperk van big data en grote taalmodellen is zero-shot gepersonaliseerde snelle aanpassing naar voren gekomen als een belangrijke trend. In dit rapport introduceren we Takin AudioLLM, een reeks technieken en modellen, voornamelijk bestaande uit Takin TTS, Takin VC en Takin Morphing, specifiek ontworpen voor de productie van luisterboeken. Deze modellen zijn in staat tot zero-shot spraakproductie, waarbij hoogwaardige spraak wordt gegenereerd die bijna niet te onderscheiden is van echt menselijke spraak en individuen in staat stelt om de spraakinvoer aan te passen aan hun eigen behoeften. In het bijzonder introduceren we eerst Takin TTS, een neurale codec-taalmodel dat voortbouwt op een verbeterde neurale spraakcodec en een multi-task trainingskader, dat in staat is om op een zero-shot manier hoogwaardige natuurlijke spraak te genereren. Voor Takin VC pleiten we voor een effectieve benadering van gezamenlijke modellering van inhoud en timbre om de sprekersgelijkenis te verbeteren, terwijl we pleiten voor een decoder op basis van conditionele stroommatching om de natuurlijkheid en expressiviteit verder te verbeteren. Tot slot stellen we het Takin Morphing-systeem voor met sterk ontkoppelde en geavanceerde benaderingen voor timbre en prosodie modellering, waarmee individuen spraakproductie kunnen aanpassen met hun voorkeurstimbre en prosodie op een nauwkeurige en controleerbare manier. Uitgebreide experimenten bevestigen de effectiviteit en robuustheid van onze Takin AudioLLM-seriemodellen. Voor gedetailleerde demonstraties kunt u terecht op https://takinaudiollm.github.io.

English

With the advent of the big data and large language model era, zero-shot personalized rapid customization has emerged as a significant trend. In this report, we introduce Takin AudioLLM, a series of techniques and models, mainly including Takin TTS, Takin VC, and Takin Morphing, specifically designed for audiobook production. These models are capable of zero-shot speech production, generating high-quality speech that is nearly indistinguishable from real human speech and facilitating individuals to customize the speech content according to their own needs. Specifically, we first introduce Takin TTS, a neural codec language model that builds upon an enhanced neural speech codec and a multi-task training framework, capable of generating high-fidelity natural speech in a zero-shot way. For Takin VC, we advocate an effective content and timbre joint modeling approach to improve the speaker similarity, while advocating for a conditional flow matching based decoder to further enhance its naturalness and expressiveness. Last, we propose the Takin Morphing system with highly decoupled and advanced timbre and prosody modeling approaches, which enables individuals to customize speech production with their preferred timbre and prosody in a precise and controllable manner. Extensive experiments validate the effectiveness and robustness of our Takin AudioLLM series models. For detailed demos, please refer to https://takinaudiollm.github.io.