高品質なゼロショット音声生成モデルのコホート：Takin

Takin: A Cohort of Superior Quality Zero-shot Speech Generation Models

September 18, 2024

著者: EverestAI, Sijin Chen, Yuan Feng, Laipeng He, Tianwei He, Wendi He, Yanni Hu, Bin Lin, Yiting Lin, Pengfei Tan, Chengwei Tian, Chen Wang, Zhicheng Wang, Ruoye Xie, Jingjing Yin, Jianhao Ye, Jixun Yao, Quanlei Yan, Yuguang Yang

cs.AI

要旨

ビッグデータと大規模言語モデルの時代の到来により、ゼロショット個人用迅速カスタマイズが重要なトレンドとして浮上しています。本報告書では、オーディオブック制作に特化した技術とモデルであるTakin AudioLLMを紹介します。主にTakin TTS、Takin VC、およびTakin Morphingを含むこれらのモデルは、ゼロショット音声生成が可能であり、実際の人間の音声とほとんど区別がつかない高品質の音声を生成し、個々のニーズに合わせて音声コンテンツをカスタマイズすることを容易にします。具体的には、まずTakin TTSを紹介し、強化されたニューラル音声コーデックとマルチタスクトレーニングフレームワークに基づくニューラルコーデック言語モデルであり、ゼロショットで高忠実度の自然な音声を生成する能力を持っています。Takin VCでは、スピーカーの類似性を向上させるために効果的なコンテンツと音色の共同モデリングアプローチを提唱し、自然さと表現力をさらに高めるために条件付きフローマッチングベースのデコーダーを推奨しています。最後に、高度に分離された音色と抑揚のモデリングアプローチを採用したTakin Morphingシステムを提案し、個人が好みの音色と抑揚で音声生成を精密かつコントロール可能な方法でカスタマイズできるようにしています。幅広い実験により、Takin AudioLLMシリーズモデルの有効性と堅牢性が検証されています。詳細なデモについては、https://takinaudiollm.github.io を参照してください。

English

With the advent of the big data and large language model era, zero-shot personalized rapid customization has emerged as a significant trend. In this report, we introduce Takin AudioLLM, a series of techniques and models, mainly including Takin TTS, Takin VC, and Takin Morphing, specifically designed for audiobook production. These models are capable of zero-shot speech production, generating high-quality speech that is nearly indistinguishable from real human speech and facilitating individuals to customize the speech content according to their own needs. Specifically, we first introduce Takin TTS, a neural codec language model that builds upon an enhanced neural speech codec and a multi-task training framework, capable of generating high-fidelity natural speech in a zero-shot way. For Takin VC, we advocate an effective content and timbre joint modeling approach to improve the speaker similarity, while advocating for a conditional flow matching based decoder to further enhance its naturalness and expressiveness. Last, we propose the Takin Morphing system with highly decoupled and advanced timbre and prosody modeling approaches, which enables individuals to customize speech production with their preferred timbre and prosody in a precise and controllable manner. Extensive experiments validate the effectiveness and robustness of our Takin AudioLLM series models. For detailed demos, please refer to https://takinaudiollm.github.io.