UniAudio：ユニバーサルオーディオ生成に向けたオーディオ基盤モデル
UniAudio: An Audio Foundation Model Toward Universal Audio Generation
October 1, 2023
著者: Dongchao Yang, Jinchuan Tian, Xu Tan, Rongjie Huang, Songxiang Liu, Xuankai Chang, Jiatong Shi, Sheng Zhao, Jiang Bian, Xixin Wu, Zhou Zhao, Helen Meng
cs.AI
要旨
言語モデル（LM）は、様々な生成タスクを処理する能力を実証してきた。本論文では、従来のタスク特化型アプローチとは異なり、LM技術を活用して与えられた入力条件に基づいて複数種類のオーディオ（音声、音響、音楽、歌唱を含む）を生成するUniAudioシステムを提案する。UniAudioは、1) まず、ターゲットオーディオの全ての種類を他の条件モダリティと共にトークン化し、2) ソースとターゲットのペアを単一のシーケンスとして連結し、3) LMを使用して次のトークンを予測する。また、トークン化における残差ベクトル量子化ベースのニューラルコーデックによって引き起こされる過度に長いシーケンスを処理するために、マルチスケールTransformerモデルを提案する。UniAudioのトレーニングは、全ての生成タスクに基づいて165K時間のオーディオと1Bパラメータにスケールアップされ、オーディオの内在的特性だけでなく、オーディオと他のモダリティ間の相互関係についても十分な事前知識を得ることを目指している。そのため、トレーニングされたUniAudioモデルは、ユニバーサルオーディオ生成の基盤モデルとなる可能性を秘めている：全てのトレーニングされたタスクにおいて強力な能力を示し、簡単なファインチューニング後に新しいオーディオ生成タスクをシームレスにサポートできる。実験結果は、UniAudioが11のタスクのほとんどにおいて最先端または少なくとも競争力のある結果を達成することを示している。デモとコードはhttps://github.com/yangdongchao/UniAudioで公開されている。
English
Language models (LMs) have demonstrated the capability to handle a variety of
generative tasks. This paper presents the UniAudio system, which, unlike prior
task-specific approaches, leverages LMs techniques to generate multiple types
of audio (including speech, sounds, music, and singing) with given input
conditions. UniAudio 1) first tokenizes all types of target audio along with
other condition modalities, 2) concatenates source-target pair as a single
sequence, and 3) performs next-token prediction using LMs. Also, a multi-scale
Transformer model is proposed to handle the overly long sequences caused by the
residual vector quantization based neural codec in tokenization. Training of
UniAudio is scaled up to 165K hours of audio and 1B parameters, based on all
generative tasks, aiming to obtain sufficient prior knowledge not only in the
intrinsic properties of audio but also the inter-relationship between audio and
other modalities. Therefore, the trained UniAudio model has the potential to
become a foundation model for universal audio generation: it shows strong
capability in all trained tasks and can seamlessly support new audio generation
tasks after simple fine-tuning. Experiments demonstrate that UniAudio achieves
state-of-the-art or at least competitive results on most of the 11 tasks. Demo
and code are released at https://github.com/yangdongchao/UniAudio