UniAudio : Un modèle de base audio pour la génération audio universelle
UniAudio: An Audio Foundation Model Toward Universal Audio Generation
October 1, 2023
papers.authors: Dongchao Yang, Jinchuan Tian, Xu Tan, Rongjie Huang, Songxiang Liu, Xuankai Chang, Jiatong Shi, Sheng Zhao, Jiang Bian, Xixin Wu, Zhou Zhao, Helen Meng
cs.AI
papers.abstract
Les modèles de langage (LMs) ont démontré leur capacité à gérer une variété de tâches génératives. Cet article présente le système UniAudio qui, contrairement aux approches spécifiques à une tâche précédentes, exploite les techniques des LMs pour générer plusieurs types d'audio (y compris la parole, les sons, la musique et le chant) à partir de conditions d'entrée données. UniAudio 1) commence par tokeniser tous les types d'audio cibles ainsi que les autres modalités de condition, 2) concatène la paire source-cible en une seule séquence, et 3) effectue une prédiction de token suivant en utilisant les LMs. De plus, un modèle Transformer multi-échelle est proposé pour gérer les séquences excessivement longues causées par le codec neuronal basé sur la quantification vectorielle résiduelle lors de la tokenisation. L'entraînement d'UniAudio est mis à l'échelle avec 165 000 heures d'audio et 1 milliard de paramètres, couvrant toutes les tâches génératives, dans le but d'acquérir des connaissances préalables suffisantes non seulement sur les propriétés intrinsèques de l'audio, mais aussi sur les interrelations entre l'audio et les autres modalités. Par conséquent, le modèle UniAudio entraîné a le potentiel de devenir un modèle de base pour la génération universelle d'audio : il montre une forte capacité dans toutes les tâches entraînées et peut prendre en charge de manière fluide de nouvelles tâches de génération d'audio après un simple ajustement fin. Les expériences démontrent qu'UniAudio obtient des résultats à la pointe de l'état de l'art ou au moins compétitifs sur la plupart des 11 tâches. Une démo et le code sont disponibles à l'adresse https://github.com/yangdongchao/UniAudio.
English
Language models (LMs) have demonstrated the capability to handle a variety of
generative tasks. This paper presents the UniAudio system, which, unlike prior
task-specific approaches, leverages LMs techniques to generate multiple types
of audio (including speech, sounds, music, and singing) with given input
conditions. UniAudio 1) first tokenizes all types of target audio along with
other condition modalities, 2) concatenates source-target pair as a single
sequence, and 3) performs next-token prediction using LMs. Also, a multi-scale
Transformer model is proposed to handle the overly long sequences caused by the
residual vector quantization based neural codec in tokenization. Training of
UniAudio is scaled up to 165K hours of audio and 1B parameters, based on all
generative tasks, aiming to obtain sufficient prior knowledge not only in the
intrinsic properties of audio but also the inter-relationship between audio and
other modalities. Therefore, the trained UniAudio model has the potential to
become a foundation model for universal audio generation: it shows strong
capability in all trained tasks and can seamlessly support new audio generation
tasks after simple fine-tuning. Experiments demonstrate that UniAudio achieves
state-of-the-art or at least competitive results on most of the 11 tasks. Demo
and code are released at https://github.com/yangdongchao/UniAudio