UniAudio: Een Audio Fundamentmodel voor Universele Audiogeneratie
UniAudio: An Audio Foundation Model Toward Universal Audio Generation
October 1, 2023
Auteurs: Dongchao Yang, Jinchuan Tian, Xu Tan, Rongjie Huang, Songxiang Liu, Xuankai Chang, Jiatong Shi, Sheng Zhao, Jiang Bian, Xixin Wu, Zhou Zhao, Helen Meng
cs.AI
Samenvatting
Taalmodelen (LMs) hebben aangetoond in staat te zijn om een verscheidenheid aan generatieve taken uit te voeren. Dit artikel presenteert het UniAudio-systeem, dat, in tegenstelling tot eerdere taakspecifieke benaderingen, LM-technieken benut om meerdere soorten audio (inclusief spraak, geluiden, muziek en zang) te genereren op basis van gegeven invoercondities. UniAudio 1) tokeniseert eerst alle soorten doel-audio samen met andere conditiemodaliteiten, 2) voegt bron-doelparen samen als een enkele reeks, en 3) voert voorspelling van het volgende token uit met behulp van LMs. Daarnaast wordt een multi-scale Transformer-model voorgesteld om de overmatig lange reeksen te verwerken die worden veroorzaakt door de op residuvectorkwantisatie gebaseerde neurale codec tijdens de tokenisatie. De training van UniAudio wordt opgeschaald naar 165K uur aan audio en 1B parameters, gebaseerd op alle generatieve taken, met als doel voldoende voorkennis te verkrijgen, niet alleen over de intrinsieke eigenschappen van audio, maar ook over de onderlinge relatie tussen audio en andere modaliteiten. Daarom heeft het getrainde UniAudio-model het potentieel om een fundamenteel model te worden voor universele audiogeneratie: het toont sterke capaciteiten in alle getrainde taken en kan na eenvoudige fine-tuning naadloos nieuwe audiogeneratietaken ondersteunen. Experimenten tonen aan dat UniAudio state-of-the-art of ten minste competitieve resultaten behaalt op de meeste van de 11 taken. Demo en code zijn vrijgegeven op https://github.com/yangdongchao/UniAudio.
English
Language models (LMs) have demonstrated the capability to handle a variety of
generative tasks. This paper presents the UniAudio system, which, unlike prior
task-specific approaches, leverages LMs techniques to generate multiple types
of audio (including speech, sounds, music, and singing) with given input
conditions. UniAudio 1) first tokenizes all types of target audio along with
other condition modalities, 2) concatenates source-target pair as a single
sequence, and 3) performs next-token prediction using LMs. Also, a multi-scale
Transformer model is proposed to handle the overly long sequences caused by the
residual vector quantization based neural codec in tokenization. Training of
UniAudio is scaled up to 165K hours of audio and 1B parameters, based on all
generative tasks, aiming to obtain sufficient prior knowledge not only in the
intrinsic properties of audio but also the inter-relationship between audio and
other modalities. Therefore, the trained UniAudio model has the potential to
become a foundation model for universal audio generation: it shows strong
capability in all trained tasks and can seamlessly support new audio generation
tasks after simple fine-tuning. Experiments demonstrate that UniAudio achieves
state-of-the-art or at least competitive results on most of the 11 tasks. Demo
and code are released at https://github.com/yangdongchao/UniAudio