UniAudio: Un Modello Fondamentale per l'Audio Verso la Generazione Universale di Contenuti Audio
UniAudio: An Audio Foundation Model Toward Universal Audio Generation
October 1, 2023
Autori: Dongchao Yang, Jinchuan Tian, Xu Tan, Rongjie Huang, Songxiang Liu, Xuankai Chang, Jiatong Shi, Sheng Zhao, Jiang Bian, Xixin Wu, Zhou Zhao, Helen Meng
cs.AI
Abstract
I modelli linguistici (LM) hanno dimostrato la capacità di gestire una varietà di compiti generativi. Questo articolo presenta il sistema UniAudio, che, a differenza degli approcci precedenti specifici per singoli compiti, sfrutta le tecniche dei LM per generare diversi tipi di audio (inclusi discorsi, suoni, musica e canto) con condizioni di input specificate. UniAudio 1) prima tokenizza tutti i tipi di audio target insieme ad altre modalità di condizione, 2) concatena la coppia sorgente-target come una singola sequenza, e 3) esegue la previsione del token successivo utilizzando i LM. Inoltre, viene proposto un modello Transformer multi-scala per gestire le sequenze eccessivamente lunghe causate dal codec neurale basato sulla quantizzazione vettoriale residua nella tokenizzazione. L'addestramento di UniAudio è stato scalato fino a 165K ore di audio e 1 miliardo di parametri, basandosi su tutti i compiti generativi, con l'obiettivo di ottenere una conoscenza preliminare sufficiente non solo nelle proprietà intrinseche dell'audio ma anche nelle interrelazioni tra l'audio e altre modalità. Pertanto, il modello UniAudio addestrato ha il potenziale per diventare un modello di base per la generazione universale di audio: mostra una forte capacità in tutti i compiti addestrati e può supportare senza soluzione di continuità nuovi compiti di generazione audio dopo un semplice fine-tuning. Gli esperimenti dimostrano che UniAudio raggiunge risultati all'avanguardia o almeno competitivi nella maggior parte degli 11 compiti. Demo e codice sono disponibili su https://github.com/yangdongchao/UniAudio.
English
Language models (LMs) have demonstrated the capability to handle a variety of
generative tasks. This paper presents the UniAudio system, which, unlike prior
task-specific approaches, leverages LMs techniques to generate multiple types
of audio (including speech, sounds, music, and singing) with given input
conditions. UniAudio 1) first tokenizes all types of target audio along with
other condition modalities, 2) concatenates source-target pair as a single
sequence, and 3) performs next-token prediction using LMs. Also, a multi-scale
Transformer model is proposed to handle the overly long sequences caused by the
residual vector quantization based neural codec in tokenization. Training of
UniAudio is scaled up to 165K hours of audio and 1B parameters, based on all
generative tasks, aiming to obtain sufficient prior knowledge not only in the
intrinsic properties of audio but also the inter-relationship between audio and
other modalities. Therefore, the trained UniAudio model has the potential to
become a foundation model for universal audio generation: it shows strong
capability in all trained tasks and can seamlessly support new audio generation
tasks after simple fine-tuning. Experiments demonstrate that UniAudio achieves
state-of-the-art or at least competitive results on most of the 11 tasks. Demo
and code are released at https://github.com/yangdongchao/UniAudio