UniAudio: Um Modelo de Base de Áudio para Geração Universal de Áudio
UniAudio: An Audio Foundation Model Toward Universal Audio Generation
October 1, 2023
Autores: Dongchao Yang, Jinchuan Tian, Xu Tan, Rongjie Huang, Songxiang Liu, Xuankai Chang, Jiatong Shi, Sheng Zhao, Jiang Bian, Xixin Wu, Zhou Zhao, Helen Meng
cs.AI
Resumo
Modelos de linguagem (LMs) têm demonstrado a capacidade de lidar com uma variedade de tarefas generativas. Este artigo apresenta o sistema UniAudio que, ao contrário de abordagens anteriores específicas para tarefas, utiliza técnicas de LMs para gerar múltiplos tipos de áudio (incluindo fala, sons, música e canto) com condições de entrada fornecidas. O UniAudio 1) primeiro tokeniza todos os tipos de áudio alvo juntamente com outras modalidades de condição, 2) concatena pares fonte-alvo como uma única sequência, e 3) realiza a previsão do próximo token usando LMs. Além disso, um modelo Transformer multiescala é proposto para lidar com sequências excessivamente longas causadas pelo codec neural baseado em quantização vetorial residual na tokenização. O treinamento do UniAudio é escalonado para 165 mil horas de áudio e 1 bilhão de parâmetros, com base em todas as tarefas generativas, visando obter conhecimento prévio suficiente não apenas nas propriedades intrínsecas do áudio, mas também na inter-relação entre áudio e outras modalidades. Portanto, o modelo UniAudio treinado tem o potencial de se tornar um modelo base para geração universal de áudio: ele mostra forte capacidade em todas as tarefas treinadas e pode suportar de forma contínua novas tarefas de geração de áudio após um simples ajuste fino. Experimentos demonstram que o UniAudio alcança resultados de última geração ou pelo menos competitivos na maioria das 11 tarefas. Demonstração e código estão disponíveis em https://github.com/yangdongchao/UniAudio.
English
Language models (LMs) have demonstrated the capability to handle a variety of
generative tasks. This paper presents the UniAudio system, which, unlike prior
task-specific approaches, leverages LMs techniques to generate multiple types
of audio (including speech, sounds, music, and singing) with given input
conditions. UniAudio 1) first tokenizes all types of target audio along with
other condition modalities, 2) concatenates source-target pair as a single
sequence, and 3) performs next-token prediction using LMs. Also, a multi-scale
Transformer model is proposed to handle the overly long sequences caused by the
residual vector quantization based neural codec in tokenization. Training of
UniAudio is scaled up to 165K hours of audio and 1B parameters, based on all
generative tasks, aiming to obtain sufficient prior knowledge not only in the
intrinsic properties of audio but also the inter-relationship between audio and
other modalities. Therefore, the trained UniAudio model has the potential to
become a foundation model for universal audio generation: it shows strong
capability in all trained tasks and can seamlessly support new audio generation
tasks after simple fine-tuning. Experiments demonstrate that UniAudio achieves
state-of-the-art or at least competitive results on most of the 11 tasks. Demo
and code are released at https://github.com/yangdongchao/UniAudio