UniAudio: Un Modelo Fundacional de Audio hacia la Generación Universal de Audio
UniAudio: An Audio Foundation Model Toward Universal Audio Generation
October 1, 2023
Autores: Dongchao Yang, Jinchuan Tian, Xu Tan, Rongjie Huang, Songxiang Liu, Xuankai Chang, Jiatong Shi, Sheng Zhao, Jiang Bian, Xixin Wu, Zhou Zhao, Helen Meng
cs.AI
Resumen
Los modelos de lenguaje (LMs, por sus siglas en inglés) han demostrado la capacidad de manejar una variedad de tareas generativas. Este artículo presenta el sistema UniAudio, que, a diferencia de enfoques previos específicos para cada tarea, aprovecha técnicas de LMs para generar múltiples tipos de audio (incluyendo voz, sonidos, música y canto) con condiciones de entrada dadas. UniAudio 1) primero tokeniza todos los tipos de audio objetivo junto con otras modalidades de condición, 2) concatena pares fuente-objetivo como una única secuencia, y 3) realiza predicciones del siguiente token utilizando LMs. Además, se propone un modelo Transformer multi-escala para manejar las secuencias excesivamente largas causadas por el codec neuronal basado en cuantización vectorial residual durante la tokenización. El entrenamiento de UniAudio se escala hasta 165,000 horas de audio y 1,000 millones de parámetros, basándose en todas las tareas generativas, con el objetivo de obtener suficiente conocimiento previo no solo en las propiedades intrínsecas del audio, sino también en la interrelación entre el audio y otras modalidades. Por lo tanto, el modelo UniAudio entrenado tiene el potencial de convertirse en un modelo base para la generación universal de audio: muestra una fuerte capacidad en todas las tareas entrenadas y puede apoyar sin problemas nuevas tareas de generación de audio después de un simple ajuste fino. Los experimentos demuestran que UniAudio logra resultados de vanguardia o al menos competitivos en la mayoría de las 11 tareas. La demostración y el código están disponibles en https://github.com/yangdongchao/UniAudio.
English
Language models (LMs) have demonstrated the capability to handle a variety of
generative tasks. This paper presents the UniAudio system, which, unlike prior
task-specific approaches, leverages LMs techniques to generate multiple types
of audio (including speech, sounds, music, and singing) with given input
conditions. UniAudio 1) first tokenizes all types of target audio along with
other condition modalities, 2) concatenates source-target pair as a single
sequence, and 3) performs next-token prediction using LMs. Also, a multi-scale
Transformer model is proposed to handle the overly long sequences caused by the
residual vector quantization based neural codec in tokenization. Training of
UniAudio is scaled up to 165K hours of audio and 1B parameters, based on all
generative tasks, aiming to obtain sufficient prior knowledge not only in the
intrinsic properties of audio but also the inter-relationship between audio and
other modalities. Therefore, the trained UniAudio model has the potential to
become a foundation model for universal audio generation: it shows strong
capability in all trained tasks and can seamlessly support new audio generation
tasks after simple fine-tuning. Experiments demonstrate that UniAudio achieves
state-of-the-art or at least competitive results on most of the 11 tasks. Demo
and code are released at https://github.com/yangdongchao/UniAudio