UniAudio: Универсальная модель для генерации аудио, направленная на создание универсальных аудиосистем
UniAudio: An Audio Foundation Model Toward Universal Audio Generation
October 1, 2023
Авторы: Dongchao Yang, Jinchuan Tian, Xu Tan, Rongjie Huang, Songxiang Liu, Xuankai Chang, Jiatong Shi, Sheng Zhao, Jiang Bian, Xixin Wu, Zhou Zhao, Helen Meng
cs.AI
Аннотация
Языковые модели (LMs) продемонстрировали способность справляться с разнообразными генеративными задачами. В данной статье представлена система UniAudio, которая, в отличие от предыдущих подходов, ориентированных на конкретные задачи, использует методы LMs для генерации различных типов аудио (включая речь, звуки, музыку и пение) на основе заданных входных условий. UniAudio 1) сначала токенизирует все типы целевого аудио вместе с другими модальностями условий, 2) объединяет пару источник-цель в единую последовательность и 3) выполняет предсказание следующего токена с использованием LMs. Также предложена многоуровневая модель Transformer для обработки чрезмерно длинных последовательностей, вызванных нейронным кодеком на основе остаточной векторной квантизации при токенизации. Обучение UniAudio масштабировано до 165 тысяч часов аудио и 1 миллиарда параметров, охватывая все генеративные задачи, с целью получения достаточных априорных знаний не только о внутренних свойствах аудио, но и о взаимосвязях между аудио и другими модальностями. Таким образом, обученная модель UniAudio имеет потенциал стать базовой моделью для универсальной генерации аудио: она демонстрирует высокую производительность во всех обученных задачах и может легко поддерживать новые задачи генерации аудио после простой дообучения. Эксперименты показывают, что UniAudio достигает наилучших или, по крайней мере, конкурентоспособных результатов в большинстве из 11 задач. Демо и код доступны по адресу https://github.com/yangdongchao/UniAudio.
English
Language models (LMs) have demonstrated the capability to handle a variety of
generative tasks. This paper presents the UniAudio system, which, unlike prior
task-specific approaches, leverages LMs techniques to generate multiple types
of audio (including speech, sounds, music, and singing) with given input
conditions. UniAudio 1) first tokenizes all types of target audio along with
other condition modalities, 2) concatenates source-target pair as a single
sequence, and 3) performs next-token prediction using LMs. Also, a multi-scale
Transformer model is proposed to handle the overly long sequences caused by the
residual vector quantization based neural codec in tokenization. Training of
UniAudio is scaled up to 165K hours of audio and 1B parameters, based on all
generative tasks, aiming to obtain sufficient prior knowledge not only in the
intrinsic properties of audio but also the inter-relationship between audio and
other modalities. Therefore, the trained UniAudio model has the potential to
become a foundation model for universal audio generation: it shows strong
capability in all trained tasks and can seamlessly support new audio generation
tasks after simple fine-tuning. Experiments demonstrate that UniAudio achieves
state-of-the-art or at least competitive results on most of the 11 tasks. Demo
and code are released at https://github.com/yangdongchao/UniAudio