M^{2}UGen: Многомодальное понимание и генерация музыки с использованием возможностей больших языковых моделей

M^{2}UGen: Multi-modal Music Understanding and Generation with the Power of Large Language Models

November 19, 2023

Авторы: Atin Sakkeer Hussain, Shansong Liu, Chenshuo Sun, Ying Shan

cs.AI

Аннотация

Современная исследовательская среда, использующая большие языковые модели (LLM), переживает значительный подъем. Многие работы используют мощные способности этих моделей к рассуждению для понимания различных модальностей, таких как текст, речь, изображения, видео и т.д. Они также применяют LLM для понимания человеческих намерений и генерации желаемых результатов, таких как изображения, видео и музыка. Однако исследования, сочетающие как понимание, так и генерацию с использованием LLM, все еще ограничены и находятся на начальной стадии. Чтобы восполнить этот пробел, мы представляем фреймворк Multi-modal Music Understanding and Generation (M²UGen), который объединяет способности LLM к пониманию и генерации музыки для различных модальностей. Фреймворк M²UGen специально разработан для раскрытия творческого потенциала из разнообразных источников вдохновения, включая музыку, изображения и видео, с использованием предобученных моделей MERT, ViT и ViViT соответственно. Для генерации музыки мы исследуем применение моделей AudioLDM 2 и MusicGen. Связь между многомодальным пониманием и генерацией музыки осуществляется через интеграцию модели LLaMA 2. Кроме того, мы используем модель MU-LLaMA для создания обширных наборов данных, поддерживающих генерацию музыки из текста, изображений и видео, что облегчает обучение нашего фреймворка M²UGen. Мы проводим тщательную оценку предложенного фреймворка. Результаты экспериментов показывают, что наша модель достигает или превосходит производительность современных моделей, являющихся эталоном в данной области.

English

The current landscape of research leveraging large language models (LLMs) is experiencing a surge. Many works harness the powerful reasoning capabilities of these models to comprehend various modalities, such as text, speech, images, videos, etc. They also utilize LLMs to understand human intention and generate desired outputs like images, videos, and music. However, research that combines both understanding and generation using LLMs is still limited and in its nascent stage. To address this gap, we introduce a Multi-modal Music Understanding and Generation (M^{2}UGen) framework that integrates LLM's abilities to comprehend and generate music for different modalities. The M^{2}UGen framework is purpose-built to unlock creative potential from diverse sources of inspiration, encompassing music, image, and video through the use of pretrained MERT, ViT, and ViViT models, respectively. To enable music generation, we explore the use of AudioLDM 2 and MusicGen. Bridging multi-modal understanding and music generation is accomplished through the integration of the LLaMA 2 model. Furthermore, we make use of the MU-LLaMA model to generate extensive datasets that support text/image/video-to-music generation, facilitating the training of our M^{2}UGen framework. We conduct a thorough evaluation of our proposed framework. The experimental results demonstrate that our model achieves or surpasses the performance of the current state-of-the-art models.