M^{2}UGen: Comprensión y Generación Multimodal de Música con el Poder de los Modelos de Lenguaje a Gran Escala

M^{2}UGen: Multi-modal Music Understanding and Generation with the Power of Large Language Models

November 19, 2023

Autores: Atin Sakkeer Hussain, Shansong Liu, Chenshuo Sun, Ying Shan

cs.AI

Resumen

El panorama actual de investigación que aprovecha los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) está experimentando un auge significativo. Muchos trabajos aprovechan las potentes capacidades de razonamiento de estos modelos para comprender diversas modalidades, como texto, habla, imágenes, videos, etc. También utilizan los LLMs para entender la intención humana y generar resultados deseados, como imágenes, videos y música. Sin embargo, la investigación que combina tanto la comprensión como la generación utilizando LLMs sigue siendo limitada y se encuentra en una etapa incipiente. Para abordar esta brecha, presentamos un marco de Comprensión y Generación Musical Multimodal (M^{2}UGen) que integra las capacidades de los LLMs para comprender y generar música en diferentes modalidades. El marco M^{2}UGen está diseñado específicamente para desbloquear el potencial creativo a partir de diversas fuentes de inspiración, abarcando música, imagen y video, mediante el uso de modelos preentrenados como MERT, ViT y ViViT, respectivamente. Para habilitar la generación de música, exploramos el uso de AudioLDM 2 y MusicGen. La conexión entre la comprensión multimodal y la generación musical se logra mediante la integración del modelo LLaMA 2. Además, utilizamos el modelo MU-LLaMA para generar conjuntos de datos extensos que respaldan la generación de música a partir de texto/imagen/video, facilitando el entrenamiento de nuestro marco M^{2}UGen. Realizamos una evaluación exhaustiva de nuestro marco propuesto. Los resultados experimentales demuestran que nuestro modelo alcanza o supera el rendimiento de los modelos más avanzados actualmente disponibles.

English

The current landscape of research leveraging large language models (LLMs) is experiencing a surge. Many works harness the powerful reasoning capabilities of these models to comprehend various modalities, such as text, speech, images, videos, etc. They also utilize LLMs to understand human intention and generate desired outputs like images, videos, and music. However, research that combines both understanding and generation using LLMs is still limited and in its nascent stage. To address this gap, we introduce a Multi-modal Music Understanding and Generation (M^{2}UGen) framework that integrates LLM's abilities to comprehend and generate music for different modalities. The M^{2}UGen framework is purpose-built to unlock creative potential from diverse sources of inspiration, encompassing music, image, and video through the use of pretrained MERT, ViT, and ViViT models, respectively. To enable music generation, we explore the use of AudioLDM 2 and MusicGen. Bridging multi-modal understanding and music generation is accomplished through the integration of the LLaMA 2 model. Furthermore, we make use of the MU-LLaMA model to generate extensive datasets that support text/image/video-to-music generation, facilitating the training of our M^{2}UGen framework. We conduct a thorough evaluation of our proposed framework. The experimental results demonstrate that our model achieves or surpasses the performance of the current state-of-the-art models.