M^{2}UGen: Comprensione e Generazione Musicale Multi-modale con la Potenza dei Modelli Linguistici su Larga Scala

M^{2}UGen: Multi-modal Music Understanding and Generation with the Power of Large Language Models

November 19, 2023

Autori: Atin Sakkeer Hussain, Shansong Liu, Chenshuo Sun, Ying Shan

cs.AI

Abstract

L'attuale panorama della ricerca che sfrutta i grandi modelli linguistici (LLM) sta vivendo una forte crescita. Molti lavori utilizzano le potenti capacità di ragionamento di questi modelli per comprendere varie modalità, come testo, parlato, immagini, video, ecc. Inoltre, impiegano gli LLM per comprendere l'intenzione umana e generare output desiderati come immagini, video e musica. Tuttavia, la ricerca che combina sia la comprensione che la generazione utilizzando gli LLM è ancora limitata e nella sua fase iniziale. Per colmare questa lacuna, introduciamo un framework di Comprensione e Generazione Musicale Multi-modale (M^{2}UGen) che integra le capacità degli LLM di comprendere e generare musica per diverse modalità. Il framework M^{2}UGen è progettato appositamente per sbloccare il potenziale creativo da fonti di ispirazione diverse, abbracciando musica, immagini e video attraverso l'uso rispettivamente dei modelli preaddestrati MERT, ViT e ViViT. Per abilitare la generazione musicale, esploriamo l'uso di AudioLDM 2 e MusicGen. Il collegamento tra la comprensione multi-modale e la generazione musicale è realizzato attraverso l'integrazione del modello LLaMA 2. Inoltre, utilizziamo il modello MU-LLaMA per generare ampi dataset che supportano la generazione da testo/immagine/video a musica, facilitando l'addestramento del nostro framework M^{2}UGen. Effettuiamo una valutazione approfondita del framework proposto. I risultati sperimentali dimostrano che il nostro modello raggiunge o supera le prestazioni dei modelli attuali all'avanguardia.

English

The current landscape of research leveraging large language models (LLMs) is experiencing a surge. Many works harness the powerful reasoning capabilities of these models to comprehend various modalities, such as text, speech, images, videos, etc. They also utilize LLMs to understand human intention and generate desired outputs like images, videos, and music. However, research that combines both understanding and generation using LLMs is still limited and in its nascent stage. To address this gap, we introduce a Multi-modal Music Understanding and Generation (M^{2}UGen) framework that integrates LLM's abilities to comprehend and generate music for different modalities. The M^{2}UGen framework is purpose-built to unlock creative potential from diverse sources of inspiration, encompassing music, image, and video through the use of pretrained MERT, ViT, and ViViT models, respectively. To enable music generation, we explore the use of AudioLDM 2 and MusicGen. Bridging multi-modal understanding and music generation is accomplished through the integration of the LLaMA 2 model. Furthermore, we make use of the MU-LLaMA model to generate extensive datasets that support text/image/video-to-music generation, facilitating the training of our M^{2}UGen framework. We conduct a thorough evaluation of our proposed framework. The experimental results demonstrate that our model achieves or surpasses the performance of the current state-of-the-art models.