M^{2}UGen : Compréhension et génération musicale multimodale grâce à la puissance des grands modèles de langage

M^{2}UGen: Multi-modal Music Understanding and Generation with the Power of Large Language Models

November 19, 2023

Auteurs: Atin Sakkeer Hussain, Shansong Liu, Chenshuo Sun, Ying Shan

cs.AI

Résumé

Le paysage actuel de la recherche exploitant les grands modèles de langage (LLMs) connaît une forte expansion. De nombreux travaux exploitent les puissantes capacités de raisonnement de ces modèles pour comprendre diverses modalités, telles que le texte, la parole, les images, les vidéos, etc. Ils utilisent également les LLMs pour comprendre l'intention humaine et générer des résultats souhaités comme des images, des vidéos et de la musique. Cependant, la recherche qui combine à la fois la compréhension et la génération en utilisant les LLMs est encore limitée et à un stade naissant. Pour combler cette lacune, nous introduisons un cadre de Compréhension et Génération Musicale Multi-Modale (M^{2}UGen) qui intègre les capacités des LLMs à comprendre et générer de la musique pour différentes modalités. Le cadre M^{2}UGen est conçu spécifiquement pour libérer le potentiel créatif à partir de sources d'inspiration diverses, englobant la musique, l'image et la vidéo grâce à l'utilisation des modèles pré-entraînés MERT, ViT et ViViT, respectivement. Pour permettre la génération musicale, nous explorons l'utilisation d'AudioLDM 2 et de MusicGen. Le pont entre la compréhension multi-modale et la génération musicale est réalisé grâce à l'intégration du modèle LLaMA 2. De plus, nous utilisons le modèle MU-LLaMA pour générer des ensembles de données étendus qui soutiennent la génération de musique à partir de texte/image/vidéo, facilitant ainsi l'entraînement de notre cadre M^{2}UGen. Nous menons une évaluation approfondie de notre cadre proposé. Les résultats expérimentaux démontrent que notre modèle atteint ou dépasse les performances des modèles actuels de pointe.

English

The current landscape of research leveraging large language models (LLMs) is experiencing a surge. Many works harness the powerful reasoning capabilities of these models to comprehend various modalities, such as text, speech, images, videos, etc. They also utilize LLMs to understand human intention and generate desired outputs like images, videos, and music. However, research that combines both understanding and generation using LLMs is still limited and in its nascent stage. To address this gap, we introduce a Multi-modal Music Understanding and Generation (M^{2}UGen) framework that integrates LLM's abilities to comprehend and generate music for different modalities. The M^{2}UGen framework is purpose-built to unlock creative potential from diverse sources of inspiration, encompassing music, image, and video through the use of pretrained MERT, ViT, and ViViT models, respectively. To enable music generation, we explore the use of AudioLDM 2 and MusicGen. Bridging multi-modal understanding and music generation is accomplished through the integration of the LLaMA 2 model. Furthermore, we make use of the MU-LLaMA model to generate extensive datasets that support text/image/video-to-music generation, facilitating the training of our M^{2}UGen framework. We conduct a thorough evaluation of our proposed framework. The experimental results demonstrate that our model achieves or surpasses the performance of the current state-of-the-art models.