M^{2}UGen: Multi-modale Muziekbegrip en -generatie met de Kracht van Grote Taalmodellen

M^{2}UGen: Multi-modal Music Understanding and Generation with the Power of Large Language Models

November 19, 2023

Auteurs: Atin Sakkeer Hussain, Shansong Liu, Chenshuo Sun, Ying Shan

cs.AI

Samenvatting

Het huidige onderzoekslandschap dat gebruikmaakt van grote taalmodellen (LLM's) ervaart een sterke groei. Veel onderzoeken benutten de krachtige redeneervaardigheden van deze modellen om verschillende modaliteiten te begrijpen, zoals tekst, spraak, afbeeldingen, video's, enzovoort. Ze gebruiken LLM's ook om menselijke intentie te begrijpen en gewenste uitvoer te genereren, zoals afbeeldingen, video's en muziek. Onderzoek dat zowel begrip als generatie combineert met behulp van LLM's is echter nog beperkt en in een vroeg stadium. Om deze kloof te overbruggen, introduceren we een Multi-modale Muziekbegrip en Generatie (M^{2}UGen) framework dat de mogelijkheden van LLM's integreert om muziek te begrijpen en te genereren voor verschillende modaliteiten. Het M^{2}UGen framework is specifiek ontworpen om creatief potentieel te ontsluiten vanuit diverse inspiratiebronnen, waaronder muziek, afbeeldingen en video's, door gebruik te maken van vooraf getrainde MERT, ViT en ViViT modellen. Om muziekgeneratie mogelijk te maken, onderzoeken we het gebruik van AudioLDM 2 en MusicGen. De koppeling tussen multi-modale begrip en muziekgeneratie wordt gerealiseerd door de integratie van het LLaMA 2 model. Bovendien maken we gebruik van het MU-LLaMA model om uitgebreide datasets te genereren die tekst/afbeelding/video-naar-muziek generatie ondersteunen, wat de training van ons M^{2}UGen framework vergemakkelijkt. We voeren een grondige evaluatie uit van ons voorgestelde framework. De experimentele resultaten tonen aan dat ons model de prestaties van de huidige state-of-the-art modellen bereikt of overtreft.

English

The current landscape of research leveraging large language models (LLMs) is experiencing a surge. Many works harness the powerful reasoning capabilities of these models to comprehend various modalities, such as text, speech, images, videos, etc. They also utilize LLMs to understand human intention and generate desired outputs like images, videos, and music. However, research that combines both understanding and generation using LLMs is still limited and in its nascent stage. To address this gap, we introduce a Multi-modal Music Understanding and Generation (M^{2}UGen) framework that integrates LLM's abilities to comprehend and generate music for different modalities. The M^{2}UGen framework is purpose-built to unlock creative potential from diverse sources of inspiration, encompassing music, image, and video through the use of pretrained MERT, ViT, and ViViT models, respectively. To enable music generation, we explore the use of AudioLDM 2 and MusicGen. Bridging multi-modal understanding and music generation is accomplished through the integration of the LLaMA 2 model. Furthermore, we make use of the MU-LLaMA model to generate extensive datasets that support text/image/video-to-music generation, facilitating the training of our M^{2}UGen framework. We conduct a thorough evaluation of our proposed framework. The experimental results demonstrate that our model achieves or surpasses the performance of the current state-of-the-art models.