M^{2}UGen: Compreensão e Geração de Música Multimodal com o Poder dos Modelos de Linguagem de Grande Escala

M^{2}UGen: Multi-modal Music Understanding and Generation with the Power of Large Language Models

November 19, 2023

Autores: Atin Sakkeer Hussain, Shansong Liu, Chenshuo Sun, Ying Shan

cs.AI

Resumo

O cenário atual de pesquisa que utiliza grandes modelos de linguagem (LLMs, na sigla em inglês) está passando por um crescimento significativo. Muitos trabalhos aproveitam as poderosas capacidades de raciocínio desses modelos para compreender várias modalidades, como texto, fala, imagens, vídeos, entre outros. Eles também utilizam LLMs para entender a intenção humana e gerar saídas desejadas, como imagens, vídeos e música. No entanto, pesquisas que combinam tanto a compreensão quanto a geração usando LLMs ainda são limitadas e estão em estágio inicial. Para abordar essa lacuna, introduzimos um framework de Compreensão e Geração de Música Multimodal (M^{2}UGen) que integra as habilidades dos LLMs para compreender e gerar música em diferentes modalidades. O framework M^{2}UGen foi projetado especificamente para desbloquear o potencial criativo a partir de diversas fontes de inspiração, abrangendo música, imagem e vídeo, por meio do uso dos modelos pré-treinados MERT, ViT e ViViT, respectivamente. Para possibilitar a geração de música, exploramos o uso do AudioLDM 2 e do MusicGen. A ponte entre a compreensão multimodal e a geração de música é realizada por meio da integração do modelo LLaMA 2. Além disso, utilizamos o modelo MU-LLaMA para gerar extensos conjuntos de dados que suportam a geração de música a partir de texto/imagem/vídeo, facilitando o treinamento do nosso framework M^{2}UGen. Realizamos uma avaliação detalhada do framework proposto. Os resultados experimentais demonstram que nosso modelo alcança ou supera o desempenho dos modelos state-of-the-art atuais.

English

The current landscape of research leveraging large language models (LLMs) is experiencing a surge. Many works harness the powerful reasoning capabilities of these models to comprehend various modalities, such as text, speech, images, videos, etc. They also utilize LLMs to understand human intention and generate desired outputs like images, videos, and music. However, research that combines both understanding and generation using LLMs is still limited and in its nascent stage. To address this gap, we introduce a Multi-modal Music Understanding and Generation (M^{2}UGen) framework that integrates LLM's abilities to comprehend and generate music for different modalities. The M^{2}UGen framework is purpose-built to unlock creative potential from diverse sources of inspiration, encompassing music, image, and video through the use of pretrained MERT, ViT, and ViViT models, respectively. To enable music generation, we explore the use of AudioLDM 2 and MusicGen. Bridging multi-modal understanding and music generation is accomplished through the integration of the LLaMA 2 model. Furthermore, we make use of the MU-LLaMA model to generate extensive datasets that support text/image/video-to-music generation, facilitating the training of our M^{2}UGen framework. We conduct a thorough evaluation of our proposed framework. The experimental results demonstrate that our model achieves or surpasses the performance of the current state-of-the-art models.