Geração Multimodal de Música com Pontes Explícitas e Ampliação de Recuperação

Multimodal Music Generation with Explicit Bridges and Retrieval Augmentation

December 12, 2024

Autores: Baisen Wang, Le Zhuo, Zhaokai Wang, Chenxi Bao, Wu Chengjing, Xuecheng Nie, Jiao Dai, Jizhong Han, Yue Liao, Si Liu

cs.AI

Resumo

A geração de música multimodal tem como objetivo produzir música a partir de diversas modalidades de entrada, incluindo texto, vídeos e imagens. Métodos existentes utilizam um espaço de incorporação comum para fusão multimodal. Apesar de sua eficácia em outras modalidades, sua aplicação na geração de música multimodal enfrenta desafios de escassez de dados, fraca alinhamento entre modalidades e limitada controlabilidade. Este artigo aborda essas questões ao utilizar pontes explícitas de texto e música para alinhamento multimodal. Introduzimos um método inovador chamado Ponte Visual de Música (VMB). Especificamente, um Modelo de Descrição de Música Multimodal converte entradas visuais em descrições textuais detalhadas para fornecer a ponte de texto; um módulo de Recuperação de Música de Dupla Trilha que combina estratégias de recuperação ampla e direcionada para fornecer a ponte de música e permitir o controle do usuário. Por fim, projetamos um framework de Geração de Música Explicitamente Condicionada para gerar música com base nas duas pontes. Realizamos experimentos em tarefas de vídeo-para-música, imagem-para-música, texto-para-música e geração de música controlável, juntamente com experimentos sobre controlabilidade. Os resultados demonstram que o VMB melhora significativamente a qualidade da música, o alinhamento de modalidade e personalização em comparação com métodos anteriores. O VMB estabelece um novo padrão para geração de música multimodal interpretável e expressiva com aplicações em vários campos multimídia. Demonstrativos e código estão disponíveis em https://github.com/wbs2788/VMB.

English

Multimodal music generation aims to produce music from diverse input modalities, including text, videos, and images. Existing methods use a common embedding space for multimodal fusion. Despite their effectiveness in other modalities, their application in multimodal music generation faces challenges of data scarcity, weak cross-modal alignment, and limited controllability. This paper addresses these issues by using explicit bridges of text and music for multimodal alignment. We introduce a novel method named Visuals Music Bridge (VMB). Specifically, a Multimodal Music Description Model converts visual inputs into detailed textual descriptions to provide the text bridge; a Dual-track Music Retrieval module that combines broad and targeted retrieval strategies to provide the music bridge and enable user control. Finally, we design an Explicitly Conditioned Music Generation framework to generate music based on the two bridges. We conduct experiments on video-to-music, image-to-music, text-to-music, and controllable music generation tasks, along with experiments on controllability. The results demonstrate that VMB significantly enhances music quality, modality, and customization alignment compared to previous methods. VMB sets a new standard for interpretable and expressive multimodal music generation with applications in various multimedia fields. Demos and code are available at https://github.com/wbs2788/VMB.