Generación de Música Multimodal con Puentes Explícitos y Aumento de Recuperación

Multimodal Music Generation with Explicit Bridges and Retrieval Augmentation

December 12, 2024

Autores: Baisen Wang, Le Zhuo, Zhaokai Wang, Chenxi Bao, Wu Chengjing, Xuecheng Nie, Jiao Dai, Jizhong Han, Yue Liao, Si Liu

cs.AI

Resumen

La generación de música multimodal tiene como objetivo producir música a partir de diversas modalidades de entrada, incluyendo texto, videos e imágenes. Los métodos existentes utilizan un espacio de incrustación común para la fusión multimodal. A pesar de su efectividad en otras modalidades, su aplicación en la generación de música multimodal enfrenta desafíos de escasez de datos, débil alineación cruzada entre modalidades y limitada controlabilidad. Este artículo aborda estos problemas mediante el uso de puentes explícitos de texto y música para la alineación multimodal. Introducimos un método novedoso llamado Puente de Música Visual (VMB). Específicamente, un Modelo de Descripción de Música Multimodal convierte las entradas visuales en descripciones textuales detalladas para proporcionar el puente de texto; un módulo de Recuperación de Música de Doble Pista que combina estrategias de recuperación amplia y dirigida para proporcionar el puente de música y permitir el control del usuario. Finalmente, diseñamos un marco de Generación de Música Excluyentemente Condicionado para generar música basada en los dos puentes. Realizamos experimentos en tareas de video a música, imagen a música, texto a música y generación de música controlable, junto con experimentos sobre controlabilidad. Los resultados demuestran que VMB mejora significativamente la calidad de la música, la modalidad y la alineación de personalización en comparación con métodos anteriores. VMB establece un nuevo estándar para la generación de música multimodal interpretable y expresiva con aplicaciones en varios campos multimedia. Las demostraciones y el código están disponibles en https://github.com/wbs2788/VMB.

English

Multimodal music generation aims to produce music from diverse input modalities, including text, videos, and images. Existing methods use a common embedding space for multimodal fusion. Despite their effectiveness in other modalities, their application in multimodal music generation faces challenges of data scarcity, weak cross-modal alignment, and limited controllability. This paper addresses these issues by using explicit bridges of text and music for multimodal alignment. We introduce a novel method named Visuals Music Bridge (VMB). Specifically, a Multimodal Music Description Model converts visual inputs into detailed textual descriptions to provide the text bridge; a Dual-track Music Retrieval module that combines broad and targeted retrieval strategies to provide the music bridge and enable user control. Finally, we design an Explicitly Conditioned Music Generation framework to generate music based on the two bridges. We conduct experiments on video-to-music, image-to-music, text-to-music, and controllable music generation tasks, along with experiments on controllability. The results demonstrate that VMB significantly enhances music quality, modality, and customization alignment compared to previous methods. VMB sets a new standard for interpretable and expressive multimodal music generation with applications in various multimedia fields. Demos and code are available at https://github.com/wbs2788/VMB.