Génération de musique multimodale avec des ponts explicites et une augmentation de la récupération

Multimodal Music Generation with Explicit Bridges and Retrieval Augmentation

December 12, 2024

Auteurs: Baisen Wang, Le Zhuo, Zhaokai Wang, Chenxi Bao, Wu Chengjing, Xuecheng Nie, Jiao Dai, Jizhong Han, Yue Liao, Si Liu

cs.AI

Résumé

La génération de musique multimodale vise à produire de la musique à partir de diverses modalités d'entrée, y compris du texte, des vidéos et des images. Les méthodes existantes utilisent un espace d'incorporation commun pour la fusion multimodale. Malgré leur efficacité dans d'autres modalités, leur application dans la génération de musique multimodale rencontre des défis liés à la rareté des données, à une faible alignement intermodal et à une contrôlabilité limitée. Cet article aborde ces problèmes en utilisant des ponts explicites entre le texte et la musique pour l'alignement multimodal. Nous introduisons une nouvelle méthode appelée Pont Visuel Musique (VMB). Plus précisément, un Modèle de Description Musicale Multimodale convertit les entrées visuelles en descriptions textuelles détaillées pour fournir le pont textuel ; un module de Recherche Musicale à Double Piste qui combine des stratégies de recherche larges et ciblées pour fournir le pont musical et permettre le contrôle de l'utilisateur. Enfin, nous concevons un cadre de Génération de Musique Explicitement Conditionnée pour générer de la musique basée sur les deux ponts. Nous menons des expériences sur des tâches de vidéo-vers-musique, d'image-vers-musique, de texte-vers-musique et de génération de musique contrôlable, ainsi que des expériences sur la contrôlabilité. Les résultats démontrent que le VMB améliore significativement la qualité de la musique, l'alignement de la modalité et la personnalisation par rapport aux méthodes précédentes. Le VMB établit une nouvelle norme pour la génération de musique multimodale interprétable et expressive avec des applications dans divers domaines multimédias. Des démonstrations et du code sont disponibles sur https://github.com/wbs2788/VMB.

English

Multimodal music generation aims to produce music from diverse input modalities, including text, videos, and images. Existing methods use a common embedding space for multimodal fusion. Despite their effectiveness in other modalities, their application in multimodal music generation faces challenges of data scarcity, weak cross-modal alignment, and limited controllability. This paper addresses these issues by using explicit bridges of text and music for multimodal alignment. We introduce a novel method named Visuals Music Bridge (VMB). Specifically, a Multimodal Music Description Model converts visual inputs into detailed textual descriptions to provide the text bridge; a Dual-track Music Retrieval module that combines broad and targeted retrieval strategies to provide the music bridge and enable user control. Finally, we design an Explicitly Conditioned Music Generation framework to generate music based on the two bridges. We conduct experiments on video-to-music, image-to-music, text-to-music, and controllable music generation tasks, along with experiments on controllability. The results demonstrate that VMB significantly enhances music quality, modality, and customization alignment compared to previous methods. VMB sets a new standard for interpretable and expressive multimodal music generation with applications in various multimedia fields. Demos and code are available at https://github.com/wbs2788/VMB.