Multimodale Musikgenerierung mit expliziten Brücken und Rückgewinnungserweiterung.

Multimodal Music Generation with Explicit Bridges and Retrieval Augmentation

December 12, 2024

Autoren: Baisen Wang, Le Zhuo, Zhaokai Wang, Chenxi Bao, Wu Chengjing, Xuecheng Nie, Jiao Dai, Jizhong Han, Yue Liao, Si Liu

cs.AI

Zusammenfassung

Die multimodale Musikgenerierung zielt darauf ab, Musik aus verschiedenen Eingabemodalitäten wie Text, Videos und Bildern zu erzeugen. Bestehende Methoden verwenden einen gemeinsamen Einbettungsraum für die multimodale Fusion. Obwohl sie in anderen Modalitäten wirksam sind, stehen sie bei der Anwendung in der multimodalen Musikgenerierung vor Herausforderungen wie Datenknappheit, schwacher kreuzmodaler Ausrichtung und begrenzter Steuerbarkeit. Dieser Artikel befasst sich mit diesen Problemen, indem er explizite Brücken zwischen Text und Musik für die multimodale Ausrichtung verwendet. Wir stellen eine neuartige Methode namens Visuals Music Bridge (VMB) vor. Speziell konvertiert ein Multimodales Musikbeschreibungsmodell visuelle Eingaben in detaillierte textuelle Beschreibungen, um die Textbrücke bereitzustellen; ein Dual-Track Musikabrufmodul, das breite und gezielte Abrufstrategien kombiniert, um die Musikbrücke bereitzustellen und Benutzersteuerung zu ermöglichen. Schließlich entwerfen wir ein explizit konditioniertes Musikgenerierungsframework, um Musik basierend auf den beiden Brücken zu erzeugen. Wir führen Experimente zu Video-zu-Musik, Bild-zu-Musik, Text-zu-Musik und kontrollierbaren Musikgenerierungsaufgaben durch, zusammen mit Experimenten zur Steuerbarkeit. Die Ergebnisse zeigen, dass VMB die Musikqualität, Modalität und Anpassungsausrichtung im Vergleich zu früheren Methoden signifikant verbessert. VMB setzt einen neuen Standard für interpretierbare und expressive multimodale Musikgenerierung mit Anwendungen in verschiedenen Multimediafeldern. Demos und Code sind verfügbar unter https://github.com/wbs2788/VMB.

English

Multimodal music generation aims to produce music from diverse input modalities, including text, videos, and images. Existing methods use a common embedding space for multimodal fusion. Despite their effectiveness in other modalities, their application in multimodal music generation faces challenges of data scarcity, weak cross-modal alignment, and limited controllability. This paper addresses these issues by using explicit bridges of text and music for multimodal alignment. We introduce a novel method named Visuals Music Bridge (VMB). Specifically, a Multimodal Music Description Model converts visual inputs into detailed textual descriptions to provide the text bridge; a Dual-track Music Retrieval module that combines broad and targeted retrieval strategies to provide the music bridge and enable user control. Finally, we design an Explicitly Conditioned Music Generation framework to generate music based on the two bridges. We conduct experiments on video-to-music, image-to-music, text-to-music, and controllable music generation tasks, along with experiments on controllability. The results demonstrate that VMB significantly enhances music quality, modality, and customization alignment compared to previous methods. VMB sets a new standard for interpretable and expressive multimodal music generation with applications in various multimedia fields. Demos and code are available at https://github.com/wbs2788/VMB.