Multimodale Muziekgeneratie met Expliciete Bruggen en Ophalingsaugmentatie

Multimodal Music Generation with Explicit Bridges and Retrieval Augmentation

December 12, 2024

Auteurs: Baisen Wang, Le Zhuo, Zhaokai Wang, Chenxi Bao, Wu Chengjing, Xuecheng Nie, Jiao Dai, Jizhong Han, Yue Liao, Si Liu

cs.AI

Samenvatting

Multimodale muziekgeneratie heeft als doel muziek te produceren vanuit diverse inputmodaliteiten, waaronder tekst, video's en afbeeldingen. Bestaande methoden maken gebruik van een gemeenschappelijke insluitruimte voor multimodale fusie. Ondanks hun effectiviteit in andere modaliteiten, worden ze geconfronteerd met uitdagingen zoals gegevensschaarste, zwakke crossmodale uitlijning en beperkte controleerbaarheid bij toepassing op multimodale muziekgeneratie. Dit artikel behandelt deze kwesties door expliciete bruggen van tekst en muziek te gebruiken voor multimodale uitlijning. We introduceren een nieuw method genaamd Visuele Muziekbrug (VMB). Specifiek zet een Multimodaal Muziekbeschrijvingsmodel visuele input om in gedetailleerde tekstuele beschrijvingen om de tekstbrug te bieden; een Dubbel-spoor Muziekophaalmodule die brede en gerichte ophaalstrategieën combineert om de muziekbrug te bieden en gebruikerscontrole mogelijk te maken. Ten slotte ontwerpen we een Expliciet Geconditioneerd Muziekgeneratiekader om muziek te genereren op basis van de twee bruggen. We voeren experimenten uit op video-naar-muziek, afbeelding-naar-muziek, tekst-naar-muziek en controleerbare muziekgeneratietaken, samen met experimenten over controleerbaarheid. De resultaten tonen aan dat VMB de muziekkwaliteit, modaliteit en aanpassingsuitlijning aanzienlijk verbetert in vergelijking met eerdere methoden. VMB stelt een nieuwe standaard voor interpreteerbare en expressieve multimodale muziekgeneratie met toepassingen in verschillende multimediavelden. Demonstraties en code zijn beschikbaar op https://github.com/wbs2788/VMB.

English

Multimodal music generation aims to produce music from diverse input modalities, including text, videos, and images. Existing methods use a common embedding space for multimodal fusion. Despite their effectiveness in other modalities, their application in multimodal music generation faces challenges of data scarcity, weak cross-modal alignment, and limited controllability. This paper addresses these issues by using explicit bridges of text and music for multimodal alignment. We introduce a novel method named Visuals Music Bridge (VMB). Specifically, a Multimodal Music Description Model converts visual inputs into detailed textual descriptions to provide the text bridge; a Dual-track Music Retrieval module that combines broad and targeted retrieval strategies to provide the music bridge and enable user control. Finally, we design an Explicitly Conditioned Music Generation framework to generate music based on the two bridges. We conduct experiments on video-to-music, image-to-music, text-to-music, and controllable music generation tasks, along with experiments on controllability. The results demonstrate that VMB significantly enhances music quality, modality, and customization alignment compared to previous methods. VMB sets a new standard for interpretable and expressive multimodal music generation with applications in various multimedia fields. Demos and code are available at https://github.com/wbs2788/VMB.