Мультимодальная генерация музыки с явными мостами и расширением поиска

Multimodal Music Generation with Explicit Bridges and Retrieval Augmentation

December 12, 2024

Авторы: Baisen Wang, Le Zhuo, Zhaokai Wang, Chenxi Bao, Wu Chengjing, Xuecheng Nie, Jiao Dai, Jizhong Han, Yue Liao, Si Liu

cs.AI

Аннотация

Мультимодальная генерация музыки направлена на создание музыки из разнообразных модальностей ввода, включая текст, видео и изображения. Существующие методы используют общее пространство вложений для мультимодального объединения. Несмотря на их эффективность в других модальностях, их применение в мультимодальной генерации музыки сталкивается с проблемами недостатка данных, слабой кросс-модальной выравниваемости и ограниченной управляемости. В данной статье эти проблемы решаются с использованием явных мостов между текстом и музыкой для мультимодального выравнивания. Мы представляем новый метод под названием Мост Визуалов и Музыки (VMB). Конкретно, Модель Описания Мультимодальной Музыки преобразует визуальные входы в подробные текстовые описания для предоставления текстового моста; модуль Двухтрекового Поиска Музыки, который объединяет широкие и целевые стратегии поиска для предоставления моста музыки и обеспечения контроля пользователем. Наконец, мы разрабатываем рамочную модель Явно Условной Генерации Музыки для создания музыки на основе двух мостов. Мы проводим эксперименты по задачам преобразования видео в музыку, изображений в музыку, текста в музыку и управляемой генерации музыки, а также эксперименты по управляемости. Результаты показывают, что VMB значительно улучшает качество музыки, модальность и выравнивание настройки по сравнению с предыдущими методами. VMB устанавливает новый стандарт для интерпретируемой и выразительной мультимодальной генерации музыки с применением в различных мультимедийных областях. Демонстрации и код доступны на https://github.com/wbs2788/VMB.

English

Multimodal music generation aims to produce music from diverse input modalities, including text, videos, and images. Existing methods use a common embedding space for multimodal fusion. Despite their effectiveness in other modalities, their application in multimodal music generation faces challenges of data scarcity, weak cross-modal alignment, and limited controllability. This paper addresses these issues by using explicit bridges of text and music for multimodal alignment. We introduce a novel method named Visuals Music Bridge (VMB). Specifically, a Multimodal Music Description Model converts visual inputs into detailed textual descriptions to provide the text bridge; a Dual-track Music Retrieval module that combines broad and targeted retrieval strategies to provide the music bridge and enable user control. Finally, we design an Explicitly Conditioned Music Generation framework to generate music based on the two bridges. We conduct experiments on video-to-music, image-to-music, text-to-music, and controllable music generation tasks, along with experiments on controllability. The results demonstrate that VMB significantly enhances music quality, modality, and customization alignment compared to previous methods. VMB sets a new standard for interpretable and expressive multimodal music generation with applications in various multimedia fields. Demos and code are available at https://github.com/wbs2788/VMB.